SAM 2图像与视频分割基础模型技术解析与应用实践【免费下载链接】sam2The repository provides code for running inference with the Meta Segment Anything Model 2 (SAM 2), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sa/sam2SAM 2Segment Anything Model 2是Meta AI发布的新一代视觉分割基础模型将图像分割能力扩展到视频领域实现了图像与视频的统一分割框架。该模型基于Transformer架构设计引入流式内存机制支持实时视频处理并在全球最大的视频分割数据集SA-V上进行训练为计算机视觉研究者和开发者提供了强大的分割工具。技术架构与核心创新统一的分割架构设计SAM 2采用统一的Transformer架构处理图像和视频数据将单帧图像视为只有一帧的视频实现了架构的统一。模型包含三个核心组件图像编码器Image Encoder基于Hiera架构的视觉Transformer负责提取图像特征提示编码器Prompt Encoder处理用户提供的点、框等交互提示掩码解码器Mask Decoder生成高质量的分割掩码SAM 2模型架构展示图像编码、提示编码、掩码解码和内存注意力机制的完整流程流式内存机制SAM 2的核心创新在于引入了流式内存机制使模型能够处理长视频序列内存注意力模块在时间维度上维护历史信息内存编码器将当前帧特征编码到内存库内存库存储历史帧的特征表示支持长期依赖建模这种设计使SAM 2能够在保持计算效率的同时处理任意长度的视频序列特别适合实时视频分割应用。模型性能对比SAM 2.1提供了四个不同规模的模型变体满足不同应用场景的需求模型变体参数量推理速度 (FPS)SA-V测试集 (JF)MOSE验证集 (JF)适用场景sam2.1_hiera_tiny38.9M91.276.571.8移动端、实时应用sam2.1_hiera_small46M84.876.673.5平衡性能与效率sam2.1_hiera_base_plus80.8M64.178.273.7通用场景sam2.1_hiera_large224.4M39.579.574.6高精度要求技术要点SAM 2.1相比原始SAM 2在保持参数量不变的情况下通过架构优化和训练改进提升了分割精度特别是在视频分割任务上表现更佳。快速部署指南环境配置与安装SAM 2需要Python 3.10、PyTorch 2.5.1和TorchVision 0.20.1环境。推荐使用Anaconda创建独立环境# 克隆项目仓库 git clone https://gitcode.com/gh_mirrors/sa/sam2 cd sam2 # 创建并激活conda环境 conda create -n sam2 python3.10 conda activate sam2 # 安装PyTorch根据CUDA版本选择 pip install torch2.5.1 torchvision0.20.1 # 安装SAM 2 pip install -e . # 安装Jupyter Notebook支持可选 pip install -e .[notebooks]模型检查点下载SAM 2提供预训练模型检查点可通过脚本批量下载cd checkpoints ./download_ckpts.sh cd ..或手动下载特定模型sam2.1_hiera_tiny.pt38.9M移动端优化sam2.1_hiera_small.pt46M平衡性能sam2.1_hiera_base_plus.pt80.8M通用场景sam2.1_hiera_large.pt224.4M高精度图像分割快速开始SAM 2完全兼容SAM的图像分割API提供直观的预测接口import torch from sam2.build_sam import build_sam2 from sam2.sam2_image_predictor import SAM2ImagePredictor # 加载模型 checkpoint ./checkpoints/sam2.1_hiera_large.pt model_cfg configs/sam2.1/sam2.1_hiera_l.yaml predictor SAM2ImagePredictor(build_sam2(model_cfg, checkpoint)) # 执行分割 with torch.inference_mode(), torch.autocast(cuda, dtypetorch.bfloat16): predictor.set_image(your_image) masks, scores, logits predictor.predict( point_coords[[x, y]], # 点提示坐标 point_labels[1], # 前景点标签 multimask_outputTrue # 输出多个掩码 )视频分割与跟踪SAM 2的视频预测器支持多目标跟踪和实时交互import torch from sam2.build_sam import build_sam2_video_predictor # 初始化视频预测器 checkpoint ./checkpoints/sam2.1_hiera_large.pt model_cfg configs/sam2.1/sam2.1_hiera_l.yaml predictor build_sam2_video_predictor(model_cfg, checkpoint) # 处理视频序列 with torch.inference_mode(), torch.autocast(cuda, dtypetorch.bfloat16): # 初始化状态 state predictor.init_state(video_frames) # 添加交互提示点或框 frame_idx, object_ids, masks predictor.add_new_points_or_box( state, points[[x, y]], point_labels[1] ) # 在视频中传播分割 for frame_idx, object_ids, masks in predictor.propagate_in_video(state): # 实时处理每一帧的分割结果 process_masks(masks, object_ids)SA-V数据集视频分割的新基准SA-VSegment Anything Video是目前全球最大的视频分割数据集包含51,000个多样化视频和643,000个高质量时空分割掩码。数据集采用自动手动双重标注策略确保标注质量与规模平衡。SA-V数据集展示多样化场景下的视频分割标注包含室内外环境、动态目标和复杂背景数据集技术特性规模优势50,583个训练视频远超现有视频分割数据集标注质量自动标注与人工精修结合确保时空一致性场景多样性覆盖日常活动、运动、自然场景等多种环境掩码属性提供大小、可见性变化、出现帧等元数据数据集使用最佳实践# 数据集加载示例 from sav_dataset.utils.sav_utils import load_sav_dataset # 加载训练集 train_data load_sav_dataset( video_dirpath/to/sav_train/videos, annotation_dirpath/to/sav_train/annotations, splittrain ) # 数据预处理 transforms Compose([ Resize((512, 512)), RandomHorizontalFlip(), ToTensor() ])高级应用与性能优化模型编译加速SAM 2支持PyTorch 2.0的torch.compile功能显著提升推理速度# 启用全模型编译优化 predictor build_sam2_video_predictor( model_cfg, checkpoint, vos_optimizedTrue # 启用视频分割优化 ) # 或仅编译图像编码器 config OmegaConf.load(model_cfg) config.compile_image_encoder True性能对比全模型编译在A100 GPU上可将推理速度提升30-50%具体取决于视频长度和批次大小。多目标跟踪优化SAM 2.1引入了独立的对象推理机制支持更灵活的多目标跟踪# 独立处理每个对象避免干扰 predictor SAM2VideoPredictor.from_pretrained( facebook/sam2-hiera-large, independent_object_inferenceTrue ) # 动态添加新对象 state predictor.init_state(video_frames) # 初始对象分割 predictor.add_new_points_or_box(state, initial_prompts) # 视频中途添加新对象 for frame_idx in range(10, len(video_frames)): if need_new_object: # 添加新对象提示 new_object_id predictor.add_new_object( state, new_prompts, current_frameframe_idx )内存使用优化策略对于长视频处理推荐以下内存优化策略分块处理将长视频分割为多个片段选择性内存保留根据重要性评分保留关键帧特征梯度检查点训练时启用以降低内存占用# 分块处理长视频 chunk_size 30 # 每30帧为一个处理块 for chunk_start in range(0, len(video_frames), chunk_size): chunk_frames video_frames[chunk_start:chunk_startchunk_size] chunk_state predictor.init_state(chunk_frames) # 处理当前块 for frame_idx, object_ids, masks in predictor.propagate_in_video(chunk_state): # 保存结果并清理中间状态 save_results(masks)实际应用案例自动驾驶场景分割SAM 2在复杂交通场景下的车辆分割效果支持多目标识别和跟踪在自动驾驶领域SAM 2可用于实时道路目标检测与分割车辆与行人跟踪动态障碍物识别场景理解与语义分割# 自动驾驶场景应用 def process_autonomous_driving_video(video_path): predictor build_sam2_video_predictor(model_cfg, checkpoint) video_frames load_video_frames(video_path) # 初始化跟踪状态 state predictor.init_state(video_frames) # 定义关键目标类别 vehicle_prompts detect_vehicles(first_frame) pedestrian_prompts detect_pedestrians(first_frame) # 多目标跟踪 for frame_idx, object_ids, masks in predictor.propagate_in_video(state): # 实时分析每个目标 analyze_traffic_objects(masks, object_ids, frame_idx)医疗影像分析SAM 2在医疗影像领域具有广泛应用医学图像分割CT、MRI病变区域跟踪手术视频分析细胞运动追踪工业检测与质量控制工业场景下的目标分割支持复杂背景下的精确识别在工业应用中SAM 2可用于产品缺陷检测生产线目标跟踪质量控制自动化设备状态监控训练与微调指南自定义数据集训练SAM 2支持在自定义图像和视频数据集上进行训练和微调# 训练配置示例 python training/train.py \ --config training/configs/sam2.1_hiera_b_MOSE_finetune.yaml \ --dataset.path /path/to/your/dataset \ --batch_size 8 \ --num_workers 4 \ --output_dir ./output数据准备最佳实践数据格式标准化确保图像/视频尺寸统一标注质量检查验证标注的时空一致性数据增强策略应用适当的空间和时间增强批次构建优化平衡视频长度和批次大小训练参数调优参数推荐值说明学习率1e-4使用余弦退火调度批次大小8-16根据GPU内存调整训练轮数50-100基础模型微调优化器AdamW权重衰减0.05混合精度bfloat16A100/V100推荐常见问题与解决方案安装问题Q安装过程中出现CUDA扩展编译失败A这通常不影响核心功能可以忽略警告。如需完整功能请确保CUDA工具包版本与PyTorch CUDA版本匹配安装正确的nvcc编译器检查GPU驱动兼容性QWindows系统安装问题A推荐使用WSL2Windows Subsystem for Linux运行SAM 2确保Linux环境兼容性。性能优化Q如何提升推理速度A启用vos_optimizedTrue参数使用torch.compile编译模型并考虑使用较小的模型变体。Q内存不足如何处理A减小批次大小使用梯度检查点或分块处理长视频。模型使用Q如何处理低质量分割结果A尝试以下策略提供更精确的交互提示调整置信度阈值使用多掩码输出选择最佳结果结合多个提示类型点框Q如何评估分割质量A使用标准评估指标Jaccard指数JF边界精度F时空一致性评分未来发展方向SAM 2作为视觉分割的基础模型在以下方向有重要发展潜力多模态扩展结合文本、语音等多模态输入实时性优化进一步降低延迟支持边缘设备领域自适应针对特定领域医疗、工业优化交互式学习基于用户反馈的在线学习技术资源与支持核心代码模块模型构建sam2/build_sam.py - 主要模型构建接口图像预测sam2/sam2_image_predictor.py - 图像分割API视频预测sam2/sam2_video_predictor.py - 视频分割API训练框架training/train.py - 完整训练流程数据集工具sav_dataset/sav_evaluator.py - 评估工具示例与演示图像示例notebooks/image_predictor_example.ipynb视频示例notebooks/video_predictor_example.ipynb自动掩码生成notebooks/automatic_mask_generator_example.ipynbWeb演示demo/ - 完整的Web应用实现社区与贡献SAM 2采用Apache 2.0开源协议欢迎社区贡献报告问题和建议提交代码改进分享应用案例参与模型优化通过深入理解SAM 2的技术架构、掌握部署实践、优化性能参数开发者可以充分利用这一先进的视觉分割基础模型构建创新的计算机视觉应用推动AI在图像和视频理解领域的发展。【免费下载链接】sam2The repository provides code for running inference with the Meta Segment Anything Model 2 (SAM 2), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sa/sam2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考