SAM 3 微调实操指南改 3 处配置一条命令训出领域专属分割模型【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3SAM 3 在 SA-CO 基准上已经做到人类标注者 75%–80% 的水平但「通用强」不等于「你的领域强」。做 SAM 3 微调也就是自定义训练的价值在于把它当起点而不是终点——喂一批自己的数据就能得到一个懂你业务的专属分割模型文本提示进、像素级掩码出视频里还能直接跟踪。整条链路比想象中短备一份 COCO 格式的数据改 3 处配置跑一条命令。全程只用仓库自带的 训练入口 和 Hydra 配置系统本地单卡到 SLURM 集群走的是同一个脚本。 环境一行带过Python 3.8官方建议 3.12、PyTorch 1.10、CUDA 11.3强烈建议 GPU。克隆仓库后安装训练依赖即可开工git clone https://gitcode.com/gh_mirrors/sam/sam3 cd sam3 pip install -e .[train] 能力全景为什么选 SAM 3 做领域适配SAM 3 是一个统一的提示可分割promptable segmentation基础模型文本编码器把「红衣服的球员」这类短语翻成特征向量图像编码器提取视觉特征检测器负责定位所有匹配实例跟踪器把结果沿视频帧延续内存银行则复用前几帧的信息省算力。它做领域适配有两个杀手锏。一是开放词汇能力——官方数据引擎自动标注了 400 万 概念270K 唯一概念比已有基准多 50 倍以上模型天生会「认没见过的词」微调只是让它认得更准。二是 presence token 加解耦的检测器–跟踪器设计既能区分「白衣球员」和「红衣球员」这类近似提示又让检测与跟踪互不干扰数据越多涨得越快。换句话说零样本已经能打微调负责把最后 20%–25% 的差距吃进你的领域。 实战落地从数据集到一条命令数据集三件套怎么备SAM 3 的训练数据只认 COCO 格式每个 split 一个目录图像和一份_annotations.coco.json放一起custom_dataset/train/ # 图像 _annotations.coco.json custom_dataset/valid/ custom_dataset/test/标注文件里要有四样东西图像路径与尺寸、边界框XYWH、分割掩码RLE 或多边形坐标、类别标签和对应的文本描述。官方 Roboflow / ODinW 配置里每个 supercategory 都是train/valid/test三段式结构照着摆就行。想直观感受一下数据长什么样SA-CO 是这个体系里最典型的样本集配置里必改的 3 处配置目录 下有 roboflow_v100、odinw13 等现成模板复制一份后只需动 3 处paths数据集根目录、experiment_log_dir日志落盘位置、bpe_path仓库自带sam3/assets/bpe_simple_vocab_16e6.txt.gz直接指过去。数据指针trainer.data.train/val里的img_folder和ann_file通常已经用${paths.xxx}变量串好改完第 1 处这里自动生效——没串上的话手动填路径。launcher/submititgpus_per_node、num_nodes、use_cluster决定任务是本地跑还是丢给 SLURM。其余参数有合理默认值scratch.train_batch_size默认 1显存够再加、trainer.max_epochs默认 20、scratch.lr_scale默认 0.1各参数组学习率由它统一缩放。调参前建议先跑通再动它们。一条命令跑通训练本地单卡python sam3/train/train.py -c configs/roboflow_v100/roboflow_v100_full_ft_100_images.yaml --use-cluster 0 --num-gpus 1多卡或集群改参数即可--num-gpus 4上 SLURM 则加--use-cluster 1 --partition 分区 --account 账号 --num-gpus 8 --num-nodes 2。跑起来后打开 TensorBoard 盯盘命令是tensorboard --logdir experiment_log_dir/tensorboard。日志目录里自动备好了config.yaml原始配置、config_resolved.yaml变量展开后、checkpoints/、tensorboard/和文本logs/。重点看三条曲线总损失含分类与分割分项、验证集 AP、学习率——损失平稳下降、AP 稳步爬升就是健康信号。⚡️ 避坑速查训练中的 4 个高频问题症状大概率原因处理动作训练/验证损失背离过拟合数据量相对模型太小加强transforms数据增强、早停、冻结部分层或调大wdweight decay训练速度慢单卡 小 batch 数据加载瓶颈开多卡、确认混合精度默认bfloat16AMP 已开、调大num_train_workersCUDA OOM分辨率或标注量超标调低scratch.resolution默认 1008、调小max_ann_per_img默认 200、设gradient_accumulation_steps攒梯度损失中途发散inf小数据 高学习率组合少数 job 会翻车官方复现方案也是「用发散前最后一个 checkpoint」降低lr_scale可进一步减少发生 一个经验值数据量小于 1000 张时先把lr_scale从 0.1 压到 0.05发散概率明显下降。✅ 训练完怎么验一条命令出评估指标评估复用同一个训练脚本把 job 配置里的trainer.mode设为val即可python sam3/train/train.py -c configs/roboflow_v100/roboflow_v100_eval.yaml跑完会给你 IoU、AP、框精度、掩码质量一套完整指标SA-CO 类基准的官方指标是 cgF1评测器会对照 3 个人类标注分别计算并取最优oracle 设定人类一致率本身就是模型性能的上界参考。下面这张图就是 SA-CO 的标注形态每张图一行短语三个标注者的掩码并排摆出边界分歧和实例数分歧都能直接看出来——你的微调模型的目标就是逼近这条人类上界。️ 进阶路线下一步能做什么跑通第一个领域后有三条现成的路可以走复现 few-shot 设定用 ODinW13 配置把odinw_train.train_file在seed300 / seed30 / seed3三个 10-shot 种子间切换、三 seed 聚合出结果——这是衡量「少量标注能不能打」的标准动作。job array 批量扫数据集在submitit里开job_arraynum_tasks: 100一次提交让集群按索引自动挑数据集并行训 100 个领域模型。升级输出能力把scratch.enable_segmentation和模型配置里的enable_segmentation一起置为true损失里挂上Masks项focal dice模型就从「只会画框」升级到「直出掩码」。再往后SAM 3.1 的多目标共享内存跟踪和更新版 checkpoint 也值得跟进——微调权重和推理代码都来自同一个仓库迁移成本几乎为零。你的领域数据就是最后的护城河现在可以开工了。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
