做目标检测的头两年我踩过的最大一个坑就是“只看论文不动手”。Faster R-CNN 这篇论文我从头到尾读过三遍真正把它讲明白是在我用 MMDetection 从头训完三个自己的数据集之后。它属于典型的 two-stage 检测器先用一个叫 RPN 的小网络在海量候选位置里筛出“像目标”的框再对这些框做精细分类和坐标修正。放到今天看它的精度依然能打尤其是小目标和密集场景很多工业质检、遥感识别、医疗影像的线上模型底座还是它。这篇东西写给两类人一类是刚接触目标检测、被 anchor、RoI、NMS 这些名词绕晕的新手另一类是已经在用 MMDetection 训练 faster rcnn但总觉得参数调不明白、显存总爆、mAP 上不去的同学。我会从“为什么这么设计”讲到“配置文件里哪一行该改成什么”尽量说人话也尽量把我在真实项目里摔过的跤都摊开讲。1. 先想清楚Faster R-CNN到底在解决谁的麻烦1.1 从R-CNN到Fast R-CNN三代模型各自卡在哪要理解 Faster R-CNN 的价值得先知道它前面两位兄弟有多难用。R-CNN 的思路非常朴素先用选择性搜索Selective Search在一张图上框出两千个可能包含目标的候选区域然后把每个区域从原图上抠下来强行缩放到 227×227逐个送进 CNN 提特征最后用 SVM 分类、用线性回归修框。这套流程的毛病一眼就能看出来两千个区域意味着两千次前向传播同一个物体被重复计算了无数遍论文里给的数字是单张图测试要几十秒而且训练要分好几段走特征文件得先落在磁盘上磁盘 IO 直接成了瓶颈。Fast R-CNN 把这件事聪明了一半。它不再抠图而是把整张图先过一次 CNN 得到共享的卷积特征图再把候选框按比例映射到特征图上用 RoI Pooling 把每个候选区域池化成固定尺寸的特征向量最后接两个头一个做分类一个做回归。这样一张图只做一次卷积速度快了一个数量级而且分类和回归能端到端一起训。但它留了个尾巴——候选框还是选择性搜索生成的这一步跑在 CPU 上一张图要一两秒GPU 在那干等着整个流水线还是被卡住。这就是 Faster R-CNN 出场的背景。它要解决的核心问题只有一个把候选框的生成也搬到 GPU 上让整条链路彻底端到端。解决的办法就是 RPNRegion Proposal Network。这个改动听起来只是“换了个生成候选框的模块”但实际影响巨大——它让检测网络的卷积特征在“找框”和“认框”两个任务之间实现了共享整个模型变成一个可以联合优化的整体。1.2 RPN的关键一步让卷积特征同时服务于找框和认框我特别喜欢用一个类比解释 RPNFast R-CNN 像是一个眼神很好但手很笨的人看东西准但要靠别人选择性搜索把东西一件件递到手里Faster R-CNN 则是让他自己伸手去抓眼睛和手用的是同一套神经信号。技术上RPN 就是接在共享卷积特征图后面的一个极小的全卷积网络。假设特征图是 H×W×CRPN 先在上面滑一个 3×3 卷积padding 保持尺寸不变输出通道通常取 256 或 512把每个位置周围的局部信息聚合一下然后分出两条 1×1 卷积支路一条输出 2k 个分数负责判断这个位置上每个锚框是前景还是背景另一条输出 4k 个偏移量负责把锚框往真实框的方向微调。这里的 k 就是每个位置预设的锚框数量原始论文里是 3 种尺度乘 3 种长宽比共 9 个。这个设计的巧妙之处在于“先粗后精”。RPN 不需要判断具体是猫还是狗它只回答“这里有没有东西”这是一个二分类问题简单且鲁棒。真正区分类别的活儿交给第二阶段。两阶段分工明确各干各擅长的事这是 Faster R-CNN 精度普遍高于同期单阶段模型的重要原因之一。代价也很直观第二阶段要对几百个候选框逐个算速度上天然吃亏。这笔账怎么算后面第 7 节我会结合部署经验再聊。2. 把网络拆开看四段流水线各干什么活2.1 骨干网络与FPN特征图从哪来为什么要多尺度整个 Faster R-CNN 的特征来源就是骨干网络。早期论文用的是 VGG16现在 MMDetection 里默认是 ResNet50 或 ResNet101通常再配一个 FPNFeature Pyramid Network。骨干网络的作用是把 3×224×224 或者更大的原图逐层下采样成一系列越来越小、语义越来越强的特征图。这里必须解释清楚一个概念什么是“下采样倍数”也就是 stride。比如输入 800×1333 的图经过 ResNet 的 stage1 到 stage5会依次得到 stride 为 4、8、16、32 的特征图。stride4 的特征图分辨率最高差不多 200×333细节保留得好但语义信息弱适合找小物体stride32 的特征图只有 25×42语义强但空间位置很粗糙适合找大物体。只用最深层特征的话小目标基本就废了。FPN 干的事就是把这条单向的“下采样链”变成双向的“金字塔”。它有两个通路自底向上是常规的卷积下采样自顶向下则把高层的特征图上采样一倍再和同层的特征图逐元素相加。除此之外FPN 还会在 P5 的基础上再接一个 stride2 的卷积得到 P6专门用来覆盖更大尺度的目标。最终拿到 P2 到 P6 共五层特征分别对应 stride 4、8、16、32、64。为什么要这么麻烦我的实际体感是加不加 FPN 对小目标 AP 的影响能到 5 到 10 个点在遥感、PCB 缺陷检测这类小目标密集的任务上差距更夸张。所以除非你的数据集里目标尺寸非常统一否则别省这个 FPN。2.2 RPN内部9个锚框背后的一笔账RPN 里最让人困惑的就是 anchor锚框。它其实就是预先在特征图每个像素位置上撒下的一批“参考框”网络的任务是判断每个参考框里有没有目标以及该往哪挪多少。在 MMDetection 的faster-rcnn_r50_fpn_1x_coco.py里锚框配置长这样anchor_generatordict( typeAnchorGenerator, scales[8], ratios[0.5, 1.0, 2.0], strides[4, 8, 16, 32, 64])注意这里scales[8]只写了一项看起来只有一个尺度但实际生成的锚框面积是8 × stride的平方。五层特征分别对应 stride 4、8、16、32、64所以真实尺度是 32、64、128、256、512 像素五层乘三种长宽比每层每个位置 3 个锚框五层加起来等于每个原图位置对应了 15 个不同大小的锚框。这比原始论文的 9 个更细也是 FPN 带来的好处——尺度分配由特征层级负责锚框只需要在同一层里管长宽比。为什么要用 stride 来定义尺度而不是直接写像素值因为这样特征图换分辨率时不用重算。你把输入从 800 提到 1333stride 不变锚框的实际像素尺寸自动跟着变大逻辑是自洽的。这一点在调参时很重要很多人改输入尺寸后忘了锚框结果性能掉得莫名其妙。锚框的数量是多少以输入 800×1333 为例P2 到 P6 的特征图尺寸大约是 200×334、100×167、50×84、25×42、13×21加起来约 8.6 万个位置每个位置 3 个锚框总共约 26 万个候选框。26 万个框当然不可能都送进第二阶段所以 RPN 内部先做一轮筛选按前景分数排序取前 2000 个训练时是 12000 个取前 2000做一次 NMS再取分数最高的 1000 个给第二阶段。这个nms_pre和max_per_img就是显存和速度的关键旋钮后面会讲怎么调。2.3 RoI Pooling与RoIAlign候选框怎么变成定长向量第二阶段拿到的是一堆尺寸各异、坐标带小数的候选框而全连接层只接受固定长度的输入所以需要把每个候选框对应的特征区域“压”成统一大小比如 7×7。这个操作就是 RoI Pooling。它的流程是把候选框按比例映射到特征图上得到一个浮点坐标的矩形把这个矩形均匀切成 7×7 个格子每个格子做一次最大池化得到 7×7 的输出。问题就出在坐标映射和切分这两步都做了取整。举个例子一个候选框映射后宽度是 20.3 个特征像素切成 7 份每份 2.9取整之后格子边界有偏差框越大、下采样倍数越高这个偏差累积得越厉害对像素级敏感的任务比如实例分割、小目标检测影响非常明显。RoIAlign 的改法很直接全程不做取整格子边界用浮点数每个格子里均匀取 4 个采样点2×2每个采样点用双线性插值算出特征值再取最大或平均。这样输出的对齐误差从“几个像素”降到“亚像素级”。在 Mask R-CNN 的论文里这一项改动让掩码 AP 涨了 3 个点左右在检测任务上尤其是小目标也有可观提升。所以如果你做的是缺陷检测、遥感或者任何对位置精度要求高的活儿我建议直接把roi_layer换成 RoIAlign。在 MMDetection 里就是typeRoIAlign, output_size7, sampling_ratio00 表示自适应采样。代价是慢一点点但这个交换比很划算。2.4 检测头分类与回归两支队伍怎么配合RoIAlign 输出的固定尺寸特征通常是 7×7通道数由 FPN 统一成 256接下来会经过检测头。在标准的 Faster R-CNN 里检测头是两个 1024 维的全连接层加 ReLU然后分叉成两个分支分类分支输出num_classes 1维多出来的 1 是背景类回归分支输出4 × num_classes维对每个类别各预测一组偏移量。为什么回归要按类别分开这是个设计取舍。按类别分开回归理论上每个类别可以学到自己专属的形变规律比如人偏瘦长、车偏扁宽回归目标不一样。缺点是参数量翻倍而且在类别很多时容易过拟合。有些实现会共用一组回归效果差别不大。MMDetection 里默认是按类别分开的bbox_coder用DeltaXYWHBBoxCoderreg_class_agnosticFalse。如果你的类别数在 10 以内保持默认就行类别上百时我一般会试试reg_class_agnosticTrue参数量小训练也稳。回归的目标形式也要说清楚。网络预测的不是绝对坐标而是相对于锚框或候选框的四个偏移量用的是中心点偏移除以宽高、再取对数的形式。这样做的原因是尺度无关性不管框多大回归目标的数值范围都差不多训练更稳定学习率不用为不同尺度的目标分别调。3. 训练机制损失、采样与交替训练的那些细节3.1 多任务损失分类损失加回归损失λ为什么取10Faster R-CNN 的总损失是四项相加RPN 的分类和回归加上第二阶段的分类和回归。形式上都一样就是“分类损失 λ × 回归损失”。分类损失用的是交叉熵论文里叫 log loss回归损失用的是 smooth L1。为什么回归用 smooth L1 而不是直接 L2因为 L2 对离群点太敏感——一个偏离特别离谱的框它的平方误差会主导整个梯度把网络往沟里带。smooth L1 在误差绝对值小于 1 时是 0.5x²大于 1 时变成 |x| - 0.5也就是大误差的梯度被截断成常数抗噪能力好很多。这个细节在实际训练里很关键如果你的标注里有几个框标错了smooth L1 能扛住L2 可能直接让 loss 爆炸。λ 在论文里取 10意思是回归损失权重要放大 10 倍。为什么要放大因为回归目标经过归一化处理后数值通常在 ±1 以内量级比分类损失小得多不放大就被淹没了。这个值基本不用改。MMDetection 里对应的配置是loss_bboxdict(typeL1Loss, loss_weight1.0)注意它内部的实现已经把 λ 融入权重体系了不要看到权重是 1.0 就以为和论文不一致。3.2 正负样本怎么划IoU阈值与采样比例的实战含义RPN 训练时每个位置有 3 个锚框全图 26 万个不可能全用。策略是每个样本图随机采 256 个锚框正负各占一半。正样本的判定条件是与某个真实框的 IoU 大于 0.7 的算正样本如果某个真实框和所有锚框的 IoU 都不到 0.7那就把 IoU 最大的那个锚框强行标为正保证每个真实框至少有一个正样本与所有真实框 IoU 都小于 0.3 的算负样本介于 0.3 和 0.7 之间的直接丢掉不参与训练。这个“中间地带丢弃”的策略很重要。IoU 在 0.4、0.5 的锚框本身就模糊硬塞进正类或负类都会让 RPN 学到一个混乱的边界。丢掉之后边界清晰收敛更稳。第二阶段同理采样 512 个 RoI正样本的 IoU 阈值降到 0.5正负比例是 1:3。为什么这里阈值放宽因为第二阶段的候选框已经经过 RPN 筛选质量普遍较高如果还用 0.7正样本会少得可怜类别极度不平衡。这个比例 1:3 在类别数少的时候挺好用但类别特别多、长尾特别严重时我一般会把正样本比例适当提高或者引入 Focal Loss 之类的重加权方案具体要看验证集结果。3.3 四步交替训练与近似联合训练历史包袱与现实选择原始论文为了让共享卷积层同时被两个任务优化提出了一个四步交替训练的流程第一步单独训 RPN第二步用 RPN 生成的候选框单独训 Fast R-CNN第三步用 Fast R-CNN 的权重初始化 RPN 再训一次第四步冻结共享层只微调 Fast R-CNN 的独有层。四步走完两个网络才算共享了卷积特征。这套流程在 2015 年是必要的因为当时还不太敢把两个任务的梯度直接加在一起回传。但它非常繁琐实现成本高还容易出 bug。论文里也给了替代方案近似联合训练就是把 RPN 的损失和 Fast R-CNN 的损失直接相加一起反向传播。因为 RoI 的坐标在反向传播时被当作常数梯度不回传到 RPN 的框坐标上所以叫“近似”。实测下来两者精度差异很小我从来只用近似联合训练。好消息是现在的框架早就把这件事封装好了。你在 MMDetection 里写一个 configmodel dict(typeFasterRCNN, rpn_head..., roi_head...)训练时框架自动计算四项损失并一起回传根本不需要操心交替训练。但理解这段历史有价值——当你的 RPN 分支和检测分支明显不协调时比如 RPN 召回率很高但第二阶段 mAP 很低你会知道问题可能出在两个任务的梯度相互干扰上这时候可以试试分阶段微调或者临时冻结某一部分。4. 用MMDetection跑通Faster R-CNN的完整流程4.1 环境安装与版本对齐这一步千万别偷懒MMDetection 生态里版本不匹配是第一大坑我见过太多人卡在“装了 mmcv 但 import 报错”上。稳妥的做法是按下面的顺序装用 mim 托管依赖conda create -n mmdet python3.8 -y conda activate mmdet pip install torch1.13.1 torchvision0.14.1 --index-url https://download.pytorch.org/whl/cu117 pip install -U openmim mim install mmengine mim install mmcv2.0.0 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e .几个要点第一mmdet 3.x 必须配 mmcv 2.x绝对不能混用 1.x 的 mmcv-full第二pip install -e .是开发模式安装改源码后不用重装调试非常方便第三不要在同一个环境里装多个版本的 mmcv装崩了最快的办法是重建环境别硬修。装完跑一下python -c import mmdet; print(mmdet.__version__)确认一下。4.2 数据集准备COCO格式与VOC格式两条路MMDetection 原生支持 COCO 格式和 VOC 格式我一般推荐 COCO 格式因为标注信息集中在一个 json 里类别、尺寸、忽略区域都能表达扩展性好。目录结构是这样的data/coco/ ├── annotations/ │ ├── instances_train2017.json │ └── instances_val2017.json ├── train2017/ │ └── *.jpg └── val2017/ └── *.jpg如果你手上只有 VOC 格式每张图一个 XML框架也能直接用放成data/VOCdevkit/VOC2007/下面包含JPEGImages、Annotations、ImageSets/Main三个目录即可。但我更建议花十分钟写个脚本转成 COCO 格式一是统一好管理二是后续想换模型、做数据增强都方便。注意自己标数据时务必确认标注文件里的width和height与图片实际尺寸一致。我这几年排查过的“训练 loss 正常但 mAP 只有 0.01”的案例里一半以上是宽高写反了。写个脚本批量校验一遍能省你两天时间。4.3 改配置文件把预训练权重接到自己的数据上MMDetection 3.x 的配置是继承式的新建一个configs/my_faster_rcnn.py先继承官方配置_base_ ../faster-rcnn/faster-rcnn_r50_fpn_1x_coco.py data_root data/mydata/ metainfo dict(classes(defect_a, defect_b, defect_c)) model dict(roi_headdict(bbox_headdict(num_classes3))) train_dataloader dict( batch_size2, num_workers2, datasetdict( data_rootdata_root, metainfometainfo, ann_fileannotations/train.json, data_prefixdict(imgtrain/))) val_dataloader dict( batch_size1, num_workers2, datasetdict( data_rootdata_root, metainfometainfo, test_modeTrue, ann_fileannotations/val.json, data_prefixdict(imgval/))) test_dataloader val_dataloader val_evaluator dict(ann_filedata_root annotations/val.json) test_evaluator val_evaluator max_epochs 24 train_cfg dict(max_epochsmax_epochs, val_interval2)这里每一行的意图都得说清楚。metainfo里的classes顺序必须和 json 里的类别 id 对应顺序错了预测出来的标签就是乱套的。num_classes改成实际类别数这一步改动会让分类分支的输出维度从 81 变成 4含背景框架会自动处理权重形状不匹配加载预训练权重时分类层会被跳过并打印警告这是正常的。val_interval2是每两个 epoch 验证一次因为检测的验证比较慢每轮都跑太浪费时间。还有一个容易忽略的点auto_scale_lr。MMDetection 3.x 里有这个配置项开启后会根据你的实际 batch size 自动调整学习率auto_scale_lr dict(enableTrue, base_batch_size16)它的原理是线性缩放规则学习率与总 batch size 成正比。官方配置基于 8 卡 × 2 图共 16 的 batch你单卡跑 batch2学习率就自动缩到 1/8。这个机制让你在改 batch size 时不用手动改 lr非常省心。但要注意它只对 SGD 的基准学习率生效如果你换成 AdamW 系列得自己掂量。4.4 三条命令训练、验证、推理训练python tools/train.py configs/my_faster_rcnn.py \ --work-dir work_dirs/frcnn_defect \ --amp--amp是混合精度训练能省 30% 到 40% 显存速度也快一些而且 MMDetection 内部用的是动态 loss scaling基本不用担心梯度下溢。我这几年的项目里默认都开着它没出过精度问题。--work-dir指定输出目录日志、权重、配置文件副本都会放进去方便复盘。验证加载某个 epoch 的权重算 mAPpython tools/test.py configs/my_faster_rcnn.py \ work_dirs/frcnn_defect/epoch_24.pth \ --show-dir vis_results--show-dir会同时把可视化结果存成图片排查漏检误检时特别有用。别只看那个 mAP 数字肉眼看一遍预测图你会发现问题往往比数字体现得更具体。单张图推理python demo/image_demo.py test.jpg \ configs/my_faster_rcnn.py \ work_dirs/frcnn_defect/epoch_24.pth \ --out-dir results --score-thr 0.3score-thr这个阈值值得单独调。默认 0.3 是个折中值如果你做的是漏检敏感的质检可以降到 0.15如果是误报敏感的场景提到 0.5 甚至更高。这个值不需要重新训练改完直接跑就行。4.5 显存不够怎么办从粗到细的五种调法显存爆掉是新手最常遇到的报错。按我实际处理的顺序优先级是这样的调整手段配置位置效果副作用开启 AMP命令行--amp省 30%-40%几乎无降 batch sizetrain_dataloader.batch_size线性省显存需同步降 lr降 RoI 采样数roi_head.samples_per_gpu影响明显收敛稍慢降 RPN 采样数rpn_head.samples_per_gpu影响中等略降召回减nms_prerpn_head.nms_pre影响中等小目标略受损如果这些还不够就用梯度累积绕过显存限制optim_wrapper dict( typeOptimWrapper, accumulative_counts4, optimizerdict(typeSGD, lr0.005, momentum0.9, weight_decay0.0001))accumulative_counts4表示每四步才更新一次参数等效 batch size 变成原来的 4 倍而显存占用还是单步的量。注意学习率要按等效 batch 算别搞混了。5. 参数怎么调锚框、NMS、学习率的实战手感5.1 锚框设计别用默认值糊弄自己的数据锚框是 Faster R-CNN 里最该按数据定制的东西但大多数人直接用默认配置跑。默认锚框覆盖的是 COCO 那种通用尺度分布你的数据如果是 2000×2000 的遥感图或者 50×50 小目标为主的缺陷图默认值一定不合适。我的做法是拿训练集的所有真实框做 k-means 聚类把框的宽高画个散点图看分布落在哪个区域。然后用聚类出来的结果去改配置anchor_generatordict( typeAnchorGenerator, scales[4, 8, 16], ratios[0.33, 1.0, 3.0], strides[4, 8, 16, 32, 64])这里的scales加了4对应 stride4 那层的锚框尺寸是 16 像素专门抓小目标。长宽比从 0.5/1/2 改成 0.33/1/3是因为我的数据里有大量细长的划痕。改完之后RPN 的正样本比例从 3% 涨到 12%召回率直接提了 6 个点。提示改完锚框后一定要重新看 RPN 的正样本数量统计。如果某个层级的正样本占比低于 1%说明这一层的锚框和目标尺寸不匹配要么改锚框要么这层就该砍掉。5.2 NMS与阈值一个容易被忽视但影响很大的环节NMS非极大值抑制在两处出现阈值常常被混在一起讲其实它们职责完全不同。RPN 内部的 NMS 阈值默认 0.7目的是去除高度重叠的重复候选框但又要保留一定密度避免把挨得近的两个真实目标合并掉。这个值调低比如 0.5会让候选框更稀疏第二阶段负担轻但密集场景容易漏框调高0.8 以上候选框密度大幅上升速度和显存都会吃紧。第二阶段输出后的 NMS 阈值默认在 0.5 左右COCO 上一般用 0.5VOC 传统上用 0.3这个才是决定最终输出结果的那道关口。做密集场景检测时这个值必须仔细调。我做过一个人群计数的项目初始阈值 0.5 的时候画面里紧挨着的人被合并掉三成改成 0.65 之后计数误差从 15% 降到 6%。还有一个更现代的思路是 Soft-NMS不直接删除高重叠的框而是按重叠度给它的分数打折这样密集目标不会因为互相遮挡而被误删。在遮挡严重的场景Soft-NMS 通常能涨 1 到 2 个点 AP代价是推理稍慢一点点。5.3 学习率与训练轮次1x、2x、3x和warmup怎么选官方的1xschedule 是 12 个 epoch学习率 0.02对应 8 卡 × 2 图总 batch 16在 epoch 8 和 11 各衰减 10 倍。这个配置是我们调的起点。如果你单卡跑 batch2按线性缩放规则学习率应该是 0.0025。但我实际试下来小 batch 时纯线性缩放到不了最佳效果通常会比理论值再高一点比如用 0.005配合更长的 warmup 更稳。warmup 这块官方配置是 500 次迭代从 0.001 线性升到基准学习率再走恒定。这个设置的作用是避免训练初期梯度方向混乱导致震荡尤其是加载了预训练骨干、分类头是随机初始化的阶段。如果你的训练 loss 在前几百步上下乱跳先别急着改模型检查一下 warmup 是不是被覆盖掉了。至于训练轮次我的一般规则是数据量在 5000 张以下用 2x24 epoch5000 到 2 万张用 1x 到 2x再大就上 3x 甚至更长。但更重要的是看验证曲线。我的经验是如果连续三个验证点 mAP 都在涨就说明还没训够如果涨了两个点之后开始横盘甚至微降那就是过拟合的前兆该提前停了。检测任务的过拟合往往不是体现在训练 loss 上它会一直降而是体现在验证 mAP 上所以固定的验证间隔是必需的。6. 常见问题排查实录6.1 现象速查表下面这张表是我和团队这几年攒下来的经验按“现象 → 可能原因 → 处理办法”组织遇到问题可以先扫一眼。现象最可能的原因处理办法loss 一开始就是 nan学习率过大或标注坐标越界降 lr 到 1/10检查 json 里有没有负坐标或超出图宽的框loss 正常但 mAP 接近 0类别数配错或宽高写反核对num_classes和标注尺寸全是同一个类别metainfo类别顺序与 json 不一致打印数据集metainfo比对mAP 卡在 0.2 上不去锚框尺度不匹配做 k-means 重设锚框小目标几乎全漏缺 FPN或 P2 层被砍检查neck配置确认五层特征都在密集目标被合并第二阶段 NMS 阈值过低提到 0.6 以上或换 Soft-NMS训练正常但推理结果离谱推理时忘了加载正确权重检查load_from和 test 命令的权重路径显存报错batch 太大或nms_pre过高开 AMP降采样数训练速度慢得离谱dataloadernum_workers设为 0调到 2 到 4中途突然崩某张图标注异常用--cfg-options单独跑那张图定位6.2 三个我印象最深的坑第一个坑是标注里的“隐藏炸弹”。有一次线上模型 mAP 突然从 0.6 掉到 0.15排查了一整天最后发现是新增的一批数据里有一张图的标注宽高写成了0标注工具导出时的 bug。这种零面积的框在计算 IoU 时会引发除零影响梯度。后来我加了一条数据校验规则宽或高小于 3 像素的框一律过滤训练前必跑一遍。第二个坑是num_classes改了但没改全。MMDetection 里除了bbox_head.num_classes早期版本还有roi_head.bbox_head.num_classes和semantic_head之类的地方需要同步改。我当时只改了一处结果加载权重时分类层形状没变模型一直在训 COCO 的 80 类mAP 自然惨不忍睹。现在的做法是训练前打印一遍模型的分类层输出维度确认。第三个坑是学习率衰减点设置不当。有一次我把max_epochs从 12 改成 30但忘了改学习率衰减的 step结果模型在后 18 个 epoch 一直用大学习率跑验证 mAP 一直震荡收敛不了。教训是改总轮次时衰减点一定要按比例同步改比如 12 epoch 在 8/11 衰减30 epoch 就该在 20/27 左右。6.3 一个实用的调试习惯我现在训任何检测模型都坚持先跑一个“过拟合检查”取 20 张训练图用极高的学习率跑 100 个迭代看模型能不能把 mAP 干到 0.95 以上。如果能说明数据、标注、loss、评估这条链是通的如果不能那一定是流程里有 bug跟模型好不好没关系。这个小测试花不到十分钟但能帮你把“数据问题”和“调参问题”彻底分开。我见过太多人上来就调锚框、调学习率折腾一周之后发现是标注格式错了那种时间浪费真的冤。7. 落地前要面对的现实问题7.1 速度优化从推理链路上一层层砍Faster R-CNN 的速度瓶颈主要在第二阶段——每个候选框都要过一次检测头候选框越多越慢。实践中最有效的优化手段按收益排序大概是这样的。第一是砍候选框数量。把 RPN 的nms_pre从 1000 降到 600第二阶段max_per_img从 100 降到 50速度能提 30% 以上精度通常只掉不到 0.5 个点。这里的前提是你的目标不会超过 50 个超过的话就得另说。第二是换骨干网络。ResNet50 换成 ResNet18 或者 MobileNetV2显存和速度都有明显改善代价是精度掉 2 到 4 个点。如果是边缘设备部署这个交换是必要的。第三是导出成推理引擎做图优化把卷积和 BN 融合、去掉无用算子。这部分涉及工具链选择不同平台差异比较大核心思路就是让计算图上少一些碎片化的算子。第四是量化。FP16 基本无损INT8 需要校准集精度通常掉 1 个点以内。量化这条路对 Faster R-CNN 不太友好的一点是NMS 和 RoIAlign 这些算子对数值精度比较敏感量化时可能需要把它们留在高精度侧。7.2 和单阶段模型怎么选别迷信精度排名每次有人问我 Faster R-CNN 和 YOLO 系列怎么选我的回答都是先问三个问题目标尺度差异大不大小目标多不多延迟要求是多少如果你的目标尺寸分布很宽小目标占比超过三成或者对定位精度要求高比如测量类任务需要框得特别准Faster R-CNN 通常更合适。RPN 加 FPN 的组合在尺度覆盖上天然有优势RoIAlign 的亚像素对齐也让边界更准。反过来如果延迟要求是 30 毫秒以内或者跑在算力有限的设备上那单阶段模型基本都是更现实的选择。它们的单次前向传播结构天然更快而且在常规尺度的目标上精度差距已经很小了。我自己在实际选型时一般会先拿一个基线模型快速跑通全流程拿到 mAP 和实测延迟两个数字再决定要不要花时间在 Faster R-CNN 上做精调。因为真正的成本不在换模型而在数据标注和调参选错方向的代价远大于模型本身的性能差异。最后分享一个我在实际项目中养成的习惯每次训完模型我都会把预测结果可视化后逐张过一遍尤其是那些置信度在 0.3 到 0.5 之间的框。这些“犹豫”的预测往往指向真实的问题——要么是标注漏了要么是某类目标的特征和背景太像要么是锚框尺度卡在尴尬的位置。光看 mAP 数字这些东西是永远看不出来的。做检测这几年我觉得最值钱的能力不是会调哪个参数而是能从一堆预测图里看出数据在说什么。
