去年我帮某医疗AI小组做肾脏结石检测尝试直接把检测模型从常见的ResNet-50骨干换成RetinaNet_X101-64x4d_FPN_GHM-1x_Coco原本漏检比较多的小结石一下子被捞回来不少。这个项目看起来只是在配置文件里改了一行模型名实际上牵涉到目标检测的骨干网络选型、特征金字塔和多尺度检测、损失函数对难易样本的平衡以及医学影像小目标的标注和训练策略。本文就把这个模型从拆解到落地完整过一遍重点讲 GHM 损失为什么适合肾结石场景、X101-64x4d 这个骨干到底解决了什么问题以及我在实际训练中踩过的坑。适合正在做医学影像目标检测、或者打算从 COCO 预训练模型迁移到自有小数据集上的人参考。1. 为什么用 RetinaNet 搞定肾脏结石检测1.1 目标检测模型选型对比做医学影像检测第一反应通常是 Faster R-CNN 或者 YOLO但真跑到肾结石这类任务上就会有明显区别。肾结石在 CT 影像里往往只有几十个像素形态不规则和周围组织对比度也不高属于典型的小目标、弱特征检测。Faster R-CNN 的两阶段结构精度确实高但它的 RPN 和后面的分类回归分支是串行的训练慢对小目标也容易因为正样本太少而欠拟合。YOLO 系列的思路是单阶段直接回归速度快但对密集小目标并不友好。RetinaNet 也是单阶段但它专门为稠密目标设计anchor 覆盖了从 32x32 到 512x512 的多尺度范围配合 FPN 每一层负责一个尺度范围小目标不会被大目标的特征淹没。我之前用过 RetinaNet 的 ResNet-50 版本做肾结石检测效果已经够用但换成 X101-64x4d 之后特征表达更细边界更清楚漏检率下降了一个档次。这里把三种模型的取舍整理成一张表方便你做选型模型结构特点小目标能力训练速度迁移到医学影像的体验Faster R-CNN两阶段RPN检测头强但依赖RPN质量慢稳定但调参多YOLO系列单阶段网格预测一般适合中大型目标快小目标容易漏RetinaNet-X101单阶段FPN焦点式损失强多尺度覆盖好中等对弱特征目标友好真正选 RetinaNet核心原因是它把单阶段速度和两阶段精度之间的差距补上来了。Focal Loss 系列损失函数使得单阶段检测器也能关注难样本而 GHM 在此基础上又解决了难样本中的离群点问题这一点后面展开说。1.2 X101-64x4d 骨干网络的价值X101-64x4d 指的是 ResNeXt-101其中 64x4d 表示 cardinality 为 64每个分支的宽度为 4。ResNeXt 是在 ResNet 基础上引入分组卷积它不像 Inception 那样手工设计每个分支而是用同拓扑的多分支结构提升表示能力。通俗理解它把一张特征图上的通道拆成 64 组每组内部做 3x3 卷积最后合并这样在相同计算量下比普通 ResNet 能学到更多样的特征组合。肾结石在 CT 图像里的纹理、边缘、钙化密度变化往往需要多个通道特征协同判断。ResNet-50 的 4 个 stage 也能提取这些信息但到深层时通道数量有限对微弱边缘的响应不够。X101-64x4d 在 stage 3-5 中使用分组卷积参数量更大特征通道的组合方式更丰富对小目标的语义信息更敏感。这里有一个经常被忽略的点骨干网络输出给 FPN 的特征图传入的是不同 stage 的结果骨干越强FPN 每一层的语义质量越高。X101-64x4d 在 COCO 上的预训练权重已经学会了大量的自然图像边缘纹理迁移到 CT 影像时虽然图像分布不同但低层边缘、高层语义的通用特征仍然有效。我在实验里对比了 ResNet-50、ResNet-101 和 X101-64x4d 三种骨干X101 在验证集上的 mAP 比 ResNet-50 高了大约 4-6 个点尤其是小目标召回率有明显提升。代价是显存占用和训练时间。X101-64x4d 的模型体积接近 200MB备份网络和 FPN 的显存占用会明显高于 ResNet-50后面第三节我会给出具体的显存优化方案。1.3 GHM 损失函数为什么合适RetinaNet 原始论文用的是 Focal Loss它通过调制因子降低易分样本的损失权重把训练重心压到难分样本上。但 Focal Loss 有两个问题一是难分样本里也夹杂着离群点这些离群点可能是标注噪声或图像伪影过多关注反而会让模型学歪二是超参数 alpha 和 gamma 敏感换一个数据集就要重新调。GHMGradient Harmonizing Mechanism换了一个思路。它统计每个样本的梯度模长把所有样本按梯度模长分到不同的 bin 里然后根据每个 bin 的样本密度来调整损失权重。梯度模长小的样本是易分样本梯度模长特别大的样本被判定为离群点这两类都会被降权真正被强调的是梯度模长处于中间区间的难样本。放到肾结石场景里一张 CT 切片上通常只有一两个结石而背景像素和边缘区域占了绝大多数。学习的前期模型很容易把所有区域都预测成背景这些背景样本的梯度虽然小但数量巨大累计起来会淹没结石的梯度。GHM 的密度协调机制直接解决了这个数量不平衡问题不需要像 Focal Loss 那样反复调 alpha。我是把 GHM 参数里的 bins 设成 10momentum 设成 0.75alpha 和 beta 分别为 0.75 和 1.0。训练时明显感觉到损失曲线比 Focal Loss 更稳定早期不会出现剧烈震荡。2. 数据准备与迁移学习的落地细节2.1 数据集标注与预处理不管模型多强医学影像检测的第一步永远是数据。肾结石检测可以使用 CT 横断面图像也可以使用超声图像。CT 图像本身是灰度值我一般把它转成 PNG 或者直接以 DICOM 读取后做归一化然后在图像上标注每个结石的边界框。标注格式最省事的是 COCO 的 json 格式。你需要保证每个标注框的 category_id 从 1 开始而不是 0因为很多检测框架的 background 类别默认占第 0 位。标注完要检查框是否越界、是否有为空的情况。曾经碰到一个标注文件里有一张图片的边界框宽高小于 1 像素训练时直接报错这类问题提前用脚本筛选掉。数据量不需要太大但至少要有 300-500 张包含结石的切片。如果只有几十张任何模型都很难学到稳定的特征。我这边采集了约 800 张 CT 切片其中约 600 张有结石200 张作为纯阴性样本。加入阴性样本的目的是让模型知道没有结石也要输出空结果这对降低假阳性很重要。数据增强方面医学图像不适合做过度的颜色扰动灰度图的亮度对比度调整要控制幅度。我用了随机水平翻转、随机缩放范围 0.8-1.2、随机裁剪。缩放增强能模拟不同层厚下的结石尺寸变化对 FPN 的多尺度特征有好处。2.2 类别不平衡与小目标问题肾脏结石检测本质上是一个正样本极少的目标检测任务。一张 512x512 的图像有数万个 anchor真正和一个结石有交集的 anchor 可能只有几十个。如果不处理训练会被背景 anchor 主导。RetinaNet 本身的 anchor 配置里每个位置有 3 个尺度和 3 个长宽比共 9 个 anchor配合 FPN 的 5 个层级绝大部分 anchor 都会落到背景上。GHM 已经能处理样本不平衡但还有一个操作不能省训练时要调整 anchor 的 scale 范围。默认 RetinaNet 的 anchor 从 32 到 512但对于 CT 切片里的肾结石很多结石只有 10x10 像素到 60x60 像素我建议把 anchor 的 scale 改成从 8 开始到 256 为止strides 不变。这样可以让小尺度层级承担更多匹配任务。另一个关键点是 assigner 的 IoU 阈值。默认正样本 IoU 阈值是 0.5负样本是 0.4中间是忽略。对于小目标0.5 的阈值可能太严格导致正样本不够。我会把正样本阈值降到 0.45同时把 allowed_border 适当调大让靠近边界的 anchor 也能参与训练。这样调整之后模型对小结石的召回率提高了大约 3 个百分点。2.3 预训练权重的选择标题里的 Coco 表示这个权重是在 COCO 数据集上预训练的。使用 COCO 预训练权重对医学影像任务非常重要因为医学领域很少有大规模公开检测数据集直接从头训练一个 X101-64x4d 骨干需要的数据量极其庞大很容易过拟合。在具体操作时要确保下载的权重文件版本和代码库的配置匹配。如果选了x101-64x4d的预训练模型文件名里一般会带x101_64x4d这样的标识。加载权重时检查一下 key 是否都能对上特别关注backbone部分的 key。有的权重是用 8 GPU 训练的state_dict 里不会有module.前缀如果是多卡保存的加载单卡模型时要去掉前缀。迁移学习有一个细节ResNeXt 的 BN 层均值和方差需要在新数据集上重新统计。如果新数据集图像分布和 COCO 差异很大冻结 BN 层会导致训练不收敛。我这里选择不冻结骨干网络让模型在肾结石数据上继续微调。虽然训练时间变长但骨干网络能学到 CT 影像的灰度特征最终检测精度更高。3. 配置文件核心参数与训练启动3.1 模型配置逐项解析现在大多数 PyTorch 检测框架都用配置文件管理超参数。下面是一个简化版的配置示例基于 RetinaNet_X101-64x4d_FPN训练 12 epochs骨干预训练权重来自 COCO_base_ retinanet_x101_64x4d_fpn_1x_coco.py model dict( bbox_headdict( num_classes1 ) ) data dict( samples_per_gpu2, workers_per_gpu2, traindict( ann_filedata/kidney_stone/annotations/train.json, img_prefixdata/kidney_stone/images/train/ ), valdict( ann_filedata/kidney_stone/annotations/val.json, img_prefixdata/kidney_stone/images/val/ ) ) optimizer dict( typeSGD, lr0.005, momentum0.9, weight_decay0.0001 ) lr_config dict( policystep, step[8, 11] ) total_epochs 12第一行的_base_指向预训练模型的配置这个配置里已经包含骨干、FPN、anchor 策略、损失函数、优化器等完整定义。我们只需要在继承基础上覆盖几个关键参数。bbox_head中的num_classes必须改成 1如果保持默认的 80最后输出层的类别维度会不对同时损失计算也会出问题。改这个数字之前要先在代码里确认头部的num_classes是包含背景还是不包含背景。大多数 RetinaNet 实现中这个值是前景类别数背景通道由分类器的 sigmoid 隐式处理所以肾结石只有 1 个前景类填 1 即可。data.samples_per_gpu表示每张 GPU 上一次前向传入多少张图。默认可能是 2但 X101-64x4d 的显存占用很高如果你的 GPU 只有 11GB2 张 512x512 图像加上大模型的激活值就可能溢出。可以先从 1 开始batch size 太小的时候用后面会讲的梯度累积来稳住训练。还有一个容易忽略的参数是test_cfg中的nms_thr和max_per_img。肾结石检测中一个结石可能会输出多个框NMS 阈值设 0.5 比较合适。max_per_img是每张图最终保留的检测框数量默认可能是一百多对于肾结石场景可以降到 30避免输出太多假阳性框。3.2 训练策略1x schedule 与学习率标题里的 1x 指的是 COCO 标准训练计划里的 1x schedule也就是 12 epochs 总训练量学习率在第 8 和第 11 epoch 时除以 10。这个 schedule 本来是为 COCO 这种 12 万张图的大数据集设计的迁移到只有几百张图的小数据集时不能完全照搬。我之前试过直接按 12 epochs 从头训练第 2 个 epoch loss 就开始下降到第 8 个 epoch 已经收敛但验证集 mAP 却开始下降出现了过拟合。后来把数据增强加强了一点并把总 epoch 数降到 10学习率衰减点改成 [7, 9]效果更好。学习率的设置也要跟着 batch size 走。如果 models_per_gpu 从默认的 2 降到 1学习率也应该从 0.01 降到 0.005。一个经验值线性缩放规则batch size 减半学习率减半。我用的 SGD 动量 0.9权重衰减 0.0001这些参数在 12 epochs 内比较稳定。如果你用的是小数据集还可以考虑在骨干网络部分设置更小的学习率。配置里可以把整个模型的lr_mult调整为骨干 0.1检测头 1.0。这样做的逻辑是骨干网络在 COCO 上已经学会通用特征只需要微调而检测头是新初始化的需要更大学习率去快速拟合。3.3 显存优化和Batch Size调整X101-64x4d 最大的敌人是显存。一次前向传播所有中间特征图都会留在显存里特别是 FPN 的 P2-P7 多层特征上RetinaNet 的分类和回归输出又都很大。我在 11GB 显存的卡上测试时输入 800x600 的图像batch size 2 勉强能跑但训练速度很慢。最直接的优化是限制图像尺寸。RetinaNet 默认会做 max_size 1000 的尺度缩放但对 CT 影像来说原始分辨率可能已经足够直接设置img_scale(512, 512)能显著减少显存占用。结石本来就是小目标把图像缩到 512x512 并不会丢失太多信息反而能增加 negative anchor 的数量让 GHM 的统计更稳健。显存还不够的时候先把samples_per_gpu降到 1然后开启梯度累积。Pytorch 检测框架里一般叫accumulative_counts假设原本 batch size 为 2累积步数为 2相当于每 2 次前向更新一次参数梯度计算的等效 batch size 不变。这个方法唯一的缺点是训练时间变长但能保证模型收敛效果和 batch size 2 基本一致。如果训练过程中 loss 出现 NaN优先检查输入图像是否有全黑或全白的异常切片以及标注框坐标是否有零值。医学影像的像素值范围很大如果忘记归一化到 0-1会让分类分支的梯度极不稳定。4. 训练实测与问题排查实录4.1 训练日志与损失曲线怎么看训练时的日志输出一般包含loss_cls、loss_reg、loss_centerness如果使用 Centerness 分支和loss总和。RetinaNet 的 GHM 变体在日志里可能还会显示ghm_cls和ghm_reg。我训练的时候前几百次迭代里loss_cls从 8 左右快速降到 3loss_reg从 5 降到 2这个过程说明模型正在学习区分背景和前景。如果loss_cls降得很慢多半是 anchor 匹配率太低需要检查正样本 IoU 阈值和 anchor 尺度。如果loss_reg一开始就非常低也要警惕可能是正样本数量太少回归分支没有学到有效信息。GHM 的一个特点是它会用梯度密度对损失进行重新加权所以日志里的 loss 值比 Focal Loss 曲线更平滑不会出现特别尖的波峰。如果看到 loss 突然跳高大概率是某几张图的梯度统计异常。这时候可以检查一下数据加载器里的图像是否正常是否出现了黑色边框或垂直翻转。4.2 典型问题排查速查表实际训练中常见的问题我整理成一个速查表供你对照排查现象原因解决方案显存溢出输入尺寸太大或batch size过高减小img_scalesamples_per_gpu设为1开启梯度累积类别损失不下降anchor尺度不匹配正样本太少缩小anchor base调整正样本IoU阈值回归损失为0标注框尺寸异常空框用脚本检查BBox坐标和宽高输出全部为背景阴性样本过多分类阈值过高降低score_thr到0.05检查类别数训练loss震荡学习率过大或GHM的bin数量太小降低学习率增加bins到15验证集mAP低数据增强不足或过拟合加强数据增强减少epoch或增加dropout有一条很重要不要在训练中期只看 mAP。医学检测任务里mAP 对假阳性不敏感但临床上最怕的是漏诊。我建议每几个 epoch 保留一份 checkpoint然后用验证集生成几张可视化结果直接用肉眼看哪些结石没框出来。有时候 mAP 涨了但漏掉的是某一种特定形态的结石这种问题只有可视化才能发现。4.3 GHM 的坑alpha 和 memoryGHM 除了 bins 参数外还有一个容易踩坑的地方是它的内存有限统计机制。GHM 不会对全量梯度做统计而是维护一个有限大小的 memory buffer每个 batch 计算梯度后更新这个 buffer。如果 batch size 太小buffer 里的统计就不稳定。我最初用 batch size 1 训练GHM 的统计几乎每次都只看到当前一张图的梯度分布难以覆盖整个数据集的分布导致损失权重计算波动。后来我坚持至少用 batch size 2 或累积梯度同时在 GHM 参数里把f这个动量参数调大到接近 1让历史统计占据更大比例loss 曲线就平稳很多。还有一点GHM 对离群点的抑制很强但离群点中有一部分其实是真正难检测的困难样本比如被肠道气体遮挡的结石。如果发现召回率在训练后期无法提升可以适当调低 GHM 对梯度模长最大值附近的抑制强度或者把 bins 放宽这样可以保留一些困难样本的训练信号。5. 推理、评估与可视化5.1 测试流程与指标评估模型训练完成后进入推理阶段。测试流程和训练几乎一样输入一张 CT 切片输出检测框和置信度。评估指标我建议用 COCO 的 mAP[0.5:0.95] 作为参考同时额外记录 recall0.5 和 precision0.5因为医学目标检测更关注所有结石有没有被发现。实际操作时我会在验证集上统计以下三个数字指标数值(示例)说明mAP0.50.82常规目标检测衡量值Recall0.50.88对结石的召回能力更重要Precision0.50.74假阳性比列从这张表能明显看到precision 相对低说明模型容易把一些血管钙化、肾盂内伪影误报成结石。这很正常因为训练数据里的阴性样本如果不够多样模型就无法学会哪些不是结石。要改善可以专门收集一些带伪影的 CT 切片作为负样本继续微调。推理速度上X101-64x4d 大约每张图像 100-200msGPU虽然比 YOLO 慢但对于离线诊断场景完全可以接受。如果需要实时分析可以把模型导出为优化后的推理格式并在保存时固定输入分辨率。5.2 可视化检视与假阳性控制测试时除了看指标一定要叠加可视化。我用红色框标出预测结果绿色框标出真实标注。如果绿色框旁边跟随一个红色框说明模型定位准如果红色框落在血管、肾盂等区域就是假阳性。假阳性控制有几个经验置信度阈值不要统一用 0.5可以先看置信度分布选择一个让假阳性最少的阈值。有时 0.35 的召回率比 0.5 高很多但假阳性也多需要临床接受度权衡。NMS 的 IoU 阈值可以调低到 0.4多个重叠框会被抑制得更彻底减少同一个结石输出十几个框的问题。结合肾结石的形态先验肾结石通常高亮度、边界锐利可以加一个简单的后处理规则拒绝面积过小或长宽比过大的检测结果。可视化输出不要只保存在训练集和验证集上要拿一批新的外部切片测试。我吃过一次亏训练集和验证集都来自同一个扫描设备图像分布相似评估结果很好但换到另一家医院的图像上假阳性暴增。所以跨中心的图像验证在医学 AI 里是必须的。5.3 部署到实际使用场景的经验把模型从 notebook 搬到实际使用场景目标不是 mAP 最高而是可控的假阳性和稳定的推理速度。我自己在部署环节会做这几件事第一固定模型输入尺寸。X101-64x4d 的骨干网络对输入分辨率敏感部署时固定为训练时的最大尺寸避免动态尺度带来的 GPU 内存波动。第二把预处理流程固化包括灰度归一化、窗宽窗位调整等否则训练和推理的图像分布不一致会显著影响效果。第三批量推理时设置合理的 batch size一次处理多张图可以提高吞吐量但也要考虑 batch 内图像尺度是否一致。最后再说一个模型细节由于我们只检测一个类输出的分类分数可以直接反映置信度。如果业务上需要更细的结石分级比如区分含钙结石和尿酸结石那就要在多分类数据上重新训练而不是硬改输出维度。这个项目目前还只是一个辅助识别 Demo真正的临床落地还需要与影像科流程做更深入的集成但从检测效果看RetinaNet_X101-64x4d_FPN_GHM-1x_Coco这套组合在肾结石场景确实站得住脚值得继续往下推。
