做篮球场景的目标检测项目时我最常被问到的一个问题是人员、篮球、篮筐这三个目标都塞进同一个模型里是不是直接套用现成的检测框架就够了我的回答是能跑通但精度和稳定性往往都不太好看。篮球场景的任务难点其实不在于类别多而在于目标尺度跨度极大——人员动辄占几百像素篮球在很多机位下只有二十几个像素篮筐又是个细长结构经常被篮网和球员身体遮挡。再加上运动员高速移动带来的运动模糊直接把通用检测器拿过来用小目标和半遮挡目标的漏检率会高得离谱。我做这套“篮球场景中的人员、篮球和篮筐检测与识别”项目时一开始走的就是两阶段检测路线最终基座锁定在 Cascade R-CNN 上针对这个场景做了几处针对性改进增加小目标特征层、调整级联阈值、引入跨帧时序信息、改造分类与回归损失。整个方案在三个类别上的综合 mAP0.5:0.95 从最初的不到 47% 提升到 52% 左右尤其篮球这一类小目标的 AP 从 27.8% 拉到 36.1%效果还是很明显的。这篇博客把整套方案的思路、数据准备、网络改进、训练调参、推理优化和踩坑经验完整记录下来给做体育场景检测或者类似小目标检测任务的朋友一个参考。1. 为什么选 Cascade R-CNN 做基座而不是通用检测器1.1 篮球场景的检测难点比想象中更难先说清楚这个任务为什么不能用“开箱即用”的思路来解决。如果用一句话概括篮球场景检测的核心矛盾那就是“目标形态差异太大且大量目标处于极端状态”。人员这个大类的形态是相对稳定的但运动员在球场上的姿态千奇百怪倒地、转身、跳跃、相互挤在一起再加上球衣颜色和背景对比度不高实际上并不比普通行人检测简单。篮球这个目标最折磨人它在长焦机位下可能只有 20×20 甚至更小的像素面积高速飞行时还有严重的运动拖影轮廓都不完整。篮筐则是一个固定的细长椭圆结构正常视角下好检测但一旦球员在篮下争抢篮筐会被身体大面积遮挡只剩一个边角露出来模型很容易把它当成背景。还有一个容易被忽略的问题球场的光照条件非常不稳定。室内场馆有灯光频闪室外场地有太阳角度变化观众席和广告牌也会带来大量背景噪声。这些因素叠加起来意味着模型不仅要学好目标本身还得对光照变化、背景干扰有足够强的鲁棒性。我一开始在项目里试过直接把现成的 Faster R-CNN 和 YOLOv5 拿过来走一遍结果很典型YOLOv5 在“人员”类别上的表现不错但篮球和篮筐的召回率很低因为单阶段网络对密集小目标的特征提取能力本来就弱Faster R-CNN 稍好一些但在篮筐被遮挡时很容易把边框框到球员手上去。说白了通用检测器按“通用场景”设计篮球场景的极端尺度跨度和遮挡情况已经超出了它们的舒适区。1.2 两阶段级联结构更适合这个任务既然通用检测器不够用那为什么最终选了 Cascade R-CNN 而不是其他两阶段网络这里有几个关键理由。两阶段检测器的结构决定了它有天然的优势第一阶段 RPN 负责快速筛选出候选区域第二阶段 ROI Head 对每个候选框做精细分类和回归。这种“先粗筛、再精修”的流程天然适合小目标和密集场景——RPN 可以先把篮球可能出现的区域全部找出来哪怕框不那么准再由第二阶段去精修。但 Faster R-CNN 本身有一个问题它只有一个 IoU 阈值通常是 0.5训练时所有正样本都是“和真值框 IoU 大于 0.5”的框。这会导致一个矛盾——如果阈值设得低回归任务简单了但模型学到的特征不够精细如果阈值设得高正样本数量又急剧下降训练不稳定。Cascade R-CNN 针对这个矛盾给出了一个很优雅的解法串联多个检测头每个检测头逐步抬高 IoU 阈值让上一级输出的更高质量的框作为下一级的输入。这样每一级都在“更挑剔”地学习最终输出的回归框自然更精准。当然选择 Cascade R-CNN 还有一个很现实的考虑在训练和调参过程中两阶段网络比单阶段网络更容易定位问题。比如我可以通过单独看 RPN 的 loss 和 R-CNN 的 loss 曲线判断问题出在候选框生成阶段还是精细分类阶段这在调参时帮助非常大。单阶段网络出了问题经常只能靠猜。1.3 整体改进思路与模块拆解整个方案的改进思路可以拆成五条线针对小目标篮球在 FPN 中增加更高分辨率的 P2 层并调整对应 anchor 的尺度和比例。针对篮筐遮挡和细长形状把 Box Head 的回归损失从 Smooth L1 换成 GIoU Loss加强对边框几何质量的约束。针对人员密集遮挡在后处理阶段对不同类别采用差异化 NMS 策略保住人群中置信度偏低的真实目标。针对单帧信息不足加入一个轻量级的跨帧时序特征增强模块在推理时结合前后帧的信息补充当前帧的检测。针对类别不均衡将分类损失改为 Focal Loss并对小目标区域在回归损失中增加权重。这五条改进不是一蹴而就的而是逐个加上去、每加一个就做一次消融实验验证效果。后面的章节我会按照实际项目推进的顺序逐步展开先讲数据再讲网络结构和训练最后是推理和排错这样你跟着走一遍基本上能复现整个项目的路径。2. 数据准备完全决定模型上限的环节2.1 视频来源与场景覆盖怎么设计模型的性能上限由数据决定这句话放在篮球场景里尤其准确。我当时在做数据收集时给自己定了一个原则宁可样本总量少一点也要保证场景覆盖足够广。我主要用了三个来源校园野球比赛的自行录制视频、公开的职业比赛录像片段、以及自己组织的多机位训练赛视频。为什么要混着来因为野球比赛机位低、镜头近球员动作随意性强职业比赛机位高、镜头远但战术跑位规范多机位训练赛则可以让我同时拿到不同角度、不同距离的同一进攻回合。三类数据合在一起模型才不至于只在某一种镜头语言下表现好。场景覆盖要考虑的因素包括机位高度平视、俯视、镜头远近近景、中景、远景、拍摄方向底线后、边线旁、观众席高位、室内室外光线、白天夜晚灯光。我记得第一次训练完模型之后拿到一段自己补拍的室外傍晚视频去测试篮球漏检率直接比室内高出一大截后来把这个时段的样本加进去重训才把问题解决。2.2 抽帧与清洗别把所有帧都喂给模型视频数据不能按逐帧全部拿来训练否则相邻帧高度相似会导致严重的过拟合和训练效率低下。我当时采用的抽帧策略是每秒抽取 2 到 5 帧优先抽取包含“投篮出手”“运球突破”“篮下争抢”“罚球”等动作的片段。之所以不固定按秒抽是因为篮球比赛大部分时间都在中场来回传导球这些画面信息量低抽了也浪费时间。抽完帧之后还有一道清洗工序这一步最花时间但也最值得。我做了三件事剔除严重模糊帧比如快速横摇导致的整帧拖影这种画面人眼都很难看清目标模型更学不到有效特征。剔除被大面积遮挡的目标有一种极端情况是球员整个人被另一个球员完全挡住只剩一只手露出来这种样本我选择不标或者直接删掉因为它会干扰模型对“人员”这个类别的整体认知。剔除含球权变换但篮球不可见的帧比如球在人群中抢来抢去连续多帧都看不到篮球这种帧对训练小目标检测几乎无贡献。清洗过程的经验是宁可保留 800 张高质量帧也不要硬凑 2000 张含大量噪声的样本。低质量样本带来的梯度噪声会让模型在小目标上的收敛变得非常不稳定。2.3 标注细节与类别平衡标注这个环节直接决定了模型习得的目标边界尤其在 Cascade R-CNN 这种对回归精度要求高的框架里标注质量的容错窗口很小。人员类别的标注相对直观但在密集遮挡场景下要定一个统一标准。我的标准是可见面积超过 50% 的人就标被遮挡超过 50% 的跳过。这个标准的好处是避免模型在一个“半个人”上反复学习不确定的边界。篮球类别的标注是最讲究的。我只标注“轮廓基本完整”的篮球如果球已经因为运动产生了明显的长拖影就不标。因为拖影目标意味着真实的“球心”位置是模糊的标注者只能凭感觉标而这种位置误差在训练时会直接给回归头带来噪声。一个不严谨的标注框比不标还糟糕。篮筐类别的标注我标的是篮圈的内部区域也就是椭圆形铁框的投影区域不包含篮网和篮板。这里有个容易踩的坑如果标注时把篮网也算进去模型学到的框会比真实篮圈大一圈后续做“是否进球”的判断时得分事件的定位误差会非常大。关于类别均衡篮球场景天然是不均衡的人员在画面中大量出现篮球虽然只有一个但小篮筐只有两个但经常被遮挡。处理上我用了两个手段一是通过采样策略让每个 batch 里三类目标数量的比例不要过于悬殊二是在标注数据时对“篮筐被部分遮挡”的样本做人工聚焦专门多截一些这种帧因为这是最容易漏检的 case。2.4 数据增强模拟运动模糊比什么都管用数据增强这块我重点推两个手段运动模糊模拟和尺度扰动。运动模糊是篮球场景最真实、最普遍的一种退化形式我用随机方向的线性运动模糊核motion blur kernel对部分样本做增强同时混入少量高斯模糊让模型适应目标轮廓不锐利的情况。实际测试下来加了运动模糊模拟之后篮球类别的召回率提升了 2 个多点。还有一个有效的手段是 Copy-Paste 增强从一帧中把清晰的篮球目标抠出来粘贴到另一帧的合理位置。我一开始怕这种增强会引入“复制痕迹”导致模型学到粘贴边界但实际操作中只要粘贴时做一下边缘羽化并配合整图的颜色抖动效果其实很好尤其是增加了篮球在画面不同区域的分布多样性。尺度扰动同样是针对篮球小目标做的随机对训练样本做 0.7 到 1.3 倍的缩放让模型看到不同分辨率下的篮球。有一点要注意缩放比例过大会导致篮筐这种本就细长的目标脱离原有比例反而干扰学习所以我限制在较小的范围内。3. 网络结构改进围绕小目标和遮挡做文章3.1 Backbone 选型精度和效率的取舍项目初期我在 Backbone 上做了一个小实验分别用 ResNet50 和 Swin-Tiny 作为特征提取网络跑了一遍对比。结论是Swin-Tiny 在最终 mAP 上确实能高出约 1.5 个点尤其是篮筐类别的特征表达更好但训练时间也几乎翻倍。考虑到我需要反复做消融实验和调参最终选择了 ResNet50 FPN 作为主力 Backbone把省下的时间用在了改进结构和数据上。这里分享一个经验当你面对“换了更强的 Backbone 精度更高”的诱惑时先问自己一个问题——你更需要一个“最终能刷高 1 个点”的模型还是更需要一个“能快速迭代验证其他改进是否有效”的基座对于这个项目来说我后来加的 P2 特征层、时序模块、损失函数改进每一处带来的收益都大于 Backbone 升级所以 ResNet50 是性价比最高的选择。如果你的目的就是刷新某个榜单那大可以直接上 Swin-Large FPN本文的其他改进依然适用。3.2 FPN 加一层 P2专门接住小目标篮球标准 FPN 在检测框架中通常会输出 P3 到 P7 这几层特征图其中 P3 对应的是原图 1/8 分辨率。对篮球这种动辄只有 20 个像素的目标来说P3 层还不够“细”——目标在特征图上可能只有 2×2 个像素点几乎没有空间结构可言。我的做法是在 FPN 的顶部增加一个 P2 层对应原图 1/4 分辨率让特征图在空间上更精细并在该层配置更小尺度的 anchor。具体来说anchor generator 的 strides 从 [8, 16, 32, 64, 128] 改为 [4, 8, 16, 32, 64]确保 P2 层有对应的 anchor 生成同时把 P2 层的 anchor scales 设置为 [2, 4, 8]让模型有能力覆盖小到十几个像素的篮球。这一步的收益是立竿见影的在我跑完消融实验后篮球类别的 AP 提升了近 4.8 个点。原因不难理解——P2 层给了小目标更多的特征表达空间让 RPN 能更容易地召回它。3.3 Cascade 三级阈值怎么调才稳Cascade R-CNN 的级联检测头核心策略是每个 stage 用一个逐渐升高的 IoU 阈值来选择正样本让框的回归质量逐级提升。我在项目里使用了三个 stageIoU 阈值分别设置为 0.5、0.6、0.7这个配置在多数开源实现里是默认组合但在篮球场景中值得说明一下背后的考虑。如果第一个 stage 的阈值太高比如 0.6RPN 产生的候选框绝大多数都会被判定为负样本正样本数量严重不足训练会很不稳定。反过来如果最后一个 stage 的阈值太低比如 0.6模型对“精修”后的框质量要求不高回归头学不到更精细的细节。0.5 → 0.6 → 0.7 是当前实践里验证过比较稳的一条曲线。我当时踩过一个坑在 Cascade 的 bbox_head 中使用了 stage_loss_weights[1.0, 0.5, 0.25]这是 mmdetection 默认的配置意思是第三级 stage 的损失只有第一级的 0.25 倍。这个权重设计本意是好的让前几级引导性更强。但在我这个场景中由于小目标数量少到了第三级 stage 能匹配到的正样本就更少了损失权重再压低的话几乎学不到东西。所以我把权重改成了 [1.0, 0.7, 0.5]配合对小目标加权重整体 AP 又往上拉了大约 0.8 个点。3.4 用轻量时序模块补足单帧检测的短板篮球视频是天然有时序信息的但一个逐帧检测模型没有利用这一点。我尝试在检测器中加入了一个轻量级的跨帧特征增强模块思路借鉴了视频目标检测里常见的时序卷积做法在推理时取当前帧前后各一帧三帧共享同一个 Backbone 提取特征然后通过一个 1×1 卷积加时序平均的操作把相邻帧的特征融合到当前帧上。这个模块的训练策略是主体训练阶段保持单帧训练最后再微调 5 个 epoch 让模型适应三帧输入的模式。这么做有几个好处——训练时间不会翻倍而且模型在绝大多数单帧场景下依然可用。最终效果是篮球类别的 AP 提升了大约 1.4 个点对于“球在快速运动中被相邻帧补充了位置信息”的情况特别有帮助。有一点需要提醒时序增强会显著增加推理时的显存占用三帧并行提取特征显存消耗大约是原来的 1.8 倍。如果你的部署环境显存有限可以考虑只在关键帧上启用这个模块或者退而求其次用后处理级别的轨迹平滑代替。3.5 损失函数与正负样本分配分类损失上我把标准的 CrossEntropy 换成了 Focal Loss主要想解决“人员”和“篮球”在数量上的不平衡问题。Focal Loss 会降低那些已经分类得很好、但数量众多的简单样本的权重让模型把注意力放在难样本上这个改动让我在人员密集遮挡的场景下来回检出的数量明显减少。回归损失方面从 Smooth L1 换成了 GIoU Loss。原因很简单篮筐这种细长目标边框的宽高比很极端Smooth L1 只在 L1 距离上做约束无法反映“预测框和真值框在几何上是否充分重叠”这一问题。GIoU 直接优化的是两个框的交叠程度即便在 IoU 为零时也能提供梯度这对篮筐回归的稳定性帮助很大。在正负样本分配上我在 RPN 阶段保持 256 个候选框的默认配置但在三个 R-CNN stage 中对小目标面积小于 32×32 像素的 GT的回归损失额外乘了一个 1.2 的权重。这个小改动来自我的观察小目标的 box 偏移几个像素IoU 就会掉很多但它对梯度的影响在平均值里被大目标稀释了必须人为放大它的信号。4. 训练配置与调参实战4.1 实验环境与整体流程整个训练过程基于 PyTorch mmdetection 框架实验环境是两张 24G 显存的显卡。数据总量大约 8000 张训练图像包含约 2.4 万个标注目标。输入分辨率采用标准的 1333×800单卡 batch size 设为 4双卡总计 8。训练流程分为三个阶段首先是冻结 Backbone 和 FPN只训练 RPN 和 Cascade 的检测头跑 10 个 epoch让模型快速适应篮球场景的目标统计特性然后解冻 FPN继续训练 10 个 epoch最后全部层解冻用统一但分层的学习率再训练 16 个 epoch在 epoch 24 和 32 处做两次学习率衰减。整个流程跑完大约需要 12 个小时。4.2 迁移学习与冻结策略预训练权重用的是 COCO 上训练好的 ResNet50 FPN。迁移学习的核心原则是新场景和预训练场景差异越大越要先冻结底层、小步学习。篮球场景虽然目标类别不同但底层特征边缘、纹理、颜色的通用性很强所以前 10 个 epoch 冻结 Backbone 完全没有问题。解冻时要注意学习率的倍率设置。我的经验是Backbone 层统一用基础学习率的 0.1 倍FPN 用 0.5 倍检测头用 1.0 倍。因为 Backbone 的预训练特征已经足够好不需要剧烈更新检测头是随机初始化的需要快速收敛。实测中这个分层策略比统一学习率能多出约 1 个点的 AP。4.3 关键超参数表与训练观察点我把最终稳定的一组超参数整理成表方便你直接参考参数名设定值说明输入尺寸1333×800保持 FPN 预设的尺度Batch Size8两卡各4小 batch 更容易稳定训练初始学习率0.005随 batch size 线性缩放优化器SGDmomentum0.9权重衰减 1e-4Warmup500 iterations从 0.001 线性升至 0.005总 Epoch36epoch 24、32 各衰减一次最低置信度0.03训练时保留低分正样本调参阶段我强烈建议你养成看分项指标的习惯不要只看整体 mAP。在 mmdetection 中可以直接观察 AP_s、AP_m、AP_l 这三项分别对应小、中、大目标。篮球场景里篮球对应的是 AP_s人员主要是 AP_l篮筐是 AP_m。哪一项低了就对应去查那类目标的数据和参数这个定位思路能帮你省掉大量盲目调参的时间。5. 推理优化、评估与部署5.1 NMS 策略不同类别用不同的后处理推理阶段的 NMS 策略是很多项目容易忽略但收益很大的地方。我使用的是 mmdetection 提供的 Soft-NMS 替代标准 NMS因为人员密集场景下标准 NMS 很容易把同一个人的不同遮挡部位当成两个目标处理或者反过来把不同人挤在一起的框删掉一个。但 Soft-NMS 并不是对所有类别都好。在篮球和篮筐类别上我仍然使用标准 NMS且阈值设置为 0.6比人员类别严格得多。原因是篮球这个目标和篮球的影像是高度相似的如果使用 Soft-NMS可能会出现同一颗球被输出成两个框的情况这在做“球权统计”时会带来一串误差。篮筐同理多输出一个框对后续得分事件判断的影响非常糟糕。5.2 消融实验与结果分析下面这张表是我在做消融实验时记录的数据配置是逐步累计的实验配置AP_personAP_ballAP_hoopmAP0.5:0.95Faster R-CNN ResNet50 FPNBaseline72.327.841.247.1 Cascade R-CNN73.929.543.048.8 多尺度 P2 层增强74.634.244.551.1 时序模块微调75.035.644.951.8 损失加权与 Focal Loss75.436.145.552.3数据基于个人实验环境虽然数值不一定能在每个数据集上完全复现但几项改进的趋势是稳定的。可以看到对整体 mAP 贡献最大的是 P2 层其次是 Cascade 本身这说明篮球场景的核心矛盾确实在小目标上。5.3 模型导出与部署经验如果要把模型部署到线上实时推理一般需要从 PyTorch 导出到 ONNX再用 TensorRT 构建推理引擎。导出过程中最容易出问题的是 NMS 部分mmdetection 的默认代码导出 ONNX 时常常会遇到算子不支持的问题。我的做法是自定义一个导出模型把后处理部分剥离只导出 Backbone FPN RPN Cascade Head 到 ONNX然后在 TensorRT 侧使用 EfficientNMS 插件重新集成。量化方面FP16 精度的 TensorRT 引擎在我的测试中精度损失只有 0.4 个 mAP 左右但推理速度提升了约 1.5 倍。如果你追求更高性能可以做 INT8 量化但要注意“篮筐”这类细长目标对量化误差比较敏感建议以 500 张有代表性的校准图像来做 INT8 校准并用验证集反复确认精度波动。6. 常见问题与排查实录6.1 篮球漏检严重从哪几层开始排查篮球漏检是我在整个项目中被问得最多的问题出现这种情况时排查顺序通常是这样的先确认输入图像里篮球的实际像素尺寸。如果篮球在关键帧中只有 12×12 像素你很难期望模型稳定检测出来这是物理分辨率的限制不是模型问题。你可以做一个简单统计画出所有标注目标的最小包围盒尺寸分布看看篮球目标到底集中在哪个像素区间。再检查 anchor 配置是否覆盖了这个区间。在 mmdetection 里我通常会写一个小脚本统计每个 GT 与所有 anchor 的最大 IoU看看有没有相当比例的 GT 匹配不到合适 anchor。低于某个阈值就说明 anchor 太稀疏了。最后再看推理阈值。训练中我使用的最低置信度是 0.03如果你在推理时把阈值设到 0.5篮球这一类小目标基本都会漏掉因为小目标天然置信度偏低。建议先把置信度阈值放到 0.05 看一下整体召回率变化再逐步往上调。6.2 篮筐被遮挡导致检测框抖动篮筐被篮网和球员身体遮挡是常态检测框抖动的根源在于特征不稳定。如果篮筐只有一半可见模型每一帧看到的特征都不太一样输出框自然会跳。我的处理办法是给篮筐类别加了一个辅助关键点分支在检测头的全连接层旁边分出一个输出预测篮圈左右两个底角的位置。这并不是一个严格的“关键点检测网络”只是借助关键点信息对输出框做几何约束让预测框的宽高比例更稳定。最终篮筐类别的 AP 提升不算多但框的时序稳定性好了很多不会出现一帧是正着的、一帧是斜着的奇怪现象。6.3 人员密集遮挡导致漏检人员密集遮挡问题光靠改网络结构不够我总结出一套组合拳数据层面多采集篮下争抢、罚球排队这类密集场景的样本模型层面在回归损失中加入少量 DCN可变形卷积模块让特征采样的感受野更灵活后处理层面使用 Soft-NMS 且把人员类别的衰减系数调低一点让周围重叠框不至于被直接砍掉。还要注意一个问题密集遮挡场景下标注的质量往往是模型性能的天花板。如果“一个被遮挡了大半的人”在训练集中反复出现模型会倾向于在所有类似位置都输出一个人形框很容易形成误检。我的处理原则是宁可漏标也不要给模型错误的强正样本。6.4 训练损失不下降或者梯度爆炸损失不下降首先排查学习率和标签。有一次我把 Backbone 解冻后学习率倍率设置成了 1.0结果 loss 直接飞了改回 0.1 倍就好了。标签错位也是一个容易被忽略的问题mmdetection 里类别的起始编号是 1背景是 0如果你把“人员”标成了 0那模型会把它当成背景去抑制训练初期 loss 就会飘。梯度爆炸的话可以开 grad_clip我通常设 max_norm35。另一个建议是观察 RPN loss 和 R-CNN loss 是否同时下降如果 RPN loss 降了但 R-CNN loss 不动通常是检测头的正样本太少去查配置里对应 stage 的 IoU 阈值是不是太高了。6.5 量化部署后检测框偏移TensorRT 或 INT8 量化后最典型的问题是小目标框位置偏移。这是因为量化误差在小目标的 Feature Map 上会被放大。我遇到的案例是FP16 量化后篮球框偶尔往左上角偏两个像素看起来问题不大但配合“判断是否进球”的需求时误差会被放大到不可接受。解决思路有两个一是对 P2 层单独做更高精度的量化策略优先保证小目标特征层的精度二是使用量化感知训练在训练阶段就模拟量化噪声让模型适应量化后的数值分布。后者效果更好但会多花 2 到 3 天的调参时间。最后聊一个我在整个项目中最深的体会篮球场景检测项目里模型改进虽然是重头戏但真正决定上下限的是数据处理的细致程度。我曾在 mAP 停在 52% 时怎么调结构都涨不动后来把标注规范中“篮球拖影超过 50% 不标”这一条严格执行了一遍重新清洗了训练集AP 反而往上跳了 1 个多点。技术方案都是相似的能拉开差距的往往是这种别人不愿意花时间的细节。
