篮球比赛视频分析做到一半最让人上火的永远是那颗高速飞行的球。球员还好说框大、特征多、现成模型一堆篮筐也还行静止不动、外形固定。可篮球在1080p画面里经常只有二三十个像素一个快攻回合里半数是带运动模糊的手一挡、身体一挤检测器瞬间就懵了。只检人拿不到球权变化只检球又没法判定进球必须同时输出人员、篮球和篮筐三类目标。我最后落地的方案是基于Cascade R-CNN做一套篮球场景专用改进从锚框设计、特征融合、注意力机制到回归损失全部重调了一遍。这篇文章把整个改进过程完整拆开为什么选Cascade R-CNN、数据怎么标才不坑、每个模块改了什么、训练时怎么调参、换数据集会遇到哪些坑都放在一起讲清楚。适合准备做体育视频分析、自动战术统计或集锦生成的开发者参考哪怕是目标检测基础还不算牢的同学跟着走一遍也能跑通。1. 项目背景与需求拆解1.1 篮球战术分析为什么绕不开“三合一”检测一场篮球视频里最底层的语义三元组就是人、球、框。球员负责交代攻防站位和跑位路线篮球负责串联传球、运球和投篮事件篮筐负责给得分判定提供参照系。这三个目标单独检测都有现成方案但放进同一场景联合检测时很多单独跑不会暴露的问题会一起冒出来篮球太小导致它经常被球员的检测框“吞掉”篮筐离远之后比篮球还难找室内场地灯光一变球体表面纹理就不稳定。正因为目标之间彼此干扰才需要用同一个网络同时建模让不同尺度的特征图在共享信息的过程中找到各自的响应区域。从应用端倒推需求会更直接。自动战术统计需要以球员为中心生成跑位热力图一次进攻回合有没有投篮、有没有命中靠的正是球框重叠判断。自动剪辑要根据“起跳—扣篮—过筐”这类事件切时间线人员、篮球、篮筐三个角色一个都不能少。这也是我把项目定位成“检测与识别”而不是“单类检测”的原因模型不只是把球找出来还要在复杂比赛画面里分清它属于哪个位置、承担什么事件角色。1.2 为什么拿Cascade R-CNN当地基而不是YOLO或FCOS先给结论篮球场景对定位精度和小目标召回率的要求高过对纯速度的要求。Cascade R-CNN这种多阶段级联结构更适合做地基。单阶段检测器靠密集采样加直接回归速度快但正负样本极度不平衡小目标本来就分不到多少正样本。FCOS这类anchor-free方法在常规目标上短平快但面对高速小目标时回归质量很大程度取决于中心点的采样是否落在目标内部运动拖影一出现中心点本身就不可靠。Cascade R-CNN的思路是一条级联链三个head按0.5、0.6、0.7的IoU阈值逐级筛选proposal每一级都在上一轮被挑过的更高质量样本上训练。换句话说哪怕一个小篮球在RPN阶段已经被当成背景滤掉了只要RPN输出的proposal只是“偏差大但还没完全偏掉”级联结构就能在后级把它捞回来继续精修。这绝对不是在贬低单阶段。如果你后续要做实时在线战术分析帧率要求压在30FPS以上我照样会把头换成轻量方案。选Cascade R-CNN的前提是数据量足够、推理预算相对宽裕先把“能不能检准”解决掉再考虑“能不能跑满帧”。对比维度单阶段YOLO系anchor-freeFCOS级联两阶段Cascade R-CNN推理速度最快快慢一档小目标召回一般中等较好定位精度可满足日常中上最好遮挡场景易漏检需特殊处理级联重采样可缓解显存占用低中较高1.3 三个检测目标各自的难点在哪我把难点拆成三档。篮球属于“小目标加高速形变”目标框经常只有20到40像素拖影、遮挡、旋转并存常规anchor尺度根本配不上这也是整个项目里最难啃的部分。人员属于“强遮挡加类间相似”。球员球衣颜色接近挤在一起时互相遮挡检测框很难稳定区分两个紧贴的人尤其快攻中防守球员和进攻球员同向跑动时框会来回跳。篮筐则是“小目标加静态背景”。它的视觉特征高度统一位置又长期固定模型很容易去“记住某个画面位置有篮筐”而不是真正学会识别篮筐的结构特征。一旦换机位、换场地泛化能力立刻崩掉。这三个难点直接决定后续所有改进方向小目标靠高分辨率特征图和更小尺度的锚框遮挡和重叠靠注意力机制和soft-NMS篮筐过拟合靠跨场地数据隔离和全局平移增强。后面80%的改动都是围着这三个痛点展开的不是为了堆模块而堆模块。2. 数据标注策略与增强方案2.1 数据怎么做才不拖模型后腿模型上限由数据质量决定。我接手这个项目后第一件事不是改网络结构而是把数据集全部重新清洗一遍。之前跑了几轮实验指标不涨回头查标注发现球框把球员的手和篮球一起圈进去了有些框甚至比球体大一倍。这个错误很致命因为小目标对边界框的纯净度极其敏感框稍微松一点IoU计算就会掉一截。我的标注规范是这样定的。人员框按照常规姿态检测标准画到身体外轮廓即可不需要精确到手指尖。篮球框必须紧贴球体边缘哪怕球和手掌接触也尽量只把球体范围圈进去如果手部边缘和球体边缘粘连面积超过球体一半就单独标记为遮挡目标。篮筐框包含铁圈主体和与篮板连接的一小段金属结构不建议把整个篮板圈进去否则模型很容易把“蓝色矩形背景”当成篮筐的一部分。工具上我用labelme做标注再转成COCO JSON格式喂给框架。实操时有个很容易踩的坑多人协作标注时不同人对“球框贴多紧”的理解差异极大。正式标注前先做一致性校准是一个很有效的办法——拿十张图让所有人分别标一遍算出两两之间的框重合率。如果重合率低于0.75说明规范没对齐先改规范再批量开工不然几十个像素的噪声对三十像素的球体来说是毁灭性的。2.2 针对高速小球的数据增强策略普通目标检测增强直接搬到篮球场景会出事。大幅度的旋转增强确实能提升球员姿态泛化但会把篮球的橙色圆形纹理扭成各种不真实的角度模型学到的不是“篮球”而是“一团橙色模糊物体”。所以增强管线里我把旋转角度限制在正负10度以内翻转只保留水平翻转。运动模糊增强是必须加的。比赛画面里篮球基本都是带拖影的如果训练集全是清晰帧测试时遇到模糊帧召回率会掉得非常明显。做法是在随机位置上对篮球区域做方向性运动模糊模拟球体高速飞行。缩放增强方面除了常规多尺度我会专门把篮球这类小目标在训练时多裁剪几次小尺寸样本等于提高小目标在batch里的采样频率让模型每个batch都能见到足够多的小目标正样本。我还试过一种简化版复制粘贴增强把一些清晰、形变不明显的篮球框剪切出来粘贴到场地空背景位置同时做位置抖动。这个操作用于定点投篮片段的篮球召回率提升比较明显但要注意控制粘贴数量和粘贴位置别把球贴到球员脸上形成矛盾标注。我试过一版每张图贴十个球loss直接开始乱跳模型完全分不清真假球了。2.3 训练集和验证集划分以及评估指标怎么设最容易让论文指标虚高的坑是同一场比赛的帧既出现在训练集又出现在验证集。球员球衣颜色、场地灯光、机位角度这些强先验信息被模型直接记住了跨场测试时崩得很难看。我的划分原则非常简单粗暴按场次隔离训练集和验证集不允许有任何一场比赛重复如果条件允许最好机位位置也有差异。凡是做体育类检测这条规则优先级最高。指标上主看COCO定义的AP也就是IoU从0.5到0.95的平均精度同时单独盯AP_small。篮球和远距离篮筐的主要贡献都在AP_small里只报一个mAP会把小目标漏检问题掩盖得干干净净。固定机位场景下我会额外统计“同一个篮筐多次检测框中心点的抖动方差”这个值能直观反映模型是不是在靠记忆输出框而不是真的感知到篮筐。3. 模型改进设计与原理详解3.1 用可变形卷积提升非刚性目标的特征采样质量标准3x3卷积的采样位置是写死的网格遇到篮球高速旋转、身体扭曲这类非刚性目标时固定网格不一定能对准目标边缘。可变形卷积给每个采样点额外学习一个偏移量offset卷积核可以根据目标形状自适应地“变形”DCNv2在它的基础上又加了一个调制因子控制每个采样点对输出的贡献权重。简单说普通卷积是“这九个格子必须全看”DCNv2是“我决定重点看哪几个格子其余当噪音处理”。实现上我没有全换只替换了ResNet中stage3和stage4的部分3x3卷积。浅层stage仍需要稳定的边缘纹理提取能力全换DCN不仅显存涨得厉害收敛也慢很多而且浅层可学习的自由度太高数据量不到位时很容易过拟合。stage3语义中等负责人员的四肢轮廓和篮球的弧形边缘stage4语义较强处理篮筐这类外观简单但位置语义强的目标更合适。DCNv2在训练时有一个鲜明特征梯度回传比普通卷积复杂batch size很小2或4时loss波动会被放大。我在项目里把warmup iters从默认的500拉长到800给DCN模块足够的适应时间不然它会在前几百步里震荡得很厉害。换上新模块后一定要用预训练权重初始化主干DCN的offset卷积是额外参数冷启动会让前期训练特别痛苦。3.2 高分辨率特征图和多尺度融合让网络真正“看见”小目标默认FPN从主干C2到C5生成P2到P5P2的stride是4理论上已经覆盖高分辨率。但很多基准配置为了省显存会把P2删掉或者权重给得很低。篮球尺寸小P3层的stride是8在机位较远时一个篮球只对应不到一个像素级的特征响应P2几乎不可替代。所以我坚持保留并强化P2支路让它担任小目标检测的主力。具体改了两块。第一把C2直接接一个1x1卷积送进FPN的P2层让最底层的位置信息参与融合第二在FPN相邻层级之间加一条自上而下的轻量加权通路近似实现简化版PANet的效果。第二个改动会让参数量增加一点但对篮球这种小目标收益非常直接。更大的参数开销换来的是从P2到P5每一层都能同时获得低层位置信息和高层语义信息。如果还想继续轻量化可以只保留P2到P5不生成P6和P7。篮球场上最大的目标就是球员P6/P7这种超大物体分支帮不上多少忙反而拖慢训练还会让高层的语义通道被大物体主导。3.3 轻量注意力模块压制背景干扰篮球场背景特别杂观众席的红椅子、广告牌的橙黄色块、裁判的衣服全是干扰源。要把球的响应从这些噪声里摘出来我给FPN输出的每一层特征都接了一个轻量注意力模块本质就是对通道重标定让模型更关注与球体纹理、人体边缘相关的特征通道抑制背景通道的响应值。这里放个最容易理解的SE模块示例通道注意力原理讲清楚之后要升级成坐标注意力CA、CBAM这类同时编码空间位置的变体也不难import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.fc nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, channels // reduction, 1), nn.ReLU(inplaceTrue), nn.Conv2d(channels, channels, 1), nn.Sigmoid(), ) def forward(self, x): return x * self.fc(x)实际项目里我优先建议用坐标注意力CA因为篮筐的位置语义太重要了SE只建模通道关系不含位置信息固定机位的篮筐检测会差一点。我最终用的CA版本是在SE结构基础上把全局池化替换成水平和垂直两个方向的池化再分别做1x1卷积融合代码量也没多多少。注意力模块放在FPN输出之后、RPN之前每个尺度特征单独过一遍即可显存开销基本可以忽略。3.4 回归损失换成DIoU让小目标框得更稳Cascade R-CNN默认的回归损失是Smooth L1它只拉近预测框和真值框四边坐标的绝对差值。对常规尺寸目标差几个像素没什么影响对篮球这种小框差三个像素AP会在IoU 0.75这一档直接掉好几个点。Smooth L1对小偏移不敏感的问题在小目标场景会被放大。DIoU损失的惩罚项定义在“预测框与真值框中心点距离”上同时保留IoU本身的重叠面积约束。中心点一旦对准小目标的框就算宽度高度略有偏差也能在高IoU分段拿到贡献。GIoU也可以替代但GIoU额外引入的“最小外接矩形惩罚项”在目标很小时数值抖动偏大收敛不如DIoU稳定。训练时有个现象值得留意换回Smooth L1时loss掉得很快但验证集AP提升放缓换成DIoU后loss曲线看着没那么漂亮AP却稳步爬坡。这是正常现象回归loss不再追求坐标绝对值的灌输而是往“框得更准”的方向优化。3.5 级联阈值怎么调低IoU阶段救小目标Cascade R-CNN默认三段阈值是0.5、0.6、0.7。常规目标数据集这样设没问题但篮球小目标在RPN阶段被采样为正样本的比例本来就不高stage3还要求IoU大于0.7合格的样本就非常稀疏了。强制维持高阈值第三个head可能根本学不到足够的正样本效果反而不如两阶段。我的最终方案是0.5、0.55、0.65同时每级RoI采样数量稍微提高一点。放宽阈值意味着接受更多低质量正样本但配合级联重采样机制精度没有下降小目标召回率倒是明显上来了。这里有一个判断依据每个stage训练时如果正样本比例低于5%说明阈值定太高或者proposal质量太差需要放宽阈值、增加采样数或者回到RPN找原因。同时越靠后的stage样本越少梯度方差越大stage_loss_weights设置成[1, 0.5, 0.25]能让训练更稳定不容易出现最后一段head过拟合的情况。3.6 针对篮筐的防过拟合设计篮筐有一个反直觉的特性它几乎不动视觉特征高度统一模型很容易靠“记住位置”来偷懒。固定机位数据占多数的训练集里这个问题特别突出。我在后处理里加了一个可选约束当检测模型没有时序信息时测试阶段结合场地标定信息把篮筐候选限制在画面下半屏的合理区域过滤明显不合理的响应。这不改网络结构只是轻量后处理规则。更推荐的做法还是在数据层面解决引入多机位、多场地数据让模型看到的篮筐位置和背景不断变化倒逼它学习“圆形铁环加篮板相对关系”这一组结构特征而不是死记位置。多场地数据对篮筐泛化能力的提升远比调模型结构有效。4. 改进后Cascade R-CNN的完整实现4.1 工程结构与环境准备实验基于PyTorch和mmdetection框架改造。环境版本可以照这个组合踩坑PyTorch 1.10以上、CUDA 11.x、mmcv 1.4以上单卡显存建议至少12G。工程目录按mmdetection规范组织核心改动集中在configs和模型模块目录下。如果不想用mmdetection这套设计在Detectron2里同样能落地改造的位置基本一样backbone换DCN、neck加注意力、head换loss。工程上尽量少改框架源码优先通过config和自定义模块的方式挂载这样以后升级框架版本时迁移成本会小很多。4.2 Backbone可变形卷积的改造在mmdetection里不需要重写ResNetconfig里打开DCN开关即可model dict( typeCascadeRCNN, backbonedict( typeResNet, depth50, num_stages4, out_indices(0, 1, 2, 3), frozen_stages1, norm_cfgdict(typeBN, requires_gradTrue), dcndict(typeDCNv2, deformable_groups1, fallback_on_strideFalse), stage_with_dcn(False, True, True, True), init_cfgdict(typePretrained, checkpointtorchvision://resnet50) ), ... )这里有一个关键细节fallback_on_stride必须设为False。DCN默认在stride大于1时退回普通卷积如果不关掉stage3和stage4根本不会真正启用DCN改了等于白改。load预训练权重时如果提示shape匹配失败先检查一下是不是DCN模块自带的offset卷积权重参与了初始化DCN算子的额外卷积层是随机初始化的不用慌这是正常现象。全部加载完成后再冻结stage1的BN层可以减少前期训练震荡。4.3 FPN多尺度改造和注意力模块的接入FPN部分我直接沿用mmdetection默认FPN但把输出往下扩展到了P2层。这个操作在代码里几乎零改动代价就是显存占用高一些毕竟P2层的空间分辨率最大。对篮球场景来说这个显存代价是值得的。自定义的AttentionFPN写法如下from mmdet.models.necks import FPN class AttentionFPN(FPN): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.attns nn.ModuleList([ SEBlock(ch) for ch in self.out_channels ]) def forward(self, inputs): feats super().forward(inputs) return [attn(f) for attn, f in zip(self.attns, feats)]承接SEBlock的定义这里直接可以在config的neck类型中替换成AttentionFPN。reduction值取8到16之间比较平衡RELU之后网络层数不多加深了反而容易破坏FPN原有的语义流。注意力层只挂在FPN输出之后不塞进主干内部。原因很简单主干是预训练模型已经激活了稳定的底层特征表达在内部强插注意力会干扰BN统计量导致整个主干需要重新适应训练周期被拉长。4.4 Anchor、RPN和级联检测头的配置加高分辨率P2层之后anchor尺度必须重新设计。我的配置如下rpn_headdict( typeRPNHead, anchor_generatordict( typeAnchorGenerator, scales[4, 8, 16, 32, 64], ratios[0.7, 1.0, 1.5], strides[4, 8, 16, 32, 64] ), ... )scales分别对应P2到P6。篮球小目标主要集中在scale4和8这两档人员在scale32和64篮筐因为距离模型远多数落在8和16。ratios用0.7和1.5既能覆盖接近圆形的篮球也能兜住裁判和球员这类偏纵向的目标。这里有个容易被忽略的点anchor ratios别设太极端0.25和4这种组合是给细长物体准备的篮球场景用它只会增加无效正样本。级联检测头把三个head的回归损失都替换成DIoU并调低第二、三阶段的采样IoU阈值roi_headdict( typeCascadeRoIHead, num_stages3, stage_loss_weights[1, 0.5, 0.25], bbox_head[ dict( typeShared2FCBBoxHead, num_classes3, loss_bboxdict(typeDIoULoss, loss_weight1.0), ... ), dict(..., loss_bboxdict(typeDIoULoss, loss_weight1.0)), dict(..., loss_bboxdict(typeDIoULoss, loss_weight1.0)), ], )超参解释放一块儿为什么级联权重是1、0.5、0.25级联结构理论上越靠后指标越准但靠后的stage样本数少、梯度方差大衰减权重能让全链路训练更均衡。我试过全设成1.0第三段head很容易过拟合验证集AP反而降了。4.5 训练超参与日志观察训练配置如下optimizer dict(typeSGD, lr0.02, momentum0.9, weight_decay0.0001) lr_config dict( policystep, warmuplinear, warmup_iters800, warmup_ratio0.001, step[24, 33] ) runner dict(typeEpochBasedRunner, max_epochs36) fp16 dict(loss_scale512.)batch size按8卡设计lr0.02。单卡显存有限时batch降到2lr也要降到0.005左右最稳的做法是线性缩放batch减半lr减半。36轮训练里第24轮和第33轮降学习率后AP会明显跳动这是正常的。如果AP反向大幅下跌优先检查loss_bbox和loss_cls的比例是否失衡回归权重过大会把分类学到的东西冲掉。训练日志我重点看三个信号loss_cls是否平滑下降、loss_bbox是否长期徘徊、P2层的梯度norm是否异常放大。如果P2梯度动不动就冲到其他层的几倍说明高分辨率特征带来的噪声太大可以先把注意力模块去掉或者把P2的loss_weight降低。日志里最容易被忽略的是pos_ratio也就是RPN正样本比例如果低于0.1几乎可以确定是锚框配置出了问题小目标正样本采样不足。5. 实验效果与对比分析5.1 基线模型与评估配置我拿标准Cascade R-CNN R50-FPN当基线骨干是ResNet50FPN走常规P3到P7回归loss用Smooth L1anchor最小面积从32起步。评估数据是我自己采集的一组多机位篮球比赛片段训练集包含多个不同场次验证集是完全没有重叠场次的另一批比赛。这里不追求绝对分数的横向对比更看重配置之间的相对变化因为不同数据集对绝对数值的影响太大了。配置基准写一下输入短边固定到800像素长边不超过1333测试时不做多尺度增强NMS阈值0.5。所有实验都用同一个验证集、同一个评估脚本确保模块对比的公平性。5.2 消融实验看每个改动的真实贡献按顺序把四个改进分别加入消融结果如下配置mAPAP_playerAP_ballAP_hoopAP_small基线 Cascade R-CNN R5045.272.151.334.823.1P2高分辨率分支49.673.458.238.131.5可变形卷积DCNv252.375.062.440.534.8注意力模块54.175.864.641.936.2DIoU回归损失55.376.266.143.538.7这组数据告诉我们几件事。第一P2高分辨率分支是提升AP_small最直接的手段从23.1涨到31.5几乎是四舍五入十个百分点。第二DCNv2在数据量充足的前提下收益明显但如果训练数据较少DCN的收益很可能会缩水甚至变为负数因为可变形卷积的自由度更高需要更多样本来约束。第三注意力模块和DIoU的收益是叠加的两者作用层次不同一个处理特征选择一个优化框回归互不干扰。P2和DCN同时上会出现小幅度回落因为它们都侧重低层特征提取功能存在冗余这也是消融实验存在的意义——防止拍脑袋堆模块。5.3 推理速度与部署可行性很多人关心改成这样之后还能不能跑实时。我在单卡上实测原版Cascade R-CNN R50-FPN处理1080p单帧约60毫秒加入P2、DCN、注意力和DIoU之后推理时间升到85到100毫秒。纯离线分析完全够用但想要实时在线两个办法比较现实。一是更换轻量backbone比如ResNet34或者干脆用轻量检测头。这种组合下DCN的收益会更明显因为它能补偿轻量主干在形变建模能力上的不足。二是导出TensorRT用FP16推理能把单帧压到25到30毫秒左右。不过DCNv2算子并不总是被TensorRT原生支持如果遇到不支持的情况只能退回普通卷积或者写自定义plugin。取舍策略我建议帧率要求高于30FPS时保留P2和注意力优先去掉DCN每帧预算在100毫秒以上全配置都可以保留不用犹豫。6. 常见问题与排查技巧6.1 篮球漏检严重先查anchor还是先查数据我踩过最大的坑是训练过程中AP一直不涨排查了大半天最后发现训练集里超过一半的篮球框在P3层被stride 8的网格附近覆盖而anchor最小面积还是32RPN阶段大量小目标根本产生不了正样本。正确排查顺序是先统计目标框尺寸分布画出面积直方图再反推锚框配置一上来就动网络结构反而搞不清问题出在哪。具体操作上在训练脚本里增加一个钩子输出RPN阶段的正负样本比例以及被分配为正样本的anchor面积分布。如果大量匹配的anchor集中在scale8以上说明需要增加更小尺度的anchor或者给P2特征加大权重。另一条路是直接改输入尺寸把短边从800提到1000篮球在图上能多占几个像素但这个操作训练和推理都会变慢收益要自己权衡。6.2 球员重叠导致的误检和漏检多人贴身防守时检测框经常会一个吞一个。这种问题用NMS很难彻底解决更有效的办法是从RoI特征粒度入手把NMS的阈值调高一点让相近的框多保留一段时间再用soft-NMS按IoU衰减score而不是直接置零。同时把训练时的难例挖掘打开让模型学会在重叠区域区分前后两个人的姿态差异。需要注意soft-NMS会连真阳性一起抑制尤其是篮球这种目标在一帧里本来就不该出现两个正样本的场景反而问题不大。对人员这类密集目标宁可让输出多保留一些候选框后续接跟踪模块时再做数据关联也别在前端就把两个人都去掉。6.3 训练不收敛或者loss爆炸怎么定位loss在几百步内冲到几十的案例多半是学习率过大或者DCN模块在冷启动阶段不稳定。办法依然是延长warmup、线性缩放lr。如果DCN层出现NaN检查输入特征图是否出现极端尺度同时在优化器上挂一个grad clipmax_norm设成35能省掉很多中途断训的事。还有一个多卡训练容易踩的坑如果主干里同时有普通卷积和DCN又启用了SyncBN不同卡上的BN统计量会因梯度步长差异产生微小偏差累积起来会让loss曲线振荡。我固定用小batch训练时更倾向单卡训练不折腾多卡同步省下来的排错时间比提升的那点训练速度值钱。6.4 篮筐在固定机位下过拟合篮筐检测在训练集上AP很高换一个球场掉得厉害这是典型的位置记忆过拟合。解决思路是破坏训练数据里的固定空间关联把训练集严格按比赛场次再分一次组确保任何一场数据不泄漏进验证集再做全局随机平移和裁剪让篮筐在图像里的位置不断变化。还有一个细节把篮筐标注坐标在空间上做轻微抖动让模型知道目标位置本身不是固定值。我试过把篮筐类别当作“极端小目标”做复制粘贴增强效果反而不行。篮筐有很强的背景依赖脱离篮板和场地结构贴出来的样本会引入大量伪位置信息这东西干扰比收益大。这个类目最有效的增强其实是保持原始位置做一个全局平移裁剪让模型同时看到完整的“篮筐加周围场地”上下文。6.5 类别不平衡和样本数量不足篮球和篮筐的标注数量远少于人员硬用loss权重去掰比较有限。我更多在采样器层面做文章在batch组织时给篮球回合集中的片段多采几帧给远视角片段提高采样权重确保每个batch里三类目标的样本比例不那么悬殊。简单说就是控制训练帧的来源构成不要按自然帧序直接喂否则模型每次见到人员的概率是篮球的好几倍学出来的决策边界必然偏向人数多的类。标注数量不足时先把验证集圈定在样本量最少的篮筐类别上只要篮筐的AP爬动模型整体就不会偏到没救。6.6 实测下来比较有用的技巧清单RPN和RCNN的NMS阈值建议分开设置。RPN设高一点0.8左右保留更多候选RCNN部分用0.5左右最终输出干净很多。训练时给模型参数做EMA指数移动平均测试用EMA参数而不是原始最终参数。小目标检测对权重突变非常敏感EMA通常能稳提1到2个AP实现成本很低。后处理时保持每个类别的独立NMS不要让人员的框干翻篮球的框。class-agnostic NMS在密集人群里几乎必定误伤小球。验证阶段额外统计“球框重叠”事件也就是篮球框中心落在篮筐框内的比例。这个指标对后续做进攻回合分析非常关键比纯AP更容易间接反映投篮事件检测质量。7. 几点实际操作层面的体验这篇写下来可能有人会觉得照着配置把网络改完就完事了。但我还是想先泼一盆冷水真正的难点不在把代码改花而是要把数据、锚框、评估方式三者对齐。我最后所有的模型改进收益都建立在数据标注足够干净、评估集跨场严格隔离的基础上。如果数据没做好改网络结构只会让模型过拟合得更精致。如果你想在自己数据集上复现我强烈建议第一次实验不要全量上所有改进先从P2高分辨率分支开始单独看它对AP_small的贡献然后按消融顺序一个个叠加每一步都能看到清晰的因果出了问题也容易定位。等整套流程稳定了再回头评估要不要在数据上继续加投入。最后再分享一个后续扩展方向这套三合一检测只是体育视频分析链路的前半段。真正要做的事是基于人员和篮球轨迹做攻防事件推理基于篮筐位置做比赛坐标系对齐。检测模型只要输出稳定、指标可解释后面接什么任务都会顺很多。希望这篇实操记录能帮你少踩几个我踩过的大坑。
