1. 从三个赛季的BraTS赛题说起为什么它值得反复复盘如果你做过医学图像分割大概率绕不开BraTS这个名字。它全称是Brain Tumor Segmentation Challenge是MICCAI旗下最经典的脑肿瘤分割竞赛之一。2018到2020这三年赛题本身发生了不小的变化而这些变化恰好折射出整个医学图像分割领域的技术演进路线。我前后完整跟了三届从最初用3D U-Net硬跑到后来折腾级联结构、注意力机制、多模态融合踩过的坑比跑通的实验多得多。这篇总结不打算写成论文综述而是想把这三届比赛里真正影响最终Dice分数的那些工程细节、数据特性、训练策略讲清楚让准备入坑或者正在做脑肿瘤分割的朋友少走点弯路。先说清楚这个任务到底在做什么。BraTS提供的是多模态MRI脑部扫描每个病例包含四个模态T1、T1ce增强T1、T2、FLAIR。标注区域分三块增强肿瘤区ET、肿瘤周围水肿区ED、非增强肿瘤核心NCR。评估指标是Dice相似系数分别算ET、TC肿瘤核心含ETNCR、WT整个肿瘤含ETNCRED三个区域的Dice再取平均。听起来简单但真正上手就会发现数据本身的异质性、类别极度不平衡、标注边界模糊这几个问题每一个都能让模型性能掉一大截。这三届的赛题差异也值得先交代一下。2018年用的是BraTS 2018数据集训练集285例验证集66例测试集191例全部是HGG和LGG混合。2019年数据规模基本延续但更强调多模态的完整性和标注一致性。2020年则是一个明显的转折点数据集扩展到660例训练样本并且引入了术后和术前的区分同时新增了生存期预测这个辅助任务。这个变化直接影响了模型设计的思路——以前单纯做分割就行2020年之后你得考虑多任务学习、数据分布偏移这些问题。理解这些背景才能明白为什么同一套网络结构在不同年份的表现会差那么多。2. 数据预处理里那些决定成败的细节2.1 四个模态的配准与归一化不是可选项很多人拿到数据第一反应是直接丢进网络训练结果Dice死活上不去还以为是模型不够深。实际上BraTS的数据虽然已经做过基础配准但四个模态之间的对齐仍然存在细微偏差尤其是T1ce和FLAIR之间。我的做法是先用SimpleITK或者nibabel读入检查每个模态的仿射矩阵是否一致不一致的用刚体配准对齐到T1ce空间。这一步不做后面多模态融合就是在融合噪声。归一化方面BraTS官方建议对每个模态单独做z-score标准化但要注意只对脑组织区域做不能把背景的零值算进去。我试过直接对整张图做标准化结果背景区域被拉出一个很大的方差模型花了很多容量去学背景前景反而学不好。正确做法是先做脑提取可以用HD-BET或者简单的阈值形态学操作得到脑掩膜后再在掩膜内计算均值和标准差。这个细节在2018年那届我吃了大亏后来改过来WT的Dice直接涨了将近两个点。2.2 裁剪策略与patch size的取舍BraTS图像原始尺寸是240×240×155直接3D输入显存扛不住。常见做法是随机裁剪patch但patch size选多大很有讲究。我试过64³、96³、128³三种。64³训练快但感受野太小ET这种小目标经常被裁没128³效果好但batch size只能开到1训练极不稳定。最后我的方案是训练用96³推理用滑窗步长取patch size的一半重叠区域做加权平均。这个配置在2019和2020两届都比较稳。还有一个容易被忽略的点裁剪时要保证前景比例。如果纯随机裁可能连续好几个patch里都没有肿瘤模型学到的全是背景。我的做法是先算肿瘤区域的bounding box然后以一定概率比如70%在包含肿瘤的区域采样30%纯随机采样保证背景多样性。这个比例是我反复调出来的太高会导致背景误检增加太低则前景学习不充分。2.3 数据增强的边界在哪里医学图像增强和自然图像不一样不能随便翻转旋转。脑部MRI有明确的解剖对称性左右翻转是合理的但上下翻转就违背解剖结构了。我常用的增强组合是随机左右翻转、随机90度旋转在轴状面上、随机弹性形变、随机亮度对比度扰动、随机高斯噪声。弹性形变对BraTS特别有用因为肿瘤形状个体差异极大弹性形变能模拟这种形态变化。但增强强度要控制。我见过有人把弹性形变参数调得很大结果肿瘤被拉得完全变形模型学到的边界全是错的。我的经验是弹性形变的控制点间距不要小于15个像素形变幅度控制在5个像素以内。另外增强只对训练集做验证集和测试集必须保持原始分布否则你看到的验证Dice是虚高的。3. 网络结构选型从3D U-Net到级联与注意力3.1 为什么3D U-Net仍然是基线首选2018年那会儿3D U-Net几乎是所有人的起点。它的编码器-解码器结构配合跳跃连接能同时捕捉全局语义和局部细节对BraTS这种需要精细边界的分割任务很合适。但直接用原始3D U-Net有几个问题一是参数量大二是下采样过程中小目标信息丢失严重。我的改进是在编码器每层加入残差连接解码器用转置卷积加卷积的组合而不是直接转置卷积。这样训练更稳定收敛也更快。另一个关键点是深度监督。在解码器的每个尺度输出都加一个辅助损失能显著改善梯度流动尤其是对深层网络。我在2019年那届用了这个技巧训练初期loss下降明显更平滑最终ET的Dice比不加深度监督高了约1.5个点。实现上就是在每个解码层后接一个1×1卷积输出三通道然后和对应尺度的下采样标签算Dice loss权重从深到浅递减。3.2 级联结构到底解决了什么问题BraTS的难点之一是三个区域尺度差异大WT可能占整个脑部很大一块而ET有时候只有几个像素。单阶段网络很难同时兼顾。级联结构cascade的思路是先粗后细第一阶段分割WT第二阶段在WT的ROI内分割TC和ET。这样第二阶段网络只需要关注小区域感受野相对更大对小目标更友好。我实际跑下来级联结构对ET的提升最明显2019年那届单阶段ET Dice大概0.72级联能到0.76左右。但级联也有代价推理时间翻倍而且第一阶段的错误会传播到第二阶段。我的缓解办法是第一阶段输出概率图而不是硬标签第二阶段输入原始图像加上第一阶段的概率图作为额外通道这样即使第一阶段有误判第二阶段也有机会纠正。3.3 注意力机制与多模态融合的实战效果2020年那届注意力机制已经很火了我试过在跳跃连接上加空间注意力在编码器末端加通道注意力。实测下来通道注意力对多模态融合帮助更大因为四个模态的贡献本来就不均等——T1ce对ET最重要FLAIR对ED最重要。加通道注意力后模型能自适应地给不同模态分配权重ET的Dice有约1个点的提升。但注意力不是万能的。我试过堆很多注意力模块结果参数量上去了性能反而下降过拟合明显。后来我的原则是只在编码器最后两层和解码器前两层加注意力中间层保持简洁。这个配置在验证集上最稳。多模态融合方面早期融合四个模态在输入层拼接和中期融合每个模态单独编码再融合我都试过中期融合效果略好但显存占用大最终我选了早期融合加通道注意力性价比最高。4. 损失函数与训练策略的反复调优4.1 Dice loss和交叉熵的组合比例BraTS类别极度不平衡背景占绝大多数纯交叉熵会让模型倾向于预测背景。Dice loss直接优化重叠度对不平衡更鲁棒但训练初期梯度不稳定。我的标准配置是Dice loss加交叉熵权重比0.7:0.3。这个比例是我在验证集上网格搜索出来的纯Dice loss在训练后期容易震荡加一点交叉熵能起到正则作用。另外三个区域的loss权重也需要调。ET最难我给它的权重最高TC次之WT最低。具体是ET:TC:WT 2:1.5:1。这个权重不是拍脑袋是根据三个区域在验证集上的Dice差距反推的——差距越大权重越高让模型把更多容量分配给难区域。4.2 学习率调度与优化器选择我试过SGD、Adam、AdamW三种优化器。SGD配合动量在BraTS上收敛太慢Adam初期快但后期容易过拟合AdamW加权重衰减是我最终的选择。学习率用余弦退火初始3e-4最低1e-6配合5个epoch的warmup。warmup很重要直接上大学习率会让训练初期loss爆炸。Batch size方面3D网络显存限制大我通常用2或4。如果显存实在不够可以用梯度累积累积4步等效batch size 8。但要注意梯度累积时BatchNorm的统计量是按实际batch算的不是累积后的所以如果batch size太小比如1建议把BatchNorm换成GroupNorm否则统计量噪声太大训练不稳定。4.3 早停与模型选择的坑验证集Dice不是单调上升的经常出现震荡。我见过有人直接取最后一个epoch的模型结果测试集表现很差。正确做法是监控验证集平均Dice保存最好的三个checkpoint最后用测试时增强TTA分别推理再平均。TTA我通常做8次左右翻转×90度旋转的组合。这个技巧在2020年那届帮我提升了约0.8个点的Dice几乎不增加训练成本。早停的耐心值我设的是30个epoch但实际训练中经常在40-50个epoch后还有小幅提升所以如果算力允许建议耐心值设大一点比如50。另外验证集要固定不能每次随机划分否则你没法判断模型是真的提升了还是验证集变简单了。5. 后处理那些不起眼但能涨点的操作5.1 连通域分析与小区域去除模型输出的概率图二值化后经常有一些孤立的假阳性小区域。我的做法是保留最大的连通域去掉小于一定体素数的区域。阈值我设的是WT 100体素、TC 50体素、ET 30体素。这个阈值是根据训练集标注的统计分布定的——真实肿瘤区域几乎没有小于这个值的。去掉这些小区域后ET的Dice能涨0.5到1个点尤其是假阳性多的时候。但要注意如果肿瘤本身很小这个操作可能把真阳性也去掉。所以我的策略是先判断最大连通域的体素数如果它本身就小于阈值那就不做去除保留原样。这个逻辑在代码里就是一个if判断但能避免一些极端case的翻车。5.2 形态学闭运算修复边界MRI分割的边界经常有锯齿形态学闭运算先膨胀后腐蚀能平滑边界对Dice有微小提升。我用的结构元素是3×3×3的球体迭代1次。迭代次数不能多多了会把相邻的肿瘤区域连在一起反而降低Dice。这个操作对WT效果最明显因为WT边界通常比较规整对ET效果一般因为ET边界本来就模糊闭运算可能把一些不确定的边界强行归入ET。5.3 基于解剖先验的规则修正脑肿瘤有一些解剖规律ET通常被ED包围ET不会出现在脑室内部WT不会超出脑掩膜。我加了几条简单规则如果某个体素被预测为ET但周围没有ED那它很可能是误判降级为NCR或背景如果预测的WT超出了脑掩膜直接截断。这些规则听起来很粗糙但在验证集上确实能减少一些明显的错误尤其是对训练集里少见的肿瘤位置。6. 三届赛题的差异应对与踩坑记录6.1 2018到2019数据一致性带来的波动2018和2019的数据集在标注风格上有细微差异2019的标注更保守ET区域普遍偏小。我直接把2018训练的模型用到2019数据上ET的Dice掉了将近3个点。后来我的做法是如果目标年份数据有标注就用目标年份数据做微调学习率设小一点1e-5只训练最后几层。如果没有标注那就得在训练时做域适应比如用风格迁移把2018的图像风格往2019靠。这个坑让我明白医学图像分割里数据分布偏移是真实存在的不能假设不同年份的数据可以直接混用。6.2 2020的术后数据与多任务挑战2020年引入术后数据后图像里多了手术腔这玩意儿在T1ce上信号和ET有点像模型经常把手术腔误判为肿瘤。我的解决办法是在输入里额外加一个手术腔掩膜通道如果数据提供的话或者在训练时对术后数据单独采样让模型见过足够多的手术腔样本。另外2020年新增的生存期预测任务我试过用分割编码器的特征接一个回归头但效果一般后来放弃了多任务专注分割。如果要做多任务建议分割和生存期预测的loss权重仔细调否则两个任务会互相拖累。6.3 那些让我熬夜的bug有一个bug我印象特别深训练loss正常下降但验证Dice一直是0。排查了两天才发现验证集的标签在数据加载时被错误地做了one-hot编码而模型输出是softmax后的概率两者维度对不上算Dice时全算成了0。这个bug的教训是数据加载和模型输出的维度一定要在训练前用一个小batch手动验证一遍别等到跑完才发现。另一个坑是混合精度训练。用AMP能省显存加速训练但BraTS的Dice loss在FP16下容易溢出导致loss变成NaN。我的做法是Dice loss的计算强制用FP32其他部分用FP16这样既省显存又稳定。这个配置在PyTorch里就是给Dice loss函数加一个torch.cuda.amp.custom_fwd(cast_inputstorch.float32)装饰器。7. 推理阶段的工程优化与结果提交7.1 滑窗推理的步长与加权策略推理时整张图太大必须滑窗。步长我试过patch size的1/2和1/4。1/2速度快但边界处可能有拼接痕迹1/4更平滑但推理时间翻四倍。我的折中是步长取patch size的1/2但在重叠区域用高斯加权中心权重高边缘权重低。这样拼接痕迹基本看不出来速度也能接受。高斯核的标准差取patch size的1/4左右实测这个参数最平滑。7.2 测试时增强的收益与成本TTA我前面提过8次增强平均能涨0.5到1个点。但TTA不是无脑做如果模型本身过拟合严重TTA可能反而降点。我的判断标准是如果验证集上单模型Dice和TTA后Dice差距小于0.3个点说明模型比较稳TTA收益有限如果差距大于1个点说明模型对输入扰动敏感TTA能帮上忙。另外TTA的增强方式要和训练时一致训练时用了左右翻转TTA就做左右翻转别用训练时没见过的增强。7.3 提交格式与常见错误BraTS提交的是nii.gz格式的标签文件标签值必须是1、2、4分别对应NCR、ED、ET背景是0。我见过有人提交时标签值用了0、1、2、3结果评估系统直接报错。还有一个坑是图像方向BraTS要求特定的方向通常是RAS如果你的预处理改变了方向提交前一定要转回去。这些格式问题看起来低级但每年都有人栽在上面提交前用官方给的验证脚本跑一遍是最稳妥的。8. 我在这三届里真正学到的东西跟完这三届最大的体会是BraTS这种比赛模型结构的新颖性远不如工程细节的扎实程度重要。我见过太多人花大量时间设计复杂的注意力模块、Transformer结构结果因为归一化没做对、数据增强不合理、后处理缺失最终Dice还不如一个调好的3D U-Net。医学图像分割的门槛不在网络多深而在你对数据的理解有多深——你知道ET在T1ce上最亮、ED在FLAIR上最明显、不同年份的标注风格有差异这些先验知识比任何花哨的模块都值钱。另一个体会是验证集的划分方式会极大影响你对模型好坏的判断。我早期用随机划分结果同一套代码两次跑出来的验证Dice能差2个点。后来改成按病例分层划分保证训练集和验证集的肿瘤大小、位置分布一致评估才稳定下来。如果你也在做类似的任务建议花点时间把验证集划分固定下来别每次重新随机否则你根本不知道模型是真的进步了还是运气好。最后说一个实际部署时的经验。比赛里我们可以用TTA、级联、后处理堆出很高的Dice但真正到医院场景推理速度往往比Dice更重要。我后来做的一个简化版模型去掉了级联和TTA单模型单次推理Dice只掉了1.5个点但推理时间从几分钟降到几十秒。这个取舍在比赛里不划算但在实际应用里可能是必须的。所以做研究的时候可以追求极致性能但心里要清楚哪些模块是真正必要的哪些只是锦上添花。
