1. 从一张街景图说起为什么语义流值得单独拿出来聊语义分割这件事做过的人都知道痛点在哪。给一张街景图要求把每个像素分类成道路、车辆、行人、天空、建筑模型输出的分割图边缘经常是糊的——车顶和天空交界处像被橡皮擦蹭过电线杆这种细长结构直接断成几截。2020年前后主流做法要么堆骨干网络深度要么在解码器上做多尺度特征融合但推理速度和精度始终是一对冤家。语义流这个思路有意思的地方在于它没有去卷网络深度而是换了个角度把分割任务里像素属于哪个类别的问题拆成特征在空间上怎么流动的问题。核心洞察是——相邻像素的语义特征高度相关与其让网络在每个位置独立预测不如显式地建模特征在空间维度上的流动方向让信息沿着物体内部流过去在边界处自然形成分界。这个思路在当年Cityscapes榜单上跑出了速度和精度的不错平衡而且结构足够简洁适合作为理解特征对齐类方法的入门案例。下面我会从设计动机、核心模块拆解、训练细节、实测踩坑几个维度把这个网络讲透。适合已经了解基础分割网络FCN、U-Net、DeepLab系列的读者也适合想搞明白为什么特征流动能提升边界质量的从业者。2. 语义流到底在解决什么问题从特征错位说起2.1 分割网络里被忽视的空间错位先看一个常见现象。用DeepLabv3跑一张分辨率2048×1024的街景图骨干网络经过多次下采样后特征图只剩256×128。解码器再上采样回原尺寸时每个像素的预测其实是从一个感受野很大的低分辨率特征猜出来的。问题来了低分辨率特征图上相邻两个位置对应原图可能是相隔16个像素的两个点它们之间的语义关系在降采样过程中被压缩了。更具体地说假设原图里有一根细电线杆宽度只有3个像素。经过8倍下采样后它在特征图上连一个完整像素都占不到信息直接丢失。上采样回来时网络只能根据周围上下文脑补结果就是电线杆要么消失要么变成一团模糊的色块。传统解法是加空洞卷积保持分辨率但扩大感受野或者用ASPP多尺度池化。但这些方法本质上还是在单点上做文章——每个位置独立计算没有显式地让信息在空间上传播。2.2 语义流的直觉让特征沿着物体流过去语义流的想法很朴素既然相邻像素语义相关那就让特征图上的信息主动向邻居流动。具体来说网络学习一个二维的流场flow field每个位置有一个位移向量表示这个位置的特征应该往哪个方向移动多少距离。然后通过可微分的双线性采样bilinear sampling把特征按照流场重新分布。打个比方。传统分割像是一群人各自站在原地喊出自己的身份远处的人听不清就猜。语义流相当于让每个人主动走向自己认为同类的邻居走完之后同类聚在一起边界自然清晰。流场的学习是端到端的不需要额外标注网络自己决定往哪流。这个机制带来的直接好处有两个一是细长结构的信息可以通过流动被拉到正确位置减少丢失二是边界两侧的特征因为流向不同而自然分离边缘更锐利。2.3 和光流、可变形卷积的区别这里容易混淆。光流optical flow估计的是视频相邻帧之间的像素运动是时间维度的。语义流是空间维度的在单帧图像内部让特征重新分布。可变形卷积deformable conv也学习偏移量但它的偏移是作用在卷积核采样点上目的是让卷积核适应物体形状语义流的偏移是作用在整张特征图上目的是让特征对齐到语义区域。三者对比方法偏移作用对象目的是否需要额外监督光流帧间像素运动估计通常需要可变形卷积卷积核采样点适应几何形变不需要语义流整张特征图特征空间对齐不需要语义流的优势在于它不改变卷积核结构只是在特征层面做一次重排计算开销小而且可以插在网络的任何阶段。3. 网络结构拆解流场是怎么学出来的3.1 整体架构编码器-流模块-解码器语义流网络的整体结构可以概括为三段骨干编码器提取多级特征流模块在特定阶段对特征做空间重排解码器融合多尺度特征输出分割结果。以ResNet-101为骨干为例通常取stage3、stage4、stage5的输出分辨率分别是原图的1/8、1/16、1/32。流模块一般插在stage4和stage5之后因为这两个阶段语义信息强但空间分辨率低正好需要流动来补偿空间精度。stage3分辨率较高语义相对弱流动的收益没那么明显。具体流程stage5特征先经过一个流模块学习流场并重排重排后的特征上采样后与stage4特征融合再经过一个流模块最后与stage3特征融合上采样到原图尺寸输出。3.2 流场的生成从特征到位移向量流场的生成网络很轻量。输入是当前阶段的特征图经过两个3×3卷积中间加BN和ReLU最后接一个1×1卷积输出通道数为2的张量分别代表x方向和y方向的位移。位移值通常用tanh激活限制在[-1,1]范围内再乘以一个缩放系数比如特征图宽高的1/4防止流动距离过大导致特征错乱。这里有个细节位移是相对于特征图坐标的不是原图坐标。假设特征图大小是64×32位移范围限制在[-16,8]左右意味着每个位置最多向邻居移动四分之一个特征图宽度。这个范围是经验值太大容易让远处无关特征混入太小起不到对齐效果。3.3 双线性采样的可微实现有了流场下一步是按流场把特征搬过去。对于目标位置p它的新特征来自源位置pΔp处的特征值。由于Δp是小数需要用双线性插值def bilinear_sample(feature, flow): # feature: [N, C, H, W] # flow: [N, 2, H, W] N, C, H, W feature.shape # 生成目标网格坐标 grid_y, grid_x torch.meshgrid(torch.arange(H), torch.arange(W)) grid torch.stack([grid_x, grid_y], dim0).float() # [2, H, W] grid grid.unsqueeze(0).repeat(N, 1, 1, 1) # [N, 2, H, W] # 加上流场得到源坐标 sample_grid grid flow # 归一化到[-1, 1]供grid_sample使用 sample_grid[:, 0, :, :] 2.0 * sample_grid[:, 0, :, :] / (W - 1) - 1.0 sample_grid[:, 1, :, :] 2.0 * sample_grid[:, 1, :, :] / (H - 1) - 1.0 sample_grid sample_grid.permute(0, 2, 3, 1) # [N, H, W, 2] # 双线性采样 output F.grid_sample(feature, sample_grid, modebilinear, padding_modeborder, align_cornersTrue) return outputpadding_modeborder很关键。如果源坐标超出特征图边界用边界值填充而不是零避免边缘出现黑边伪影。align_cornersTrue保证坐标映射一致训练和推理时行为统一。这个采样操作是可微的梯度可以通过采样位置回传到流场生成网络实现端到端训练。3.4 流模块的插入位置与融合方式流模块不是插得越多越好。实测下来插两个位置比较合适一个在最低分辨率阶段stage5后一个在中间分辨率阶段stage4后。stage3后如果再插计算量上去了但精度提升很小因为高分辨率特征本身空间信息就足。融合方式上重排后的特征和原始特征做逐元素相加element-wise add而不是拼接。相加的好处是通道数不变后续卷积不用调整而且残差式的设计让网络可以选择不流动流场学成全零训练更稳定。4. 训练策略损失函数、学习率与数据增强的配合4.1 主损失与辅助损失的权重分配分割任务常用交叉熵损失。语义流网络在stage4和stage5的输出后各加一个辅助损失头主损失在最终输出上。辅助损失的作用是给中间层提供梯度加速收敛。权重上主损失系数1.0两个辅助损失各0.4。这个比例是调出来的——辅助损失太大中间层会过度优化自己的预测而忽略对最终输出的贡献太小则起不到监督作用。损失函数用带类别权重的交叉熵权重按类别频率的倒数设置。街景数据里道路、天空占大头行人和交通标志占小头不加权的话小类别会被淹没。4.2 学习率策略poly衰减的实际效果初始学习率0.01动量0.9权重衰减1e-4。学习率用poly衰减lr base_lr * (1 - iter / max_iter) ** 0.9指数0.9是经验值。相比step衰减poly衰减更平滑后期学习率降得慢有利于精细调整流场。实测下来poly比step在验证集上高0.5到1个点。批大小受显存限制通常设8或16。如果显存不够可以用同步BN加梯度累积模拟大批量。BN的动量设0.99因为分割任务batch小动量太大会导致统计量不稳定。4.3 数据增强随机缩放与裁剪的尺度选择基础增强是随机水平翻转、随机缩放0.5到2.0倍、随机裁剪769×769。缩放范围很关键太小比如0.8到1.2模型学不到多尺度鲁棒性太大0.3到3.0会让小物体在缩小后完全消失。0.5到2.0是Cityscapes上的常用设置。裁剪尺寸769是奇数保证经过多次下采样后特征图尺寸是整数。如果裁剪512经过8倍下采样是64没问题但经过16倍下采样是32也没问题。769的好处是它接近原图一半且下采样后各阶段尺寸都是整数。另外加颜色抖动亮度、对比度、饱和度各0.25和随机灰度化概率0.1提升对光照变化的鲁棒性。4.4 训练时长与早停判断在Cityscapes上通常训练80k到120k迭代。判断收敛看验证集mIoU如果连续5k迭代没有提升就停。流场的可视化可以作为辅助判断训练初期流场是随机噪声中期开始出现沿物体边界的流动模式后期趋于稳定。如果流场一直很乱说明流场生成网络的学习率可能太大或者辅助损失权重不够。5. 实测中的坑从显存爆炸到边界伪影5.1 流场位移范围设太大导致特征混叠第一次跑的时候我把位移缩放系数设成了特征图宽高的1/2想着流动范围大一点对齐效果更好。结果训练loss震荡验证集mIoU比baseline还低。可视化流场发现很多位置的位移向量指向了完全无关的区域——天空的特征被流到了建筑上道路的特征被流到了车辆上。原因很简单位移范围太大双线性采样会把远处无关特征拉过来相当于引入了噪声。后来改成1/4问题消失。经验是位移范围不要超过特征图尺寸的1/4且最好用tanh限制让网络自己学合适的幅度。5.2 双线性采样的边界处理不当产生黑边用grid_sample时如果padding_mode设成zeros源坐标超出边界时采样到零值重排后的特征图边缘会出现一圈黑边。这些黑边经过后续卷积会扩散最终分割结果在图像边缘出现暗带。改成border模式后解决。但要注意border模式在边界处会重复采样边界值如果流场在边界处指向外侧相当于把边界特征复制了一份可能造成边界处特征冗余。实测影响很小因为边界处的流场通常指向内侧物体中心方向。5.3 辅助损失权重过大拖慢主损失收敛有次实验把辅助损失权重设成1.0和主损失一样想着多监督总没坏处。结果训练到40k迭代时主损失还在0.4左右徘徊而baseline在30k就降到0.3以下了。分析发现辅助损失头在stage4和stage5上各自优化自己的预测梯度回传到骨干时和主损失的梯度方向有冲突导致骨干学到的特征既要满足低分辨率预测又要满足高分辨率预测两边不讨好。把辅助损失降到0.4后主损失正常下降。经验辅助损失是助攻不能喧宾夺主权重控制在主损失的30%到50%之间。5.4 流模块插在stage3后收益递减试过在stage3后也加流模块参数量增加了约15%推理速度下降20%但mIoU只提升了0.2。原因是stage3的特征分辨率是1/8空间信息本身比较丰富流动带来的对齐收益被高分辨率本身的精度抵消了。而且stage3特征图大流场生成和采样的计算量是stage5的4倍。结论流模块插在低分辨率阶段性价比最高高分辨率阶段不如直接加卷积。5.5 训练初期流场不稳定导致BN统计量偏移流场在训练初期是随机的重排后的特征分布和原始特征差异大导致BN层的running mean和variance剧烈波动。表现是训练前几个epoch验证集指标跳变。解决办法有两个一是流场生成网络的最后一层卷积权重初始化为零这样初始流场全零重排后特征等于原始特征BN统计量稳定二是流模块后的BN用较小的动量0.9而不是0.99让它更快适应分布变化。我用了第一种效果立竿见影。6. 推理优化与部署考量6.1 流场计算的推理开销流模块在推理时增加的计算量主要来自两部分流场生成网络两个3×3卷积加一个1×1卷积和双线性采样。以stage5特征图16×8为例流场生成约0.1 GFLOPs采样约0.02 GFLOPs相比骨干网络的几十GFLOPs可以忽略。整体推理速度比baseline慢约5%到8%换来1到2个点的mIoU提升性价比可以接受。6.2 与TensorRT的兼容性grid_sample在TensorRT中的支持情况因版本而异。较新的版本支持双线性模式但align_corners和padding_mode的参数映射需要确认。如果部署时遇到不支持可以把流场和采样操作在CPU上算或者用自定义插件实现。实测在TensorRT 7以上版本grid_sample可以正常转换精度损失在0.1%以内。6.3 多尺度测试与翻转增强的叠加效果推理时用多尺度测试0.75、1.0、1.25、1.5倍加水平翻转mIoU能再提升1.5到2个点。但要注意流场是在单尺度下学的多尺度时特征图尺寸变化流场的位移范围需要按比例缩放。具体做法是流场生成网络的输出乘以当前尺度与训练尺度的比值。如果不缩放大尺度下流动范围相对变小对齐效果下降。翻转增强时水平翻转后流场的x方向位移要取反否则流动方向会反。这个细节容易漏漏了的话翻转增强反而会降点。7. 和其他分割方案的对比与选型建议7.1 对比DeepLabv3和OCRNetDeepLabv3靠ASPP做多尺度上下文OCRNet靠对象区域表示做上下文聚合。语义流的差异在于它显式建模空间流动对边界和细长结构更友好。在Cityscapes验证集上同等骨干下语义流比DeepLabv3高约1.5个点比OCRNet高约0.8个点推理速度介于两者之间。方案核心机制边界质量细长结构推理速度DeepLabv3ASPP多尺度池化中等中等快OCRNet对象区域上下文较好较好中等语义流空间特征流动好好中等偏快7.2 什么场景适合用语义流如果任务里细长结构多电线杆、栏杆、道路标线或者边界精度要求高自动驾驶、医学图像分割语义流值得一试。如果只是做粗略的区域分割比如遥感图像里的地块分类baseline可能就够了加流模块的收益不明显。另外语义流对骨干网络不挑ResNet、HRNet、甚至轻量级的MobileNet都能插。在MobileNet上插流模块精度提升比在ResNet上更明显因为轻量骨干的空间信息损失更严重流动补偿的收益更大。7.3 后续改进方向语义流之后有不少工作沿着这个思路走。有的把流场从二维扩展到三维处理视频分割有的把流场和注意力机制结合让流动更有选择性还有的把流场用在特征金字塔的层间对齐上。如果要做二次开发建议先从流场生成网络的结构入手——目前它很简单加个通道注意力或者用可变形卷积生成流场可能有提升空间。8. 一些实操中的零散经验流场可视化是个好习惯。训练时每隔几千迭代把流场画出来看看正常情况应该看到流场在物体内部平滑、在边界处有方向突变。如果流场全是噪声或者全零说明流场生成网络没学到东西检查学习率或者辅助损失。双线性采样的align_corners参数在训练和推理时必须一致。训练用True推理用False会导致坐标映射偏移半个像素精度掉点。这个坑我踩过排查了半天才发现是参数不一致。如果显存紧张流模块可以只加在stage5后stage4后不加。精度损失约0.5个点但显存省下不少。stage5特征图最小流场计算和采样的开销最低。最后语义流不是万能药。它解决的是特征空间对齐问题如果骨干网络本身提取的特征判别性不够比如类别之间外观相似流模块也救不了。选型时先确保骨干和训练数据没问题再考虑加流模块。
