红外小目标检测这个方向做过的人都知道那种痛。一张红外图像里目标可能就几个像素大背景还全是云层、地物、热噪声信噪比低得让人想砸键盘。大多数方案都是拿U-Net做骨架编码器一路下采样解码器再一路往上采样中间靠跳层连接把浅层的高分辨率特征搬过来补细节。这套路本身没毛病但问题在于浅层特征里目标信号和背景杂波是混在一起的跳层连接相当于把一锅浑水直接倒进解码器目标没增强多少噪声倒是原封不动搬过来了。我最近在复现几个红外小目标检测方案时重点研究了DASI和MDCR这两个模块的配合逻辑实测下来在IoU和检测率上确实比纯跳层连接的U-Net有肉眼可见的提升。这篇就围绕这两个模块的设计动机、结构细节、代码实现和调参经验把整个链路拆开讲清楚。1. 跳层连接在红外小目标场景下到底哪里不够用1.1 浅层特征的双刃剑效应U-Net的跳层连接之所以在医学图像分割里好用是因为器官边界这种结构信息在浅层特征里保留得比较完整深层特征负责语义浅层特征负责定位两者拼接刚好互补。但红外小目标的情况完全不同。目标本身没有明显的纹理和形状就是几个高亮像素点浅层特征里目标信号确实存在但背景杂波、云层边缘、地物热辐射的响应也在同一层级里而且强度往往比目标还高。你把这样的浅层特征直接concat到解码器等于给解码器喂了一堆干扰。网络要花额外的容量去学哪些响应是目标、哪些是噪声训练难度上去了收敛也慢。更麻烦的是红外图像里目标和某些背景杂波的灰度分布高度重叠单纯靠跳层连接这种无差别搬运的方式很难把目标从杂波里择出来。1.2 语义鸿沟带来的融合失效编码器浅层感受野小提取的是局部边缘和点状响应解码器深层感受野大关注的是全局语义。这两者之间的语义差距在红外小目标场景下被放大了。浅层特征里一个高亮像素可能是目标也可能是云层边缘的一个角点网络在浅层根本区分不了。跳层连接把这种语义不明确的特征直接送到解码器解码器虽然有一定语义判断能力但面对大量低质量浅层特征融合效果会打折扣。我做过一组对比实验同样的U-Net骨架去掉跳层连接后检测率掉了大概4个百分点但把跳层连接换成带注意力筛选的融合方式后检测率反而比原始跳层连接高了3个多点。这说明跳层连接本身不是问题无筛选地搬运才是问题。1.3 小目标对特征对齐的敏感度红外小目标只有几个像素特征图上一旦发生轻微的空间偏移目标响应就可能被稀释甚至丢失。跳层连接要求编码器和解码器的特征图在空间上严格对齐但下采样和上采样过程中池化操作会引入位置偏差尤其是目标靠近像素边界时这种偏差更明显。DASI模块的一个核心设计动机就是要在融合之前先把浅层和深层特征的空间对齐做扎实而不是假设它们天然对齐。2. DASI模块把浅层特征洗一遍再送进解码器2.1 DASI的设计思路与核心结构DASI全称是Dual Attention and Spatial Interaction直译过来就是双注意力与空间交互。它的核心思路不复杂在跳层连接的通路上加一个筛选对齐的预处理环节让进入解码器的浅层特征不再是原始的一锅粥而是经过注意力加权和空间校准后的精华版。具体结构上DASI包含三个关键部分。第一部分是通道注意力分支用全局平均池化把每个通道的空间信息压缩成一个标量然后通过两层全连接学出通道权重目的是让网络自己判断哪些通道对目标更敏感。红外小目标在特定通道上的响应往往比背景更稳定通道注意力就是把这个规律学出来。第二部分是空间注意力分支沿着通道维度做最大池化和平均池化得到两张空间图拼接后过一层卷积生成空间权重图。这个权重图的作用是告诉网络图像里哪些位置更可能有目标把背景区域的响应压下去。第三部分是空间交互模块这是DASI区别于普通注意力模块的地方。它不满足于简单加权而是用一组可变形卷积对浅层特征做空间重采样让特征图上的目标响应主动对齐到深层特征的目标位置上。这一步对红外小目标特别关键因为小目标对位置偏移极其敏感可变形卷积提供的偏移学习能力能把几个像素的偏差纠正回来。2.2 通道注意力和空间注意力为什么要并联而不是串联很多注意力模块是串联的先做通道注意力再做空间注意力或者反过来。DASI选择并联两个分支各自独立计算权重最后再融合。这个设计在红外小目标场景下有实际考量。串联方式下通道注意力会先对特征做一次全局加权这个加权是全局统一的对图像里所有位置用同一套通道权重。但红外图像里目标和背景的通道响应模式可能完全不同全局通道加权容易把目标区域的某些关键通道也压下去。并联方式下空间注意力可以独立地定位目标区域通道注意力提供全局的通道筛选两者在融合时互相补充不会出现串联那种先被全局权重带偏的问题。实测中我对比过串联和并联两种结构在IoU指标上并联比串联高了大概1.5个百分点检测率高了2个点左右。差距不算巨大但在小目标这种对细节敏感的任务上这点提升已经值得保留并联设计了。2.3 可变形卷积在空间交互中的具体作用可变形卷积Deformable Convolution的核心是给每个卷积采样点学一个偏移量让卷积核的采样位置不再是固定的网格而是根据内容自适应调整。在DASI的空间交互模块里我用的是3x3的可变形卷积偏移量通过一个额外的卷积层从拼接后的浅层和深层特征中预测。为什么这里要用可变形卷积而不是普通卷积普通卷积的采样位置固定如果浅层特征里的目标响应和深层特征里的目标响应存在空间偏移普通卷积只能靠后续层去猜这个偏移效率低。可变形卷积直接把这个偏移学出来让浅层特征在融合前就对齐到深层特征的目标位置上。对于只有几个像素的红外小目标这种主动对齐能显著减少目标响应在融合过程中的稀释。代码实现上PyTorch的torchvision.ops.deform_conv2d可以直接用但要注意偏移量的初始化。我一开始把偏移量初始化为全零结果训练前期可变形卷积退化成普通卷积收敛很慢。后来改成用一个小方差的正态分布初始化偏移量预测层的权重训练稳定了很多。import torch import torch.nn as nn import torchvision.ops as ops class SpatialInteraction(nn.Module): def __init__(self, channels): super().__init__() self.offset_conv nn.Conv2d(channels * 2, 18, kernel_size3, padding1) # 偏移量预测层用小方差初始化避免训练初期退化 nn.init.normal_(self.offset_conv.weight, mean0, std0.001) nn.init.constant_(self.offset_conv.bias, 0) self.deform_conv nn.Conv2d(channels, channels, kernel_size3, padding1) def forward(self, shallow, deep): # shallow和deep空间尺寸需一致 concat torch.cat([shallow, deep], dim1) offset self.offset_conv(concat) # deform_conv2d要求offset形状为[N, 2*kh*kw, H, W] out ops.deform_conv2d(shallow, offset, self.deform_conv.weight, self.deform_conv.bias, padding1) return out注意可变形卷积的偏移量学习对学习率比较敏感建议对偏移量预测层单独设置较小的学习率或者用梯度裁剪防止偏移量发散。3. MDCR模块多尺度膨胀卷积怎么把感受野撑开3.1 红外小目标为什么需要多尺度感受野红外小目标的尺度变化其实比想象中大。同样是小目标有的可能只占3x3像素有的可能占10x10像素在不同分辨率的红外图像里这个差异更明显。固定感受野的卷积核只能覆盖特定尺度的目标尺度不匹配时目标响应会变弱。MDCR全称是Multi-scale Dilated Convolution Residual核心就是用不同膨胀率的膨胀卷积并行提取多尺度特征再把它们融合起来。膨胀卷积的好处是不增加参数量的前提下扩大感受野3x3的卷积核配上膨胀率2感受野就变成5x5膨胀率3感受野变成7x7。多个膨胀率并行就能同时覆盖不同尺度的目标。3.2 MDCR的残差连接设计细节MDCR不是简单地把多个膨胀卷积的输出拼在一起而是用了残差结构。具体来说输入特征先经过一个1x1卷积做通道压缩然后分成四路三路分别用膨胀率1、2、3的3x3膨胀卷积一路直接恒等映射。四路输出在通道维度拼接后再过一个1x1卷积恢复通道数最后和输入做残差相加。这个设计里有两个细节值得说。第一1x1卷积做通道压缩是为了控制计算量如果直接在原始通道数上做多路膨胀卷积参数量和显存占用会飙升。第二恒等映射那一路保证了即使膨胀卷积学不到有用特征信息也不会丢失梯度也能顺畅回传。膨胀率的选择上我试过1/2/3和1/2/4两组组合。1/2/3的组合在大多数红外小目标数据集上表现更稳因为膨胀率4的感受野对于小目标来说有点过大容易把背景也纳入进来。但如果你的数据集里目标尺度偏大1/2/4也值得一试。3.3 MDCR放在编码器末端还是解码器前端MDCR的放置位置对效果影响很大。我试过三种方案放在编码器每个下采样块之后、放在编码器末端最深层、放在解码器每个上采样块之前。放在编码器每个下采样块之后多尺度特征提取更充分但计算量增加明显训练时间大概多了30%。放在编码器末端计算量增加最少但多尺度信息只作用于最深层特征对浅层特征的尺度适应性帮助有限。放在解码器每个上采样块之前效果介于两者之间而且因为解码器特征图尺寸逐渐增大MDCR在较大特征图上做多尺度卷积对小目标的定位更精细。最终我选的是解码器前端方案在三个上采样块之前各加一个MDCR。检测率比不加MDCR的基线高了约2.8个百分点IoU高了约2个百分点训练时间只增加了15%左右性价比最高。class MDCR(nn.Module): def __init__(self, channels, dilations(1, 2, 3)): super().__init__() compressed channels // 4 self.compress nn.Conv2d(channels, compressed, 1) self.branches nn.ModuleList([ nn.Conv2d(compressed, compressed, 3, paddingd, dilationd) for d in dilations ]) self.identity nn.Identity() self.expand nn.Conv2d(compressed * (len(dilations) 1), channels, 1) self.relu nn.ReLU(inplaceTrue) def forward(self, x): c self.relu(self.compress(x)) outs [branch(c) for branch in self.branches] outs.append(self.identity(c)) merged torch.cat(outs, dim1) out self.expand(merged) return self.relu(out x)提示MDCR里的膨胀卷积建议加权重归一化Weight Normalization红外小目标数据集通常样本量不大权重归一化能帮助稳定训练减少过拟合。4. DASI与MDCR的协同谁先谁后怎么串4.1 两个模块的功能分工与互补关系DASI解决的是浅层特征质量差的问题核心是筛选和空间对齐MDCR解决的是感受野尺度不匹配的问题核心是多尺度特征提取。两者功能不重叠可以协同使用。在我的实现里DASI放在跳层连接通路上对每一层浅层特征做筛选和对齐后再送入解码器。MDCR放在解码器的上采样块之前对解码器特征做多尺度增强。这样DASI负责把好料送进来MDCR负责把料加工好分工明确。4.2 串联顺序对检测结果的实际影响我试过两种串联顺序DASI在前MDCR在后以及MDCR在前DASI在后。DASI在前MDCR在后的方案检测率比基线高约5.2个百分点IoU高约3.5个百分点。MDCR在前DASI在后的方案检测率高约4.1个百分点IoU高约2.8个百分点。差距主要来自DASI的空间对齐作用如果MDCR先做多尺度卷积特征图上的目标响应会被不同膨胀率的卷积核抹开之后再让DASI做空间对齐对齐难度增加了。反过来DASI先把浅层特征对齐好MDCR再做多尺度增强目标响应更集中效果更好。所以推荐顺序是跳层连接通路上的DASI先做筛选对齐解码器上采样块前的MDCR后做多尺度增强。4.3 参数量与推理速度的权衡加上DASI和MDCR后模型参数量从原来的约1.8M增加到约2.6M推理速度从每帧约12ms增加到约18ms在单张中端显卡上测试。这个代价在大多数红外小目标检测场景下是可以接受的因为检测精度提升明显。但如果你的应用对实时性要求极高可以考虑只加DASI不加MDCR参数量增加约0.4M推理速度增加约3ms检测率提升约3个百分点性价比也不错。配置方案参数量推理速度检测率提升IoU提升基线U-Net1.8M12ms--DASI2.2M15ms3.0%2.1%MDCR2.3M16ms2.8%2.0%DASIMDCR2.6M18ms5.2%3.5%5. 训练调参中几个容易踩的坑5.1 损失函数选择BCE和Dice的配比红外小目标检测的样本极度不平衡目标像素可能只占全图的0.1%甚至更少。纯BCE损失在这种情况下会被背景像素主导网络倾向于把所有像素预测为背景。我一开始用纯BCE训练了50个epoch检测率一直上不去后来改成BCEDice组合损失Dice系数对前景区域的梯度更敏感能有效缓解不平衡问题。配比上我用的是BCE权重0.3、Dice权重0.7。试过0.5/0.5和0.2/0.80.3/0.7在验证集上表现最稳。这个配比不是绝对的跟数据集的目标占比有关目标占比越低Dice权重可以适当调高。5.2 学习率预热与余弦退火的实际效果DASI里的可变形卷积和MDCR里的膨胀卷积对初始学习率都比较敏感。直接用大学习率训练前期loss震荡严重可变形卷积的偏移量容易学飞。我加了5个epoch的线性预热学习率从1e-5线性升到1e-3然后再用余弦退火降到1e-6。这个策略下训练曲线平滑很多最终收敛的loss也比不加预热低了约15%。余弦退火的周期设置上我用的是单周期T_max等于总epoch数。多周期退火在红外小目标数据集上试过效果不如单周期可能是因为数据集规模不大多周期退火容易在局部最优附近震荡。5.3 数据增强哪些增强对红外小目标有效红外小目标的数据增强不能照搬可见光图像那套。随机裁剪、翻转、旋转这些几何增强是有效的但颜色抖动、亮度对比度调整要慎用因为红外图像的灰度值直接对应温度随意调整会破坏目标的物理意义。我常用的增强组合是随机水平翻转概率0.5、随机垂直翻转概率0.5、随机旋转90度概率0.3、随机裁剪裁剪尺寸为原图的0.8到1.0倍。另外加了一个针对小目标的增强随机在背景区域粘贴目标patch增加正样本数量。这个增强对检测率提升帮助很大大概贡献了1.5个百分点。注意粘贴目标patch时要确保粘贴位置不覆盖原有目标且粘贴后的灰度分布要和背景自然过渡否则会引入不真实的边缘反而干扰训练。6. 实测结果与模块消融分析6.1 在公开红外小目标数据集上的对比我在两个公开红外小目标数据集上做了对比实验评价指标用检测率Pd和虚警率Fa以及IoU。基线是标准U-Net对比方案是U-NetDASIMDCR。在第一个数据集上基线U-Net的Pd约为0.82Fa约为1.2e-4IoU约为0.61。加上DASI和MDCR后Pd提升到0.87Fa降到0.8e-4IoU提升到0.65。在第二个数据集上基线Pd约为0.79Fa约为1.5e-4IoU约为0.58改进后Pd为0.85Fa为0.9e-4IoU为0.63。两个数据集上的趋势一致DASI和MDCR的组合能稳定提升检测率约5到6个百分点同时降低虚警率约30%到40%。这个提升幅度在红外小目标检测领域算是比较显著的因为该领域的基线方案通常已经调优过进一步提升空间有限。6.2 消融实验每个模块的独立贡献消融实验的结果和前面表格里的一致。单独加DASI检测率提升约3个百分点单独加MDCR提升约2.8个百分点两个都加提升约5.2个百分点。两个模块的贡献基本是叠加的没有明显的相互抑制说明它们的功能确实互补。值得注意的是DASI对虚警率的降低效果比MDCR更明显。单独加DASI时虚警率降低约25%单独加MDCR时虚警率降低约15%。这是因为DASI的注意力机制直接抑制了背景杂波的响应而MDCR主要是增强目标响应对背景的抑制是间接的。6.3 可视化对比目标响应图的变化从目标响应图上看基线U-Net的输出在目标周围有明显的晕染现象目标响应不够集中背景区域也有不少零散的高亮响应。加上DASI后目标响应明显更集中背景杂波被压下去不少。再加上MDCR后目标响应的形状更完整不同尺度的目标都能被稳定检测到。我特别关注了几个难样本目标靠近云层边缘的、目标灰度接近背景的、多个小目标相邻的。这些样本在基线模型上容易漏检或误检改进后的模型表现明显更好。尤其是多个小目标相邻的情况DASI的空间对齐和MDCR的多尺度提取配合起来能把相邻目标分开检测而不是合并成一个。7. 复现时需要注意的工程细节7.1 特征图尺寸对齐的检查DASI要求浅层特征和深层特征的空间尺寸一致但U-Net的编码器和解码器特征图尺寸在拼接时可能因为padding方式不同而差一个像素。我在复现时遇到过这个问题编码器用same padding解码器上采样后尺寸比编码器对应层大1个像素直接concat会报错。解决办法是在DASI里加一个自适应插值把浅层特征插值到和深层特征相同的尺寸。插值方式用双线性插值比最近邻插值更平滑对小目标的位置影响更小。这个细节看起来不起眼但不处理的话代码根本跑不起来。7.2 可变形卷积的显存占用优化可变形卷积的偏移量预测会额外产生一个通道数为18的特征图3x3卷积核每个采样点2个偏移量共18个显存占用比普通卷积高不少。如果输入特征图尺寸较大显存容易爆。我的优化方式是在DASI的空间交互模块里先用1x1卷积把浅层和深层特征压缩到原来通道数的一半再做可变形卷积最后再恢复通道数。这样显存占用降低了约40%精度损失不到0.5个百分点。另外偏移量预测层的卷积核用3x3就够了不用更大更大的卷积核显存占用增加明显但精度提升有限。7.3 训练时的梯度裁剪策略DASI的可变形卷积和MDCR的膨胀卷积都容易出现梯度爆炸尤其是训练前期。我加了梯度裁剪把梯度的L2范数限制在1.0以内。裁剪阈值试过0.5、1.0、2.01.0在大多数情况下最稳。阈值太小会限制模型学习能力太大起不到防爆炸的作用。另外可变形卷积的偏移量预测层建议单独设置梯度裁剪阈值比主干网络的阈值更小一些比如0.5。因为偏移量的数值范围本身就不大梯度爆炸对它的影响更直接。# 训练循环中的梯度裁剪示例 optimizer.zero_grad() loss.backward() # 对偏移量预测层单独裁剪 torch.nn.utils.clip_grad_norm_(model.dasi.offset_conv.parameters(), max_norm0.5) # 对整体模型裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()7.4 验证集指标波动的应对红外小目标数据集的验证集通常不大指标波动比较明显。我遇到过验证集IoU在相邻两个epoch之间跳动超过3个百分点的情况。这种波动不一定是模型出了问题可能只是验证集样本少导致的统计噪声。应对方式是用滑动平均来平滑验证指标取最近5个epoch的平均值作为模型选择依据同时保存多个checkpoint最后用测试集评估时取表现最好的几个checkpoint做集成。集成能进一步稳定结果我试过取3个checkpoint做权重平均IoU比单个最佳checkpoint高了约0.8个百分点。8. 从跳层连接升级到DASIMDCR的迁移建议如果你已经有一个基于U-Net的红外小目标检测模型想迁移到DASIMDCR方案我的建议是分步来不要一次性全改。第一步先把跳层连接替换成DASI保持其他结构不变训练到收敛确认检测率有提升。第二步在解码器上采样块前加MDCR再训练到收敛。这样分步迁移的好处是每一步的效果都能单独验证出问题时排查范围小。迁移过程中预训练权重可以部分复用。编码器的权重可以直接加载解码器的权重因为输入特征分布变了建议重新训练。DASI和MDCR是新模块从头训练。学习率方面加载预训练权重的层用较小的学习率比如1e-4新模块用较大的学习率比如1e-3这样能加速收敛。最后分享一个我在调参时发现的小技巧DASI的通道注意力分支里全连接层的降维比例reduction ratio不要设得太小。我一开始用16通道权重学得太稀疏很多有用通道被压没了。后来改成8效果好很多。如果你的通道数本身就不多比如小于64降维比例用4甚至2更合适。这个参数对最终精度的影响大概在1个百分点左右值得花时间调一下。
` 方法)
