做视觉方向的同学大概都遇到过这种场景模型结构改来改去涨点却越来越难最后往往是往骨干网络里塞一个只有几十行的通道注意力模块反而拿到了最实在的那零点几个点。Squeeze-and-Excitation Networks也就是大家常说的 SE 模块就是这类改动里性价比最高的一个。它在 PyTorch 里的实现短到可以背下来但真正决定成败的从来不是那十几行代码而是你把它插在哪儿、瓶颈比取多少、初始化的门控偏置怎么设、以及训练和部署环节那些不写在论文里的细节。这篇我会从工程角度把这套东西拆开讲清楚它为什么有效、PyTorch 里有几种写法、接到残差骨干上具体改哪一行、参数和显存到底涨多少、以及我在实际项目里踩过的那些坑。适合已经能跑通分类训练脚本、想给模型加一点结构改动但不想引入太大复杂度的读者也适合做模型压缩和部署、需要提前评估注意力模块代价的同学。1. 先把 SE 这件事想明白再动手1.1 通道冗余是真实存在的不是玄学卷积网络里的特征图通道维度上的信息密度从来都不均匀。你随便打印一个训练好的骨干网络中间层把每个通道的激活值做一次全局平均会看到很明显的长尾分布少数通道响应强烈大量通道的均值在零附近徘徊甚至有些通道几乎是常数。这些半死不活的通道不是训练失败而是卷积核在初始化后逐渐分化出的分工结果——有的负责纹理有的负责边缘有的负责颜色统计而某些通道在特定数据集上确实没什么用。问题在于标准卷积对所有通道一视同仁。无论是 3×3 卷积还是 1×1 卷积输入的所有通道都会被同一个权重矩阵线性组合网络没有任何机制去说这一批通道现在不重要先压一压。感受野层面的注意力、空间层面的注意力都能解决一部分问题但通道维度的这种全局重要性排序恰恰是卷积本身结构上缺失的能力。SE 模块干的事说白了就一句话让网络自己学一个长度等于通道数的权重向量然后拿它去乘原来的特征图。这个向量不是人为指定的是从数据里学出来的而且是对每个样本单独算的——同一张图里的猫和狗激活出来的通道权重可以完全不同。这一点很关键它意味着 SE 提供的是样本自适应的通道重标定而不是一组全局固定的通道重要性系数。后者你用人脸识别里的特征统计也能做但前者必须靠网络自己在推理时算出来。1.2 为什么是「先压缩、再激励」这套顺序名字里的 Squeeze 指的是把每个通道的空间维度压成一个标量通常用全局平均池化Excitation 指的是拿这个长度为 C 的向量过一个小型的多层感知机输出同样长度 C 的门控向量。顺序不能反也不建议换。先压缩的逻辑很好理解要判断一个通道重不重要你得看它在整张图上的整体响应强度而不是某个局部像素的值。如果直接对 H×W 的原始特征做全连接参数量会爆炸到无法接受如果只做局部池化比如 2×2那得到的统计量又太局部无法代表这个通道在全局语义上的贡献。全局平均池化是这两者之间唯一的合理折中——它把 C×H×W 压成 C×1×1信息损失确实存在但保留下来的正是这个通道整体上有多活跃这一维度的信息。再激励的逻辑是引入非线性建模通道之间的相互依赖。这里必须有小型的瓶颈结构也就是先降维再升维原因有两个。第一是参数控制如果直接做 C×C 的全连接对于 2048 通道的层就是四百多万参数一个模块顶得上小半个骨干网络完全不可接受。第二是约束解空间通道之间的关系不需要任意形式的线性组合用一个低秩的瓶颈去逼近相当于给模型加了一个结构先验——通道重要性应该由少数几个隐因子决定。这个先验在实践中不但没伤害性能反而有轻微的正则效果。顺序反过来的方案比如先激励再压缩在逻辑上说不通你没法对一个还没汇总的、维度是 C×H×W 的张量去做通道级的门控那样得到的是空间注意力而不是通道注意力是另一类方法了。所以这里的顺序不是任意的工程选择而是由通道级全局统计这个目标决定的。1.3 代价核算为什么说它几乎是白送的很多人对 SE 的第一印象是加了个全连接参数量会涨很多其实算一下就知道这个担心是多余的。设某个残差块的输出通道数是 C瓶颈比是 r那么一个 SE 模块的参数量是2 × C² / r C C/r以 C2048、r16 为例就是 2×4194304/16 2048 128 526464约 52.6 万参数。听起来不小但你要对比的是这个残差块本身的参数量ResNet 的 bottleneck 在 2048 输出通道时三个卷积层加起来是 1×1×512×2048 3×3×512×512 1×1×512×2048 ≈ 3.4MSE 只占它的 15% 左右。计算量这边就更夸张了。SE 的额外运算主要来自全局池化C×H×W 次加法和两个全连接2C²/r 次乘加在 2048 通道、7×7 特征图上池化约 10 万次加法全连接约 52 万次乘加加起来不到百万次量级。而紧挨着它的那个 3×3 卷积在同样位置是上亿次乘加的量级。两者差了两到三个数量级所以论 FLOPs 的增量SE 基本可以忽略不计。真正需要注意的隐性成本不在算力上而在访存和 kernel 启动上。全局池化加两个小全连接会产生好几次额外的算子调用在 GPU 上这些操作的耗时往往受限于 kernel launch 和内存带宽而不是浮点算力。你在服务器上跑可能完全感觉不到但在边缘设备上如果骨干网络本身已经很轻这些碎算子的调度开销就会变得可见。这一点我在第 4 节会展开讲。2. 把公式翻译成 PyTorch 代码的关键细节2.1 Squeeze 那一步全局平均池化没得选但坑在这儿池化层的选择上nn.AdaptiveAvgPool2d(1)基本是标准答案。它比nn.AvgPool2d(kernel_sizex)好用的地方在于不依赖输入尺寸你换分辨率、换输入大小都不用改代码这对后面做多尺度训练和部署时的动态 shape 非常关键。坑主要有两个。第一个是维度对齐。池化完得到的是(B, C, 1, 1)而全连接层要的是(B, C)中间必须做一次 view 或者 flatten。很多人在forward里写x.view(x.size(0), -1)这在静态 batch 下没问题但一旦你用了动态 batch 或者导出到某些推理引擎view的 shape 推断就可能出岔子。更稳的写法是显式view(b, c)b 和 c 都从x.shape里取不依赖任何硬编码。第二个坑是混合精度下的池化累加。AMP 训练时特征图是 fp16全局池化要把 H×W 个数累加起来如果 H×W 很大比如高分辨率分割任务里的 128×128fp16 的累加精度会不够出现明显的数值偏差。PyTorch 的AdaptiveAvgPool2d在 autocast 下通常会内部提升精度但如果你自己手写x.mean(dim(2,3))就得手动x.float()一下再算算完再转回去。这个小细节在做高分辨率任务时影响不小。还有一点容易被忽略池化前的特征图如果被 ReLU 处理过全是非负数那池化结果就没有正负抵消统计量会偏大如果没经过激活函数那池化结果可能接近零。所以 SE 模块插入位置的相对顺序会影响池化拿到的统计量分布。这也是为什么后面讲插入位置时要强调放在残差相加之后、ReLU 之前——那个位置的特征有正有负统计信息更丰富。2.2 Excitation 那一步瓶颈比 r 怎么定激活函数为什么是 ReLU Sigmoid瓶颈比 r 是最常被问到的超参。原论文的默认值是 16并在消融里试过 8、16、32结论是 16 附近比较均衡——r 太小比如 2参数涨太多但收益不明显r 太大比如 32参数量省了但表达能力下降精度会掉。但我要提醒一句r16 是在 2048 通道这个量级上验证出来的。如果你的网络通道数只有 64 或者 128C/16 就变成 4 或者 8瓶颈层的宽度小得可怜表达能力会被压得太狠。这时候更合理的做法是给瓶颈宽度设一个下限比如hidden max(C // r, 4)或者max(C // r, 8)。我一般用 4 作为下限实测对小通道网络更友好。激活函数的选择上第一层用 ReLU最后一层用 Sigmoid这个组合几乎是固定的。ReLU 的作用是筛掉那些负贡献的隐因子让门控向量保持非负Sigmoid 的作用是把输出压到 0 到 1 之间形成一个天然的软门控。有人试过把 Sigmoid 换成 Hard Sigmoid 或者 H-Swish在移动端能省一点计算但精度会有零点几个点的波动除非你的部署环境对 Sigmoid 特别不友好否则没必要换。这里有个实操细节值得单独说两个全连接层要不要加 bias。原论文的实现是带 bias 的走的是 1×1 卷积的路径后来一些复现把它去掉两种都能训。我建议保留 bias原因在于后面要讲的初始化技巧——你需要在最后一层用一个正的 bias 把初始门控值推到接近 1 的位置如果没有 bias这个操作就做不了只能靠 weight 初始化去凑可控性差很多。2.3 三份可直接抄的实现最小版、可插拔版、带初始化版第一个版本是最小实现适合快速验证想法代码短、易读import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() hidden max(channels // reduction, 4) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, hidden, biasFalse), nn.ReLU(inplaceTrue), nn.Linear(hidden, channels, biasFalse), nn.Sigmoid(), ) def forward(self, x): b, c, _, _ x.shape y self.pool(x).view(b, c) y self.fc(y).view(b, c, 1, 1) return x * y这个版本用了nn.Linear好处是代码直观坏处是view操作在动态 shape 场景下容易出问题。第二个版本用 1×1 卷积替代全连接这也是原论文在实现层面的做法。全连接在(B, C)上做矩阵乘1×1 卷积在(B, C, 1, 1)上做卷积数学上完全等价但卷积版本不需要任何 view 操作张量形状从头到尾保持一致class SEBlockConv(nn.Module): def __init__(self, channels, reduction16): super().__init__() hidden max(channels // reduction, 4) self.pool nn.AdaptiveAvgPool2d(1) self.fc1 nn.Conv2d(channels, hidden, kernel_size1, biasTrue) self.fc2 nn.Conv2d(hidden, channels, kernel_size1, biasTrue) self.act nn.ReLU(inplaceTrue) self.gate nn.Sigmoid() def forward(self, x): y self.pool(x) y self.act(self.fc1(y)) y self.gate(self.fc2(y)) return x * y这个版本我在实际项目里优先推荐理由就是它在 ONNX 导出、TensorRT 转换、以及各种静态图推理框架里的兼容性明显更好view/reshape这类操作在跨框架转换时是最容易出问题的一环。第三个版本加入了门控初始化的处理这是很多教程里不会写、但实际很有用的一段。SE 的 Sigmoid 在默认初始化下输出大概在 0.4 到 0.6 之间浮动意味着网络一开始就在对特征图做近似 0.5 倍的缩放相当于人为降低了激活值的幅度。虽然能训但前期收敛会稍微慢一点。把最后一层的权重置零、bias 设成一个正数比如 4.0Sigmoid 输出就固定在 0.98 左右模块在训练初期几乎是恒等映射等权重学起来之后再逐渐发挥门控作用class SEBlockInit(nn.Module): def __init__(self, channels, reduction16, gate_bias4.0): super().__init__() hidden max(channels // reduction, 4) self.pool nn.AdaptiveAvgPool2d(1) self.fc1 nn.Conv2d(channels, hidden, 1, biasTrue) self.fc2 nn.Conv2d(hidden, channels, 1, biasTrue) self.act nn.ReLU(inplaceTrue) self.gate nn.Sigmoid() nn.init.zeros_(self.fc2.weight) nn.init.constant_(self.fc2.bias, gate_bias) def forward(self, x): y self.pool(x) y self.act(self.fc1(y)) y self.gate(self.fc2(y)) return x * y要注意gate_bias别设太大。设成 8.0 的话 Sigmoid 输出接近 0.9997模块几乎完全不起作用反而要靠更大的梯度才能把它拉回来等于白加。4.0 到 5.0 这个区间比较舒服初始门控在 0.98 到 0.99 之间既有几乎恒等的行为又保留了调整空间。我试过在从头训练时用这个初始化前五个 epoch 的 loss 下降明显更平滑但如果是从预训练权重微调这个技巧的意义就没那么大因为预训练骨干的输出分布已经稳定了。2.4 参数与显存实测量表说参数量增加很少这种话太虚直接上数字。假设你把 SE 插在每个 bottleneck 的输出位置也就是残差相加之后r16按公式手算出来的增量是这样的阶段输出通道 C块数单块新增参数该阶段合计conv2_x25668,46450,784conv3_x512833,312266,496conv4_x102412132,1601,585,920conv5_x20486526,4643,158,784合计-32-5,061,984一个 25.6M 参数量的 50 层残差网络加上 SE 之后大概 30.6M增幅接近 20%。这个数字比很多人印象里的2% 到 3%要大原因在于插入位置不同。如果你把 SE 插在 bottleneck 内部 3×3 卷积之后此时通道数是 C/4增量只有 30 万左右几乎可以忽略如果只插在最后两个 stage增量会降到 4.7M 附近。所以看到不同资料上参数增量对不上时先别怀疑自己算错去确认对方的插入位置。显存这边SE 增加的常驻显存基本就是那几百万参数可以忽略。真正的增量来自中间激活池化输出、瓶颈层输出、门控向量都是(B, C, 1, 1)量级的张量batch64、C2048 的情况下也就几十 KB依然可以忽略。混合精度下如果门控计算被迫转成 fp32会有一次额外的张量拷贝但量级同样很小。我在实际训练里对比过加不加 SE 的显存占用差值始终在 1% 以内真正影响显存的是 batch size 和输入分辨率。3. 把 SE 接到骨干网络上的完整实操3.1 改造 Bottleneck改哪一行、为什么改这里以标准的残差 bottleneck 为例结构是 1×1 降维、3×3 卷积、1×1 升维然后和 shortcut 相加最后过 ReLU。SE 该插在哪里一共有三个可选位置效果差别不小。位置 A残差相加之后、ReLU 之前。这是原论文的选择我推荐这个。在相加之后做门控SE 看到的是主分支 捷径分支合并后的完整特征能对整条残差路径的通道重要性做统一评估。放在 ReLU 之前是因为相加后的特征有正有负池化统计量信息更完整而且门控是乘法操作先乘再过激活和在激活后乘数学上不等价前者更符合重标定的语义。位置 B主分支 3×3 卷积之后。这个位置通道数是 C/4参数量能省 16 倍很多轻量化实现会这么选。代价是 SE 只能看到主分支的信息看不到捷径分支而且它调制的特征还要经过一次升维卷积门控的语义被稀释了一层。我在小模型上对比过位置 B 的精度比位置 A 低 0.2 到 0.4 个点但速度快一些。位置 C残差相加之后、ReLU 之后。这个位置最不推荐。ReLU 之后所有特征非负池化统计量的分布被截断而且门控乘在一个已经激活的特征上会把一部分正值直接压到接近零梯度回传时这些位置就废了。我早期试过这个位置训练能收敛但精度明显差一截。改造代码大致是这样关键在于forward里那一行的顺序class SEBottleneck(nn.Module): expansion 4 def __init__(self, inplanes, planes, stride1, downsampleNone, reduction16): super().__init__() width planes self.conv1 nn.Conv2d(inplanes, width, 1, biasFalse) self.bn1 nn.BatchNorm2d(width) self.conv2 nn.Conv2d(width, width, 3, stridestride, padding1, biasFalse) self.bn2 nn.BatchNorm2d(width) self.conv3 nn.Conv2d(width, planes * self.expansion, 1, biasFalse) self.bn3 nn.BatchNorm2d(planes * self.expansion) self.relu nn.ReLU(inplaceTrue) self.se SEBlockConv(planes * self.expansion, reduction) self.downsample downsample def forward(self, x): identity x out self.relu(self.bn1(self.conv1(x))) out self.relu(self.bn2(self.conv2(out))) out self.bn3(self.conv3(out)) if self.downsample is not None: identity self.downsample(x) out out identity out self.se(out) out self.relu(out) return out有个细节要留意downsample分支里如果包含 BN它的输出和主分支相加之前两边的数值量级要保持一致这是标准残差网络本来就要求的事情。加了 SE 之后这个要求没变但如果你的门控初始值设得偏离 1 太远比如 0.5相当于把合并后的特征整体缩小一半下一层的 BN 需要重新适应这个尺度前期会有一点点训练抖动。这也是我建议用 4.0 的 gate_bias 而不是默认初始化的原因之一。3.2 训练配置优化器、学习率、正则的连带调整加了一个模块训练配置要不要跟着改大部分情况下不用大改但有几个点值得微调。权重衰减的处理。SE 里的 1×1 卷积本质上是一个小型的分支网络如果和主干的卷积用同样的 weight decay在数据量不大时容易把门控权重压向零导致模块学不到东西。常见的做法是把 SE 模块的参数排除在 weight decay 之外或者用一个更小的系数比如主干的十分之一。实现上就是给优化器传分组参数se_params, base_params [], [] for name, p in model.named_parameters(): if .se. in name: se_params.append(p) else: base_params.append(p) optimizer torch.optim.SGD([ {params: base_params, weight_decay: 1e-4}, {params: se_params, weight_decay: 0.0}, ], lr0.1, momentum0.9, nesterovTrue)这个技巧在微调场景下尤其有用。我做过一次对比从预训练权重开始微调SE 参数不加 weight decay 的版本比统一加 1e-4 的版本最终精度高 0.3 个点左右收敛也更稳。从头训练时差别小一些但也没坏处。学习率热身。加了新模块意味着新参数是随机初始化的如果直接上大学习率这些随机初始化的层会被大梯度冲一下前期 loss 会有明显的尖峰。用 5 个 epoch 的线性 warmup 就能把这个尖峰压平。如果你用的是余弦退火warmup 加进去之后曲线会漂亮很多。标签平滑。和 SE 没有直接关系但加了 SE 之后模型容量变大过拟合风险上升标签平滑 0.1 是个便宜的补偿手段。我在数据量五万条左右的分类任务上对比过加不加标签平滑最终验证精度差 0.4 个点训练集精度差得更多说明它确实压住了过拟合。混合精度。用 AMP 的时候Sigmoid那一层建议强制走 fp32。PyTorch 的 autocast 默认会把一些逐元素操作保留在 fp32但不同版本行为不完全一致最保险的写法是在门控计算外面套一个with torch.autocast(device_typecuda, enabledFalse):或者干脆把门控向量的计算整体转成 float。3.3 训练现场记录曲线、显存、吞吐说点实际的数字。前段时间帮一个做工业质检分类的小项目改模型骨干是 50 层的残差网络输入 224×224数据集八万张左右四十多个类别类别分布不太均衡。基线模型训练 90 个 epoch验证集 top-1 大概 78.2%。加了 SE 之后其他配置完全不动最终到 79.1%涨了 0.9 个点。这个幅度和原论文在千类分类基准上报告的差不多属于符合预期的范围。训练曲线上的差异主要出现在中后期。前 20 个 epoch 两条曲线几乎重合说明门控还没学出有意义的东西40 个 epoch 之后 SE 版本的验证精度开始拉开同时训练 loss 下降得更快训练集和验证集的 gap 也更大一些——这就是容量变大带来的过拟合倾向。所以我最后把 dropout 从 0.2 调到 0.3把 gap 拉回来一点最终精度又补了 0.2 个点。单步耗时上batch64 的情况下基线一个 epoch 大概 3 分 20 秒加了 SE 之后 3 分 35 秒慢了约 7%。这个比例比 FLOPs 的增量大不少原因前面提过是碎算子带来的调度开销不是算力不够。显存占用从 8.9G 涨到 9.0G基本可以认为没变。另外有个现象值得单独说SE 对小类别帮助更明显。我按类别统计了召回率发现头部大类样本过万的召回提升只有 0.3 个点而尾部小类样本几百的提升有 2 个点以上。我的理解是通道重标定相当于给模型加了一个样本自适应的特征选择机制在样本少、特征容易混淆的类别上这个机制更容易发挥作用。如果你的任务本身长尾严重SE 的收益可能会比预期更高。3.4 消融实验怎么做得让人信服做结构改动最容易犯的错就是只报加了之后涨了多少不控制变量。审稿或者内部评审第一句就会问你涨的点是因为 SE还是因为多了五百万参数要做三组对照才有说服力。第一组是纯基线什么都不加。第二组是 SE 版本注意参数量要和第三组对齐。第三组是参数量匹配的对照组把 SE 多出来的那五百万参数用在别的地方——最简单的做法是把每个 stage 的通道数按比例加宽一点让总参数量接近或者多加一层 bottleneck。如果 SE 版本比加宽版本还高那才能说明增益来自结构而不是容量。还有几个细节要固定住随机种子至少跑三次取均值把标准差一起报出来训练 epoch 预算完全一致不要给 SE 版本多训几个 epoch数据增强、学习率调度、batch size 全部锁死。我见过不少涨点其实是学习率没调对导致的基线跑在次优超参上加个模块顺手改了学习率结果自然好看。另外建议做一次位置消融同一份代码分别在残差相加后、3×3 卷积后、ReLU 后插 SE各跑一轮。这个实验成本不高但能给你后面选方案提供直接依据也能解释为什么你最终选了现在这个位置。4. 踩坑实录与排查速查4.1 精度不升反降的五个典型原因原因一门控初始值太低。前面说过默认初始化下门控输出在 0.5 附近相当于把特征整体砍半。如果你的网络本身就比较深、梯度传得吃力这个额外的缩放会让训练更难受。排查方法很简单在forward里打印一下第一个 epoch 的门控均值如果它长期趴在 0.5 以下不动就把 gate_bias 调上去。原因二模块加得太多。SE 是有效但不是每个 stage 都需要。在通道数只有 64、128 的浅层加 SE瓶颈宽度被压到 4 或者 8表达能力实在太弱反而引入了噪声。我一般只在通道数大于等于 256 的 stage 上加浅层直接跳过。这个取舍在小数据集上尤其明显我在一个只有两万张图的任务上把所有 stage 都加上 SE结果掉了 0.3 个点去掉前两个 stage 之后就正常了。原因三weight decay 把门控压死了。这个前面提过现象是门控向量在所有通道上都非常接近失去了区分度。你可以在训练结束后统计一下门控向量的标准差如果小到 0.01 以下基本就是这个问题把 SE 参数从 weight decay 里摘出去就能缓解。原因四学习率没重新调。加了新模块之后最优学习率可能会小幅偏移尤其是你用了分组参数、warmup 这些技巧。别嫌麻烦重新扫一次 0.05、0.1、0.2 三档成本很低。原因五BN 的统计量没跟上。如果是从预训练权重微调SE 模块是新初始化的它输出的门控会改变后面所有 BN 层看到的分布但这些 BN 的 running mean/var 还是旧值。正确做法是微调初期冻结 BN 的统计量更新把momentum设成 0 或者track_running_statsFalse等 SE 学出东西之后再放开。这个细节在迁移学习场景下影响很明显。4.2 导出与部署环节的坑ONNX 导出时的动态维度。如果你的 SE 用nn.Linear实现view(b, c)在导出成 ONNX 时会生成一个Reshape节点如果 batch 维是动态的这个节点需要正确的 dynamic_axes 声明否则推理时会报形状不匹配。用 1×1 卷积版本就没有这个问题整条路径全是 Conv、Relu、Sigmoid、GlobalAveragePool导出干净得多。我现在做部署相关的项目一律用卷积版本。量化时的精度损失。Sigmoid 的输出范围是 0 到 1在 8bit 对称量化下会被映射到 0 到 127 这一小段区间分辨率只有 128 级而且小值区域的分辨率会进一步损失。如果门控向量本身分布很集中比如全部在 0.9 到 0.95 之间量化之后所有通道的门控值可能变成完全一样模块就等于失效了。解决办法是用非对称量化或者把门控计算保留在浮点只量化主干。剪枝时的连锁反应。做通道剪枝时SE 的两个 1×1 卷积会跟着通道数变化如果剪枝工具不认识这个依赖关系很容易剪出形状对不上的模型。更麻烦的是SE 学到的通道重要性会误导剪枝算法——某些通道看起来响应很强但可能只是因为门控给它加权了实际特征贡献并不大。稳妥的做法是剪枝前先跑一遍不带 SE 的模型或者用门控值作为剪枝的辅助参考而不是唯一依据。TensorRT 转换中的小 kernel 问题。瓶颈层的宽度如果只有 4 或者 81×1 卷积在 GPU 上会退化成访存受限的算子转换之后可能比原生 PyTorch 还慢。如果你的部署目标是边缘设备把 r 从 16 调到 8瓶颈宽度翻倍单次计算量多一点但 kernel 效率会好很多总体延迟反而可能下降。4.3 常见问题速查表现象最可能的原因快速排查动作处理方式训练 loss 正常但验证精度不涨过拟合容量变大但数据不够看训练集和验证集的精度 gap加大 dropout 或标签平滑减少 SE 插入的 stage 数前几个 epoch loss 有明显尖峰新参数随机初始化 大学习率打印前 200 步的 loss加 5 epoch 线性 warmup或用 gate_bias 初始化门控向量所有通道几乎相同weight decay 压死或 r 太大统计门控值的标准差SE 参数不加 weight decayr 从 16 调到 8ONNX 导出报 Reshape 相关错误全连接版 动态 batch用固定 batch 试一次导出换 1×1 卷积版本或正确设置 dynamic_axes量化后精度大幅下降Sigmoid 输出被量化压缩对比量化前后的门控分布门控部分保留浮点或改非对称量化训练速度比预期慢很多碎算子调度开销用 profiler 看各算子耗时占比合并计算或换卷积实现减少 stage 数微调时精度先降后升BN 统计量与新的门控分布不匹配冻结 BN 再训几轮对比微调初期冻结 BN 的 running stats还有一条不在表里但很值得记别在小 batch 上评估 SE 的效果。SE 的统计量是跨空间位置的batch 太小的时候虽然每个样本自己算自己的门控理论上不受 batch 影响但小 batch 会带来 BN 统计不稳两个因素混在一起你很难判断到底是哪个在起作用。至少要 batch32 以上再下结论。5. 这套思路还能往哪儿延伸SE 这套全局池化 瓶颈 MLP Sigmoid 门控的范式后来衍生出了不少变体。有人把全局平均池化换成全局最大池化或者两者并行相加理由是最大池化能捕捉最显著的响应对纹理类特征更敏感有人把 Sigmoid 换成 Softmax 做通道间的竞争性归一化思路是通道之间应该互相抑制而不是独立门控还有人把瓶颈 MLP 换成了一维卷积让门控在通道维度上有局部感受野认为相邻通道之间存在相关性。我在实际项目里试过一维卷积的版本在通道数很大的层比如 2048上确实有微弱收益大概 0.1 到 0.2 个点但参数量和实现复杂度都上去了性价比不如老老实实调 r 和插入位置。反倒是池化用平均加最大并行这个改动成本几乎为零在几个任务上都稳定有小幅提升我现在基本默认用这个变体。另一个方向是把它和空间注意力组合。通道注意力回答的是哪些通道重要空间注意力回答的是哪些位置重要两者是正交的。串行组合先通道再空间是最常见的做法但要注意顺序会影响效果而且两个模块叠在一起计算开销就不是几乎白送了得重新算一遍延迟预算。最后一个我个人觉得最有价值的方向把 SE 的门控值当成可解释性的抓手。训练完之后你可以针对某个类别统计门控向量在各层的均值分布看看模型到底依赖哪些通道做判断。我在一个缺陷检测的项目里用过这个办法发现某些通道的门控值对特定缺陷类型特别敏感把这些通道单独拎出来做可视化和人工标注的缺陷区域对得上这比 Grad-CAM 之类的后处理更直接因为它本来就是模型内部真实计算的一部分。当然这个用法需要谨慎门控值高只说明模型给这个通道加权了不代表这个通道的语义你能看懂两者之间还有距离。
