卷积大概是深度学习里被误解最多的概念之一。我不止一次在交流群里看到有人问“卷积神经网络到底卷了什么”、“卷积和特征提取是什么关系”、“为什么空洞卷积叫空洞”说真的这个名词听起来像高数里的卷积积分也像信号处理里的卷积定理但实际上深度学习里的卷积本质就是一张小模板在数据上滑动、做加权求和。如果你用“模板匹配 滑动窗口”这个思路去理解卷基层、池化层、步长、填充、核所有这些名词都会瞬间变得特别直白。这篇文章我不打算用教科书式的数学推导来劝退你而是用从业者的视角把卷积的直觉、计算逻辑、不同类型变体的适用场景以及PyTorch里的落地写法一次讲透。适合刚入门深度学习的学生也适合训练模型时对“感受野不够”“参数太多”困惑的实战派。不求你一晚上变成卷基层调参大师但至少看完后脑子里能有一张比较完整的图遇到新的卷积变体时不会再慌。1. 卷积的直觉它不是在“卷”而是在“找特征”1.1 从一个非常生活化的例子说起想象一下你手里拿着一张7x7的黑白像素网格你想知道“这张图里有没有横线”。你会怎么判断最简单的方法是拿一个“横线模板”——比如3x3的模板横排全是亮色上下全是暗色——然后把这个模板放到图里的第一个位置比较一下模板和覆盖区域像不像。接着把模板往右移动一格再比较再移动再比较直到整张图都被扫过一遍。最后哪个位置算出来的相似度最高就说明那个地方最像横线。这个“移动模板 局部相乘相加”的过程在深度学习的语境里就叫卷积。那个“模板”就是卷积核也叫滤波器“比较相似度”的操作就是核和数据之间的点积运算每一次“移动”的距离叫步长。如果要说得更严谨一点神经网络在做的事情并不是像传统图像处理那样手工设计一个“横线模板”而是让训练过程自己决定模板里每个位置填什么数字让它对当前任务最有用。也就是说卷积核是学出来的不是我们写出来的。为什么这个操作这么有生命力因为图像是高度局部相关的——相邻像素之间往往相似远处的像素关系弱得多。卷积天然只关注“某一个小邻域”内的关系又允许同一套模板在整张图的不同位置反复使用这就同时抓住了两个核心特性局部连接和权值共享。这两个特性让卷积网络比全连接网络少好几个数量级的参数而且不需要人为去分割图像、手动设计特征。1.2 卷积核、通道、特征图的三角关系很多人第一次看卷积网络结构图时最蒙的不是卷积本身而是“通道”。灰度图1个通道彩色图3个通道第一个卷积层可能有64个卷积核那输出到底是几维的我们逐层说。假设输入是一张224x224的彩色图形状是(3, 224, 224)——3个通道。第一层卷积层的核如果配置为“64个3x3的核”实际每个核的形状是(3, 3, 3)前面的3对应输入通道数。也就是说一个核会同时读取输入的3个通道在每个位置对27个数值做加权求和处理完所有空间位置配合步长和填充输出一张二维的特征图。64个核就会输出64张特征图拼在一起形状是(64, 224, 224)。如果网络里还有专门做通道下采样的逐点卷积也会在通道维度上做线性组合。这里面需要建立一个习惯卷积核的通道数永远等于输入张量的通道数而卷积核的个数决定了输出张量的通道数。这也是为什么第一个卷积层通常写“输入3通道输出64通道”——它其实就是在说“64个卷积核每个卷积核对3通道输入做局部加权求和”。特征图这个词听着高级你也可以把它理解成“经过某种模板扫描后得到的热力图”。例如靠近输入的卷积核可能学到边缘、纹理中间的层可能学到“眼睛”、“轮子”这类部件深层则对应更完整的语义概念比如人脸、汽车。这就是卷积网络能工作的底层逻辑从局部细节逐步组合成全局语义。2. 把卷积的数学计算过程彻底拆开2.1 单次卷积到底算了什么先不涉及多通道只看单通道的二维卷积。输入是一张5x5的矩阵核是3x3输入矩阵1 2 3 4 56 7 8 9 1011 12 13 14 1516 17 18 19 2021 22 23 24 25卷积核1 0 -11 0 -11 0 -1第一次计算核覆盖输入的左上角3x3区域1 2 36 7 811 12 13对应位置相乘再求和1×1 2×0 3×(-1) 6×1 7×0 8×(-1) 11×1 12×0 13×(-1) 1 - 3 6 - 8 11 - 13 -6。这个 -6 就是输出特征图第一个位置的值。核在水平方向移动一格步长1时再算一遍覆盖的序列是 2,3,4 / 7,8,9 / 12,13,14算出来又是另一个值。扫到右边到头后回到下一行继续。当步长1、不填充时5x5输入配3x3核的输出是 (5-3)/1 1 3也就是3x3的特征图。那如果步长变成2呢输出尺寸是 (5-3)/2 1 2向下取整后是2x2。这里让人特别容易踩坑的点是步长增大会快速缩小特征图的空间尺寸如果连续堆叠很多层可能几层之后特征图就没法看了。所以实践中步长为2通常搭配填充或者只在网络的前几层用。2.2 填充到底填的是什么东西填充就是往输入张量的边缘额外补数值。最常见的是补0叫zero padding也可以补边缘像素值甚至补镜像那叫reflect padding。为什么非填不可原因主要有两个一是防止特征图尺寸衰减太快二是保护边缘信息。如果不做填充五层3x3卷积后特征图尺寸急剧缩小边缘的像素只会被核覆盖很少的次数位置信息几乎丢失。比如上面的例子中间那个13被很多次卷积覆盖而角落里的1只参与一次计算这显然不公平。填充的计算公式也很直白。假设输入尺寸为H核尺寸为K步长为S上侧填充P_top、下侧填充P_bottomPython和PyTorch里的padding参数通常对左右、上下统一设置所以设为P时输出高度是 (H 2P - K) / S 1。比如输入5x5核3x3步长1padding1输出是 (5 2 - 3) / 1 1 5尺寸不变。这个配置特别常用。PyTorch的Conv2d中padding参数还可以传递一个二元组例如padding(1, 2)表示高度方向补1圈宽度方向补2圈这在某些输入宽高不对称时很有用。有一点容易被忽略填充并不是越多越好。填充太多等于强行给网络塞入不存在的“假边缘信息”模型会把注意力过度分散到边缘区域。常规做法是尽量让输出尺寸保持不变或者平滑减小不要为了凑计算图而疯狂堆padding。2.3 卷积输出尺寸的完整算式我习惯直接记住统一公式。对于二维卷积朴素模式下H_out floor((H 2P - K) / S) 1W_out floor((W 2P - K) / S) 1如果没有填充P0。这里的floor向下取整有些框架和教材里会直接写整除含义相同。如果再用上空洞卷积也就是膨胀卷积公式里要引入膨胀率d。此时有效核尺寸变成 K_eff K (K - 1) × (d - 1)即 3x3 核、膨胀率2时实际等效为5x5的感受野但参与计算的参数仍然是那9个公式变成H_out floor((H 2P - K_eff) / S) 1我之所以强调这个公式是因为很多人在搭网络时输出的通道数、特征图尺寸算错导致全连接层输入维度对不上跑起来报错后才一行行debug。建议写网络前先拿张纸把每层的输出尺寸都算一遍比反复跑训练快得多。3. 卷积神经网络里的老搭档池化、步长与核3.1 池化为什么能“干活却不学参数”池化本质上就是一个固定规则的降采样操作最常见的是最大池化和平均池化。它和卷积一样在空间维度做滑动窗口但不需要学习任何参数。比如2x2、步长为2的最大池化就是把输入切分成2x2的小块每个块里取最大值作为输出。这样特征图边长直接减半参数量、计算量也随之降低而且能带来小幅度的平移不变性——图像里的物体稍稍移动几个像素池化后的特征依然能保持一致。有人可能会问“卷积不是也可以用步长2来降采样吗为什么还要池化”这个问题问得很好。卷积负责“学特征”池化负责“压特征”。虽然步长2的卷积同样能缩小分辨率但卷积会引入可学习参数和梯度流而池化带有天然的鲁棒性对噪声和轻微扰动更稳。在很多现代网络架构里两者其实都有使用只是侧重不同。比如早期的VGG是“卷积池化”交替而ResNet早期直接用步长2的卷积下采样效果也不错。没有绝对的对错只有场景适配。3.2 步长不只是缩小尺寸那么简单步长影响的不只是输出大小它还直接影响特征的密度。步长为1时相邻输出位置对应的感受野重叠度很高特征图保留的空间信息最完整但计算量大步长为2时输出减半每个输出位置“跳着”看输入能聚合更大的区域却也可能丢掉细粒度信息。在目标检测这类任务里步长策略常常是工程调优的焦点。检测模型的下采样倍数决定了最终特征图相对原图的缩放比例直接关联小目标能不能被感知到。想检测小目标就要避免过大的下采样倍数或者使用多层特征融合来弥补步长导致的分辨率损失。曾经我调一个检测模型时只把主干网络的某一层步长从2改成1小目标的map直接涨了好几个点但同时显存占用也上去了。这说明步长是一个“分辨率-计算量-感受野”的三角平衡点。3.3 卷积核的尺寸怎么选为什么大家这么偏爱3x3核核心原因是两个3x3卷积堆叠感受野等效于一个5x5卷积但参数量少很多18个参数对比25个参数如果算上层间非线性激活两个3x3的非线性表达能力还要更强。这个思想在VGG论文里被明确指出后来几乎所有经典网络都在重复这个套路。那什么时候用更大的核比如7x7或11x1大核能一次性覆盖更大范围早期AlexNet确实用过11x11和5x5的核因为当时网络不深想快速获得大感受野。但在深网络中大核的参数量太离谱训练效率和显存压力都很差。后来的MobileNet等轻量网络甚至把3x3卷积分成“逐通道卷积 逐点卷积”用极小代价获得不错的感受野和通道交互这就是深度可分离卷积的核心思路。概括来说堆叠小核是主流大核可以偶尔在浅层或注意力模块中亮个相。4. 从一脸懵到跑通PyTorch实现一个真正的卷积神经网络4.1 核心参数在PyTorch里怎么写在PyTorch中一句话就能创建一个卷积层import torch.nn as nn conv nn.Conv2d( in_channels3, out_channels64, kernel_size3, stride1, padding1, dilation1, groups1, biasTrue )这里每个参数都对应前面讲过的概念in_channels是输入通道数out_channels是卷积核个数kernel_size是核尺寸stride和padding各自对应步长和填充dilation是膨胀率默认1表示普通卷积。groups稍微特殊一点当groups1时是普通卷积groupsin_channels时变成深度可分离卷积里的逐通道卷积。bias默认是True给每个输出通道加一个可学习的偏置项。这个偏置的作用和线性回归里的偏置一样相当于让特征在输出前平移一下方便拟合。还有一点值得提PyTorch里卷积层的权重形状是(out_channels, in_channels // groups, kH, kW)不是(in_channels, out_channels, ...)别搞反。如果你要手工初始化或者做剪枝操作必须先确认这个排布。4.2 手写一个适用于MNIST的小型CNN作为快速验证我常推荐用MNIST手写数字数据集来跑一个小型卷积神经网络。数据集小、训练快而且能清晰看到卷积特征学习的全过程。import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torchvision import datasets, transforms from torch.utils.data import DataLoader transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) class SimpleCNN(nn.Module): def __init__(self): super().__init__() # 输入是1x28x28 self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) # 32x28x28 self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) # 64x28x28 self.pool nn.MaxPool2d(2, 2) # 池化后64x14x14 self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(self.conv1(x)) x self.pool(F.relu(self.conv2(x))) # 14x14 x self.pool(F.relu(self.conv2(x))) # 第二次卷积池化 - 7x7等等这里少了一次卷积。我修正一下完整的写法class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(self.conv1(x)) # 1x28x28 - 32x28x28 x self.pool(F.relu(self.conv2(x))) # 32x28x28 - 64x14x14 x self.pool(F.relu(self.conv2(x))) # 这里应该换层不能重复conv2 ...上面的forward我故意写了个错误示范。实际正确版本应该用两个不同的卷积层或者先卷积两次再池化两次。让我重新写一个完整正确的加上训练循环方便对照class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(self.conv1(x)) # 32x28x28 x self.pool(F.relu(self.conv2(x))) # 64x14x14 x self.pool(F.relu(self.conv2(x))) # 错误这里需要conv3或保持conv2前继续卷积 return x # 上面这版forward有误正确如下 class SimpleCNNCorrect(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 32x14x14 x self.pool(F.relu(self.conv2(x))) # 64x7x7 x x.view(x.size(0), -1) # 展平为 batch_size x (64*7*7) x F.relu(self.fc1(x)) x self.fc2(x) return x加上训练循环device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNNCorrect().to(device) optimizer optim.Adam(model.parameters(), lr0.001) criterion nn.CrossEntropyLoss() def train(epochs5): model.train() for epoch in range(epochs): total_loss 0 for data, target in train_loader: data, target data.to(device), target.to(device) optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch1}, Loss: {total_loss / len(train_loader):.4f}) train()这个模型虽然简单但在MNIST上跑几个epoch就能到99%左右的准确率。它完整展示了一个CNN的最主要流程卷积提取特征池化降低分辨率全连接做最终分类。代码不长但它是一个非常好的“跑通全流程”的基准模板拿来改造成自己的小项目也很快。4.3 训练时梯度爆炸或梯度消失怎么办深度卷积网络在训练时经常遇到两个大坑梯度爆炸和梯度消失。梯度爆炸的典型特征是loss突然变成nan或者训练过程中数值剧烈震荡。排查方法并不复杂打印一下每一层的梯度范数看看哪一层的梯度突然暴涨。常见诱因是学习率太大、网络太深、数据没归一化。解决办法包括减小学习率、对损失做梯度裁剪、给网络加BatchNorm层。梯度消失则相反——浅层权重几乎不动网络更新停滞表现为loss下降极慢甚至不降。这时可以检查是否用了不合适的激活函数比如早期使用sigmoid很容易饱和是否初始化方式不当或者卷积层后面缺少合适的归一化层。从实践角度看现代卷积网络基本上默认“每层卷积后接BN再接ReLU”这个组合拳因为BN能把每层输入的分布拉回一个合理范围ReLU缓解了正区间梯度饱和两者搭配后上述两类问题的发生频率会降低很多。4.4 显存不够、训练太慢怎么从卷积层面优化如果你已经把网络搭出来了但在自己电脑上跑不动先别急着加显卡可以考虑从卷积的结构上优化。最常见的招数是把普通卷积替换为深度可分离卷积。比如MobileNetV2、EfficientNet这些轻量网络效果接近大模型但参数量和计算量少一个数量级。它的原理是把卷积分解成两步先用逐通道卷积处理每个通道的空间特征再用1x1逐点卷积跨通道融合信息。在PyTorch里实现深度可分离卷积也非常简单class DepthwiseSeparableConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3): super().__init__() self.depthwise nn.Conv2d( in_channels, in_channels, kernel_sizekernel_size, paddingkernel_size // 2, groupsin_channels ) self.pointwise nn.Conv2d(in_channels, out_channels, kernel_size1) def forward(self, x): return self.pointwise(self.depthwise(x))把深度可分离卷积用在Bottleneck结构中能在保持表达能力的同时显著减参。我在一次边缘设备部署项目里把骨干网络从普通卷积全部换成深度可分离卷积模型体积缩小了接近70%推理速度提升明显精度只损失了不到1%。这种收益在服务器端不明显但在嵌入式环境和移动端价值很大。5. 卷积的家族谱那些长得不一样但同根的变体5.1 转置卷积不是卷积的逆运算转置卷积经常出现在生成模型、语义分割的上采样模块里。它的名字很有误导性很多人以为它是“卷积的逆运算”能把特征图还原成原图。实际上它本质上仍然是卷积只是把“小图变大图”的过程用可学习参数来实现。你可以把转置卷积理解成一种“可学习的上采样层”它会在输入像素之间插入空洞并填充0然后再做一次普通卷积从而得到更大尺寸的输出。输出不是原图而是一张尺寸更大、通道数可能也不同的特征图。在PyTorch里对应的是ConvTranspose2d。常见的坑是输出尺寸计算容易混乱。它的公式与普通卷积相反输出尺寸大致是 H_out (H_in - 1) × stride - 2P K。例如输入4x4、3x3核、步长2、padding1输出是 (4-1)×2 - 2 3 7。这种非整数对应关系经常让新手手忙脚乱我的建议是搞清楚每一层的输入输出尺寸再堆叠不要指望模型自己“正确”地恢复分辨率。5.2 膨胀卷积在不加参数的情况下扩大感受野膨胀卷积也就是热词里的“膨胀卷积”通过给核的取值位置之间插入空洞来增加覆盖范围。同样是3x3核膨胀率1时只看相邻的3x3区域膨胀率2时等效覆盖5x5但真正参与计算的像素还是9个。好处很明显感受野变大参数不变代价是特征变得稀疏或者说在局部区域丢失了连续的细节信息。膨胀卷积在图像分割任务中特别受欢迎。比如DeepLab系列用不同的膨胀率并行提取多尺度上下文信息在保持较高分辨率特征图的前提下获得足够大的感受野。如果单纯堆叠普通卷积特征图会缩得特别小细节信息全丢分割效果就上不去。不过需要注意膨胀率太大会导致“网格伪影”——因为核的采样位置分布太分散远处信息相关性弱模型的局部细节感知能力下降。常用做法是采用混合膨胀率比如 [1, 2, 5, 1, 2, 5] 这样的周期组合兼顾多尺度感受野和细节连续性。5.3 三维卷积、图卷积与球面卷积从平面到空间再到拓扑二维卷积解决的是平面图像的任务。如果输入变成视频即连续多帧图像叠在一起形状变成(C, T, H, W)那就需要用三维卷积。三维卷积的核是(C, kT, kH, kW)它不仅在一个画面内滑动也在时间维度上滑动能同时捕捉空间和时间特征。在动作识别、医学影像如CT或MRI序列里三维卷积几乎是标配。但三维卷积最大的痛点是参数量和计算量爆炸比如一个3x3x3的卷积核在同等分辨率下的计算量是二维3x3的3倍以上。所以实际使用中经常限制时间维度的核大小或者用2D1D的分解式方法比如(21)D卷积来降低开销。PyTorch里对应接口是nn.Conv3d接口参数与二维卷积几乎一致只是多了一个depth维度的处理。还有两个比较有代表性的变体一个是图卷积通常说的自适应图卷积、图卷积网络针对的不是规则网格图像而是社交网络、分子结构、点云这类拓扑结构数据。它的核心运算不再是滑动窗口而是“邻居聚合”——每个节点用自己的特征和邻居节点的特征做加权求和权重可以是节点度的归一化值也可以是学出来的注意力系数。这个思路延伸出去就是GCN、GAT、GraphSAGE等模型非常适合处理关系型数据。另一个是球面卷积(spherical convolution)。它解决的是普通卷积在球面投影图像上失效的问题因为经纬展开的球面图在极点区域形变严重普通卷积核无法保持旋转等变性。球面卷积在自动驾驶全景相机、气象预测、360度视频处理等场景中很有价值。不过说实话工程上目前落到生产环境里的还是相对小众应用方更多选择先把球面图切块投影成多个平面图再用普通卷积处理成本更低也更可控。5.4 只要一招怎么根据任务选择卷积类型面对这么多卷积变体很多人会纠结到底该用哪个。我个人的判断标准比较简单普通二维卷积默认选择几乎所有图像任务的起点网络都用它。深度可分离卷积模型要部署到边缘设备、对参数量和速度有硬性要求时。膨胀卷积需要大感受野但不想损失分辨率语义分割、语音合成等任务常用。转置卷积需要上采样或者做生成任务时。三维卷积输入是视频或医学体数据时。图卷积数据本身是图结构而不是规则网格时。球面卷积处理全景球面数据且对旋转一致性有要求的专业场景。着手开始一个新任务时我通常先用最经典的普通卷积网络跑通流程、拿到基准然后再根据瓶颈去做替换。如果一上来就去魔改卷积结构很容易陷入“调结构”的无底洞反而忘了真正要解决的问题。6. 实操中的常见翻车现场与排查速查表6.1 尺寸对不上、维度报错是最大高频问题Conv2d的输入维度是 (N, C, H, W)N是batch大小C是通道数H和W是空间尺寸。新手最常见的报错是“Expected 4D input, got 3D input”这是因为直接传了一张单图而没有加batch维度。解决方法是x x.unsqueeze(0)或者用DataLoader时并没有丢batch。还有一个高频问题就是你辛辛苦苦搭完网络到全连接层时发现输入维度不是自己预想的值比如fc1期望64×7×7但实际到了64×8×8。我的习惯是在写forward里加入断言的临时检查比如在展平前打印一下x.shape确认形状再进全连接。训练跑通后再把这些打印删掉。宁可多看几行日志也别在维度报错里挣扎半小时。6.2 一篇障碍排查速查表有些问题频繁出现我直接整理成了一张表方便你快速定位症状可能原因排查方向loss持续不下降学习率过大/过小、数据没归一化、标签有误先试一个小数据集过拟合看是否可行再从学习率入手训练正常但验证集效果差过拟合检查数据增强是否充足尝试加Dropout或权重衰减loss突然变nan梯度爆炸、NaN数据混入打印梯度范数启用梯度裁剪检查输入是否有异常值显存不足输入尺寸过大、batch太大、卷积层数过多降低batch、减小输入分辨率、换深度可分离卷积模型推理很慢浅层卷积计算量过大、参数量过多用torchsummary看FLOPs替换轻量化卷积梯度消失激活函数饱和、深层网络无残差连接换ReLU类激活加BatchNorm加残差结构6.3 一些需要特别提醒的细节一是padding的计算在空洞卷积里的坑。不要直接把“3x3核 padding1 膨胀率2”当成普通3x3处理这时等效核是5x5padding1根本不够输出尺寸会缩小。二是groups参数的作用。很多人看到groups就头疼但记住一句话就够groups输入通道数时是把每个通道单独卷通道之间不混合groups是大于1的普通整数时是把输入输出通道分组各自在组内连接。三是初始化方法。不要每次都直接用默认初始化在深层网络或使用特定激活函数时正确的初始化方法可能直接影响模型能不能收敛。Xavier初始化和Kaiming初始化是两种最常用的方案前者更适合饱和激活函数后者更适合ReLU系列。7. 如果你还想继续深入可以这样扩展7.1 把卷积接进现代架构残差连接与注意力现在几乎不会有网络一个个纯堆叠卷积层。ResNet告诉我们跨层相加的残差连接能有效缓解深层网络梯度消失让几百层甚至上千层的网络都能稳定训练。实现起来非常简洁class BasicBlock(nn.Module): def __init__(self, channels): super().__init__() self.conv1 nn.Conv2d(channels, channels, 3, padding1) self.bn1 nn.BatchNorm2d(channels) self.conv2 nn.Conv2d(channels, channels, 3, padding1) self.bn2 nn.BatchNorm2d(channels) self.relu nn.ReLU(inplaceTrue) def forward(self, x): identity x out self.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out identity return self.relu(out)注意力机制则可以看作给卷积特征“加权重”——让网络更关注哪些位置或哪些通道更重要。SENet就是典型的通道注意力先对特征图做全局平均池化再通过两个全连接层得到每个通道的权重最后加权到原特征图上。这类改动很小的结构往往能在分类、检测等任务上带来稳定提升。7.2 可视化卷积核和特征图让理解更直观如果你跟我一样属于“看得见才信”的派别强烈建议把训练好的模型里第一层卷积核打印出来看看。import matplotlib.pyplot as plt weights model.conv1.weight.data.cpu().numpy() # shape: (32, 1, 3, 3) fig, axes plt.subplots(4, 8, figsize(12, 6)) for i, ax in enumerate(axes.flat): ax.imshow(weights[i, 0], cmapgray) ax.axis(off) plt.show()你会看到很多边缘检测、纹理提取的滤波模板。这比任何理论描述都更直观。如果你想看中间层的特征图只需把前向传播中间结果取出来同样做成热力图。这一步会彻底打通“卷积到底在干嘛”的最后一公里。7.3 实际项目里动手前先明确这几件事很多初学者拿到数据就开始写卷积网络但踩完坑后会发现问题往往不在模型结构而在数据、标签、评估方法上。先明确任务类型分类、检测、分割、生成想好输入输出形状再做数据探索确认图像的尺寸、通道数、量级范围然后搭一个最简单的baseline再逐步升级结构。每一次改动只改一个变量记录它对指标的影响。这样你的每一份实验记录才有意义才能慢慢形成自己的判断力。卷积这个领域发展得太快几乎每过一两年就会有新的结构或高效的注意力模块冒出来。但底层的东西始终没变局部连接、权值共享、多尺度特征、从底层细节到高层语义的层级组织。把今天文章里这些基础概念吃透后续再看Swin Transformer、ConvNeXt、可变形卷积这些进阶结构都会顺畅很多。至少我自己是这么过来的希望这条经验对你也有用。
