Swin Transformer 是近年在计算机视觉CV圈子里绕不开的一个名字。它继承了 Transformer 处理长距离依赖的能力又通过窗口化自注意力把计算复杂度从平方级拉回到线性级同时还天然支持了图像任务最需要的多尺度特征。如果你做过目标检测、语义分割或者图像分类一定体会过那种想换 Transformer 骨干但显存吃紧、小目标效果差的尴尬。Swin Transformer 恰恰是冲着这两个痛点去的。这篇文章我会从设计思路上拆解它的核心机制分析窗口注意力、移位窗口、相对位置偏置到底解决了什么问题再把网络结构和可复现的训练配置讲清楚最后分享一些实际跑模型时踩过的坑和排查经验。无论你是刚接触 Vision Transformer 的新手还是已经在用 ResNet 想换骨干的开发者读完应该都能对 Swin Transformer 有个整体、可落地的理解。1. 从全局到局部Swin Transformer 的设计思路1.1 Transformer 进入视觉时的核心矛盾最早把 Transformer 搬到视觉任务的尝试基本是把图像切成一个个 patch然后像处理 NLP 序列一样直接做全局自注意力。这种方式在分类上确实能拿到不错的结果但一旦碰到检测、分割这类需要稠密预测的任务问题就出来了全局自注意力的计算复杂度是随 token 数量平方增长的。一张 224x224 的图切成 16x16 patch只有 196 个 token还算能扛可换到 512x512 的输入token 数变成 1024复杂度直接翻了几十倍。再叠加特征金字塔的多尺度需求很多设备根本跑不动。另一个矛盾是全局注意力天然是一视同仁的。它会在整张图上搜索每个 patch 之间的相关性却忽略了图像本身具有强烈的局部性——相邻像素之间关系最紧密远处像素有相关性但往往是在语义层面而不是原始像素层面。CNN 通过卷积核天然地建模了局部邻域而 Naive ViT 却把这种先验丢掉了导致它需要更多数据、更大模型才能学回来。Swin Transformer 的设计者正是看准了这两点既要 Transformer 的全局建模能力又要像 CNN 一样有局部归纳偏置和多尺度特征。1.2 分层特征金字塔与窗口化策略如果你用过检测框架会知道特征金字塔几乎是标配。行人检测需要大特征图的位置信息大目标分类需要高层语义所以多尺度是 CV 的刚需。Swin Transformer 借鉴了 CNN 的分层思想把网络划分成四个 Stage每个 Stage 内部特征图分辨率逐渐减半通道数逐渐翻倍。这样输出的特征天然形成 C/2、C、2C、4C 这种金字塔结构可以直接扔进 FPN、PAN 这类 neck 里用不用像 ViT 那样额外设计反卷积或者上采样来适配下游任务。那窗口化又是怎么回事简单说就是把自注意力限制在一个固定大小的局部窗口内。比如把 8x8 的窗口铺满整个特征图每个窗口内部做自注意力窗口和窗口之间互不通信。这样计算复杂度跟输入分辨率是线性关系而且每个 token 只需要关注窗口内的邻居刚好贴合图像的局部性假设。但问题来了窗口之间彻底隔离信息没法跨窗口流转全局建模能力不是废了吗这就需要移位窗口机制来补位。2. 核心机制拆解窗口自注意力与移位窗口2.1 窗口划分与计算复杂度分析先看标准的多头自注意力。假设输入有 N 个 token每个 token 的维度是 d那么计算所有 token 两两之间的注意力分数需要 N×N 的矩阵复杂度是 O(N²·d)。图像越到深层token 数 N 越大这个平方项就会爆炸。Swin Transformer 把特征图分成若干个不重叠的窗口每个窗口固定包含 M×M 个 patch通常是 7x7。假设整张特征图有 h×w 个 patch划分后大约有 N/M² 个窗口窗口内自注意力的复杂度是每个窗口 M⁴·d乘上窗口数量后得到N × M² × d也就是说复杂度从 O(N²) 降到了 O(N)。这里的 M 是常数所以整体是线性的。这就是为什么 Swin Transformer 能处理高分辨率输入的关键原因之一。具体到代码里窗口划分一般通过 reshpe 和 transpose 实现。比如特征图形状是 [B, H, W, C]先把它分块成 [B, H/M, M, W/M, M, C]然后 reshape 成 [B*num_windows, M, M, C]相当于把每个窗口内的 token 拉成一个序列。这样 self-attention 就和普通 Transformer 一模一样了。实际踩坑时要特别注意 reshape 的维度顺序Windows 之间不能错位不然注意力会学到错误的空间关系。2.2 移位窗口的跨窗口信息交流如果把自注意力一直限制在固定窗口内深层 token 就只能感知到很小的一块区域这会严重限制感受野。Swin Transformer 的解决办法是在相邻两层之间交替使用两种窗口划分方式第一层用常规网格划分第二层把窗口整体平移M/2, M/2个 patch这样原本在不同窗口的 token 在下一层就会被分到同一个窗口里信息就能跨窗口流动。多层堆叠后每个 token 的等效感受野可以覆盖全图。但移位窗口会带来一个实际问题窗口数量会从规则的 (H/M) × (W/M) 变成 (H/M1) × (W/M1)多出来的边界区域凑不满一个完整的 M×M 窗口。直接补零或忽略都会引入大量无效计算。论文里用了一个非常巧妙的 trick——cyclic shift就是循环移位把特征图按对角线方向平移让不完整的区块重新拼成规则窗口。这样窗口数量和计算量都不变只需要在下一次移位时对齐回去即可。代码实现时要在 attention 计算里额外添加一个 mask 矩阵把原本不邻接的 token 之间的注意力分数设为 -100 这种极小值防止模型学到虚假关系。这一块是源码中最容易看晕的地方后面调试的时候我会再细说。2.3 相对位置偏置为什么有效窗口自注意力里还有一个容易被忽略但影响很大的组件相对位置偏置relative position bias。普通的 Vision Transformer 会给每个 token 加上绝对位置编码告诉模型你现在在图像的哪里。但 Swin Transformer 用的不是绝对位置而是相对位置偏移表——attention 计算时在相似度分数上加一个可学习的偏置这个偏置取决于两个 token 之间的相对坐标差。为什么相对位置比绝对位置更合适因为图像中存在大量平移等变的结构一个物体出现在左上角和右下角它的局部模式应该是相似的。绝对位置编码会让模型过分关注位置本身而相对位置编码天然具备平移等变性更容易泛化到不同分辨率和不同位置的目标。此外由于窗口划分是局部的相对位置的范围是有限的比如 -6 到 6偏置表的大小也只是 13×13 级别参数量非常小却能带来稳定的性能提升。我自己实验里把相对位置偏置去掉后在检测任务上掉了大约 0.5-1 个点可见其重要性。3. 网络结构与关键配置3.1 整体架构与 StageSwin Transformer 的总体流程可以概括为四段式先是一个 Patch Embedding 模块把图像映射成 patch 序列然后依次经过四个 Stage每个 Stage 由若干个 Swin Transformer Block 组成相邻 Stage 之间通过 Patch Merging 降低分辨率、增加通道。它和 ViT 最大的差异在于ViT 在所有层都保持同样的 token 数量和分辨率而 Swin 是逐阶段降采样像 CNN 一样构建层次特征。每个 Swin Transformer Block 内部由两部分组成基于窗口的自注意力W-MSA和基于移位窗口的自注意力SW-MSA两者交替出现。Block 里还包含 LayerNorm、MLP 和残差连接结构上和标准 Transformer Block 基本一致只是把全局注意力换成了窗口形式。论文在设计时把 attention 和 MLP 的 dim_ratio 都调成了 4也就是 MLP 隐藏层维度是输入维度的 4 倍通道数翻倍。3.2 Patch Embedding 与 Patch MergingPatch Embedding 的作用跟 CNN 里的 stem 类似。Swin 默认把输入图像切成 4x4 patch所以 Patch Embedding 本质上是一个 kernel_size4、stride4 的卷积层输出通道数设为 C。这样后续特征图的分辨率是 H/4 × W/4和很多检测网络的下采样倍率对齐。如果你要处理 224x224 输入第一步之后就是 56x56。Patch Merging 则发生在 Stage 之间。它把特征图按 2x2 的邻域分成一组每组四个 patch 在通道维度上拼接得到 4C 维再经过一个线性层压缩到 2C同时分辨率减半。这个过程很像池化加通道扩展的变体但保留了更多空间细节。要注意的是Patch Merging 对特征图尺寸有要求输入 H 和 W 必须是 2 的整数次幂而且因为 Swin 做了 4x4 的 patch 化整个输入尺寸最好能被 32 整除。我在实际项目中就遇到过输入尺寸没对齐导致后段维度报错的情况后面会专门说。3.3 不同规模的变体与配置表Swin Transformer 提供了从 Tiny 到 Large 的多种变体方便不同算力场景选择。核心配置参数有四个embed_dim也就是 C第一层通道数、每个 Stage 的 Block 数量、多头注意力的头数、以及窗口大小 M。一般窗口大小固定为 7头数从 3 开始逐层翻倍这样能保证每组的头维度一致。常见的几个变体配置大致如下我整理了一张表方便对照模型CBlock 数4个Stage头数参数量约适用场景Swin-T96[2,2,6,2][3,6,12,24]28M轻量分类、检测、实时性要求高Swin-S96[2,2,18,2][3,6,12,24]50M平衡性能与算力Swin-B128[2,2,18,2][4,8,16,32]88M大规模数据集、高精度任务Swin-L192[2,2,18,2][6,12,24,48]197M顶级精度训练成本较高选择时不要只看参数量。Swin-S 和 Swin-B 在结构上相近但 B 的通道更宽同样的 Block 数量下感受野和容量都会更大。如果算力允许Swin-L 在 ImageNet 和检测任务上确实能刷出很亮眼的数据但部署时也要考虑推理延迟。4. 从原理到复现训练与实测要点4.1 参数初始化与学习率策略很多同学从分类模型迁移到检测或分割时会直接加载官方预训练权重。Swin Transformer 的预训练模型是在 ImageNet-1K 或 ImageNet-22K 上训练的迁移效果通常不错。但要注意预训练权重的 shape 和输入分辨率绑定如果你的输入分辨率从 224 改成 384Position Bias 表也需要做插值处理。Swin 官方提供了一个 bicubic 插值脚本但自己改代码时很容易因为维度不匹配报错。建议直接使用官方支持的window_size、img_size参数初始化模型再加载权重不要手动改太多。训练 Swin 时学习率策略和 CNN 骨干不太一样。因为 Transformer 类模型对学习率更敏感通常初始学习率在 1e-4 到 3e-4 之间配合 warmup 和 cosine decay。我常用的做法是先 linear warmup 约 5 个 epoch把学习率从 0 逐步升到目标值再用 cosine 曲线衰减到接近 0。这个策略可以缓解早期训练不稳定也能让模型在后期收敛得更平滑。如果 batch size 变大了学习率也要按比例调整一般遵循线性缩放规则比如 batch size 从 128 倍增到 256学习率也近似翻倍但最好结合验证集观察。4.2 数据增强与正则化选择Swin 相对 ViT 来说对数据增强的依赖没有那么极端但该用的还是要用。分类任务里基本的 RandomCrop、RandomHorizontalFlip 是标配稍微强一点可以用 RandAugment、Mixup、CutMix。在检测和分割任务里多尺度训练尤其有效因为 Swin 的线性复杂度使它能承受更大的输入范围。我试过把输入短边从 480 到 960 随机变化涨点比固定尺度明显不少。正则化方面Dropout 在 Swin 里用得不多因为它的结构本身已经对过拟合比较稳定。但 Drop Path 一定要用一般设置在 0.1 到 0.4 之间模型越大值可以越大。Drop Path 相当于随机丢弃某个 Block 的残差分支相当于一种深度上的 Dropout。如果你发现自己训练出来的模型在验证集上震荡得很厉害很可能是 Drop Path 概率设得太高或者 warmup 不够可以先把它降到 0.1 试试。4.3 显存优化与速度调优Swin Transformer 虽然计算复杂度是线性的但实际训练时显存占用并不低。原因在于窗口内仍然会生成 [B, num_windows, heads, MM, MM] 的注意力矩阵如果 batch size 和窗口数很多中间变量依然可观。我跑 Swin-L 在 8 卡 80G 上可以开到 batch size 16 左右但换到 12G 的消费卡就得降到 2-4。显存不够时有几个有效手段打开梯度检查点gradient checkpointing把某些中间激活值在反向传播时重新计算用时间换显存。通常能省 40% 左右显存但训练速度会下降。混精度训练AMPPyTorch 的torch.cuda.amp可以直接用显存占用能减少 30%-50%而且在 A100 上还能提速。减小窗口大小比如从 7x7 改到 5x5会降低精度但显存和计算都明显减少。这个一般不建议除非实在没办法。速度调优的话有个容易被忽视的点Swin 的窗口化 reshape 操作涉及大量张量维度变换在 CPU 和 GPU 之间切换会严重拖慢速度。写代码时尽量保证所有窗口操作都在 GPU 上完成尽量避免把窗口循环写到 for 里。官方实现用了一个window_reverse来做逆向转换这部分的 tensor 形状要仔细核对。另外推理时如果输入尺寸固定可以把窗口划分、偏置表等预先算好缓存起来能省不少动态计算时间。5. 常见问题与调试技巧5.1 显存不够怎么解决这个问题几乎人人都遇到。除了上一节说的 checkpoint 和 AMP还有一个容易被忽略的点在检测框架里Swin 作为 backbone 会输出四个阶段的特征图中间层特征保存得非常多。如果你用 Detectron2 或 MMDetection 这类框架可以检查一下是否默认开了find_unused_parametersTrue这个选项在 DDP 下会额外占用显存。如果不是每个 loss 都需要所有模型参数梯度尽量别开。还有把 backbone 的frozen_stages设置为 2 或 3冻结前几个 Stage 的梯度可以减少显存和计算迁移训练时通常不损失太多精度。5.2 为什么我的效果不如原论文跑 Swin 时发现复现效果不如论文是很多人的困惑。我自己的经验是先别怀疑模型先检查数据和学习率。Swin 在 ImageNet 上的训练是 300 epoch 起步加上全套增强策略很多人用 100 epoch 就想达到同样精度这基本不可能。对于下游任务预训练权重质量的影响非常大。如果用了官方权重基本上效果是有保障的。如果是从零训练那要保证训练轮次和数据增强足够充足。另一类问题是输入尺寸不匹配Swin 的相对位置偏置表是针对 224x224 训练的如果测试分辨率变成 384需要先对位置偏置表做插值否则性能会明显下降。你可以在加载模型后打印relative_position_bias_table的形状确认它和num_patches是否对应。5.3 与 CNN 或 ViT 如何选择有些场景不一定非要上 Swin。如果你的任务输入分辨率不大、任务简单用 ResNet 或 EfficientNet 反而更方便部署生态成熟、推理快。如果你的任务依赖全局上下文比如一些需要理解图像整体结构的任务标准 ViT保持固定分辨率可能更直接。Swin 更适合那些既需要局部细节、又要多尺度特征的稠密预测任务比如目标检测、实例分割、语义分割。在同等参数量下Swin 在 COCO 和 ADE20K 这类基准上的表现通常明显优于同规模 CNN 和纯 ViT这也是它一度成为检测分割任务默认骨干的原因。从工程角度讲Swin 的另一个优势是它输出的多尺度特征可以直接替换 ResNet无论 Detectron2、MMDetection 还是自定义 pipeline很多框架都有现成 adapter迁移成本很低。5.4 移位窗口 Mask 的实现细节这个是在源码实现时最难理解的部分我特意拿出来单独讲。在做循环移位后特征图的窗口并不是物理上真实相邻的有些窗口包含了来自左上、右下不同区域的 patch。这些 patch 在计算注意力时不能互相看到必须用 mask 把不合法位置遮住。具体做法是为每个窗口计算一个 mask 矩阵值为 0 的位置代表可保留值为一个非常大的负数比如 -100的位置代表要屏蔽。然后把 mask 加到 attention 分数矩阵上再经过 softmax这些位置的权重就趋近于 0。注意这个 mask 是作用在 MM 的二维空间上的shape 是 [num_windows, MM, MM] 或 [Bnum_windows, heads, MM, MM]很多人在这里会把维度搞混。调试时可以用一个很小的随机输入过一遍模型检查输出 shape 是否一致。5.5 一个实战案例自制检测框架集成 Swin我之前在某跨平台系统里做过一个目标检测模块backbone 从 ResNet 换到 Swin-T 后mAP 从 36.8 涨到了 39.1同时推理帧率下降不到 10%。换成 Swin-S 之后 mAP 到 41.2但帧率下降明显。实际落地时用了 Swin-T FPN 自定义检测头输入分辨率 800x1333在 1080Ti 上跑大约 18ms。集成过程中最大的坑是 batch norm 的同步问题因为 Swin 的 LayerNorm 和 CNN 的 BN 行为不同如果你的框架默认冻结了 BNLayerNorm 不受影响但如果自己加了 BN 层就要注意 BN 统计量是否更新。训练阶段和推理阶段 BN 的状态切换要检查清楚否则会出现训练精度高、推理掉点的情况。Swin Transformer 这个架构既保留了 Transformer 在长程建模上的优势又通过窗口机制和层次设计拉近了它与 CNN 的距离所以它能迅速成为视觉领域的主流骨干之一。我自己的经验是理解 Shit 窗口和相对位置偏置是入门的关键而真正让模型发挥价值的是把输入分辨率、预训练权重、学习率策略和数据增强这些细节打磨到位。如果你打算在自己的项目里引入 Swin建议先在小数据集上从 Swin-T 开始跑通整个流程把显存和速度摸清楚再往更大模型迁移。这样踩坑的成本最低也最快能见到效果。
