我是在2018年第一次认真把《Attention Is All You Need》读完的。那会儿团队里的序列建模主力还是LSTM机器翻译、文本分类、摘要生成几乎全是它的天下。后来我在一个翻译任务上做了一轮对比实验把编码器换成 Transformer训练速度直接上了一个台阶效果也稳了不少。从那时起Transformer架构的每一次核心算法调整我都会认真跟一遍。这篇内容我打算以“演进”为主线把自注意力、多头机制、位置编码这些底层算法拆开讲清楚再聊聊稀疏注意力、线性注意力、Swin 这些变体到底在优化什么最后分享一些手写和调参阶段的实测经验希望能给正在入门或者想深入理解 Transformer 的同学一点参考。1. 从循环到自注意力Transformer 到底改了什么东西1.1 循环神经网络的三个坎在 Transformer 出现之前处理序列数据的主流方案是 RNN 和它的两个改进版LSTM、GRU。它们的核心思想是“逐步消化信息”——把序列里的元素一个一个喂进网络靠隐藏状态把之前的信息带到后面。这种方式在处理短序列时表现不错但一遇到长文本就暴露问题。第一个坎是长距离依赖。假如让 LSTM 记住一段话的开头信息然后跨越几百个 token 再使用它经过多轮门控计算后信息被反复取舍能留下的已经很少了。梯度在反向传播时也存在类似问题连乘效应会让较早位置的梯度变得极小训练自然就难上去。就算 LSTM 和 GRU 通过门控机制缓解了梯度消失本质上仍然没有跳出“串联”的限制。第二个坎是并行性差。循环神经网络的每个时间步都依赖前一个时间步的输出所以它没法像卷积网络那样一个 batch 直接并行算完。训练 Transformer 之后你会发现同样规模的语料用 LSTM 跑要几天用 Transformer 不用那么久原因倒不全在模型结构本身而是 GPU 的利用率差太多了。第三个坎是建模方式“局部化”。在 LSTM 眼里当前时刻主要参考的是最近几个时刻的隐藏状态这给它带来了很强的顺序偏好。可很多 NLP 任务需要的是全局信息——比如判断一个句子里“苹果”是指水果还是公司必须去看句子后面出现的词。循环架构天然不擅长这类全局互动。1.2 自注意力机制一次全局建模的尝试Transformer 给人的第一印象是“彻底抛弃循环”只用注意力机制来捕捉序列内部的关系。这就是核心算法演进最关键的一步把串行计算改成并行计算把局部视野改成全局视野。怎么理解自注意力我常用的一个类比是你把手里的问题清单递给所有候选答案让每个答案自己说明跟问题有多少关联再按关联程度把内容汇总回来。这个“关联程度”是模型自己学出来的不用人工指定。对一段文本来说每个词都会跟序列里所有词算一遍关联度然后按关联度加权融合所有词的信息所以一次计算就能覆盖整个序列。这样做带来的变化是本质性的。长度 500 的序列RNN 要按顺序走 500 步才能把所有信息串起来Transformer 里每一个 token 一步就能“看到”其余 499 个 token信息交互效率完全不同。代价也非常明显传统自注意力的计算复杂度是 O(n²)序列越长花销越大。这也是为什么后来演进方向里大量工作都在解决注意力机制在大长度下的效率问题这部分后文会细聊。从工程角度看自注意力还有一个容易忽视的优点它是“排列可变”的也就是打乱输入顺序后如果不加额外信息结果不会变。这既是好事也是坏事。好事是它天然适合捕捉非顺序依赖坏事是它完全丢失了位置信息所以 Transformer 必须额外注入位置编码来做“补救”。这个细节是很多人手写实现时踩坑最重的地方后面我会专门展开。2. 核心算法拆解那些被反复引用的公式到底怎么设计出来的2.1 Scaled Dot-Product Attention为什么非要缩放 √d_k绝大多数 Transformer 变体核心公式都是这一个Attention(Q, K, V) softmax(QKᵀ / √d_k) VQ 是查询K 是键V 是值。通俗讲Q 相当于“我在找什么类型的信息”K 相当于“每个位置自带的信息标签”V 相当于“每个位置真正的内容”。QKᵀ 算出来的点积越大说明查询与标签匹配度越高softmax 之后就会给这个位置更高的注意力权重最后用这些权重对 V 做加权求和。为什么要除以 √d_k这是很多初学者第一个问的问题。假设 Q 和 K 每个分量的期望都是 0、方差都是 1那么两者做内积后结果的期望是 0方差会变成 d_k。也就是说当 d_k 变大时点积结果的尺度也会变大。点积数值一大softmax 就会进入饱和区这会产生两个问题一是梯度会变得非常小训练效率极低二是有没有加缩放注意力分布会非常陡峭几乎变成 one-hot 形式模型就失去了“软”注意力那种平滑加权的表达能力。除以 √d_k 之后点积的方差被拉回 1 左右softmax 不会过度饱和模型能学到更细致的注意力分布。这个设计看着不起眼但在我调过的不少模型里去掉缩放因子训练几乎都不稳定。2.2 Multi-Head Attention多头到底在做什么单一注意力有个局限它只能计算一种“匹配关系”。可真实文本里的关系是多种多样的——可能是句法关系可能是指代关系也可能是语义相关性。为了捕捉这些不同维度的关系论文提出把 Q、K、V 分别投影到多个子空间里各自做注意力再把结果拼起来这就是 Multi-Head Attention。我用一个比较生活化的方式来理解多头机制。就像你开一个侦探会一个侦探盯着时间线一个侦探盯着人物关系一个侦探盯着地点切换最后大家把发现汇总到一起就能还原出全貌。每个注意力头其实就是在学一种“匹配规则”有的头可能对局部 n-gram 敏感有的头可能对远距离核心词敏感它们的分工不是人为设定的是训练中自己分化出来的。从数学实现上看多头注意力的计算方式是把头的数量 h 作为一个维度把 d_model 维的输入拆成 h 份每份 d_k d_model / h各自做 Scaled Dot-Product Attention然后拼接并通过一个线性层融合。这种操作放在 GPU 上可以完全并行几乎不增加额外的计算负担这也是多头发明的精妙之处。实际使用中头的数量并不是越多越好。我见过不少项目把 h 从 8 改成 16、32结果训练变慢不说效果有时候反而会下降因为每个头分到的维度太少表达能力不足。一般还是按论文默认来d_model512、h8 是一个比较稳的组合。2.3 位置编码与网络主体少了哪块都转不起来自注意力是“不认位置”的所以 Transformer 必须显式告诉模型每个 token 在序列里的位置。原始论文用的是 sin 和 cos 函数生成一组确定性的位置向量PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))这种设计有两个好处一是不用学习省参数二是理论上能把模式推广到比训练序列更长的位置。实际跑下来你会发现位置编码的数值在长序列里会变得非常小对位置变化的区分度下降所以在一些长文本任务里很多人会改用可学习的位置编码也就是直接把位置索引映射成可训练的向量。Transformer 主体除了多头注意力还有两个关键组件前馈网络和层归一化。每个 Transformer Block 里经过注意力后会把结果喂进一个两层 MLP通常是 4 倍 d_model 的宽度中间用 ReLU 激活然后再做一次残差连接和 LayerNorm。前馈网络的作用是对注意力输出做非线性变换和特征增强它占据了模型大部分参数某种意义上承担了“存储记忆”的功能。关于 LayerNorm 的位置也值得一提。原始论文用的是 Post-LN也就是“注意力/FFN - 残差 - LayerNorm”的顺序。但很多人在训练深层 Transformer 时发现 Post-LN 容易出现训练不稳定的问题于是后续 GPT、BERT 的很多实现改成了 Pre-LN也就是“LayerNorm - 注意力/FFN - 残差”。Pre-LN 训练更稳收敛更快但表达能力理论上略弱一些。我自己的实践是层数浅的话两者差别不大层数深了还是 Pre-LN 省心。3. 算法演进的主线从原始论文到三大变体方向3.1 两条主流血脉Encoder 双向与 Decoder 自回归Transformer 原始结构是 Encoder-Decoder但后续演进很快分化出两条独立的血脉。一条是 Encoder-only 的双向理解模型代表是 BERT另一条是 Decoder-only 的自回归生成模型代表是 GPT 系列。今天绝大多数大语言模型走的是后者的技术路线。BERT 的做法很取巧去掉 Decoder只保留 Encoder用“完形填空”的方式做预训练。输入句子时随机遮挡一些 token让模型预测被遮住的词由于 Attention 能同时看到左右两侧的上下文所以它是双向的。这种设计特别适合语义理解任务比如文本分类、命名实体识别、句对匹配。我早期做分类任务时用 BERT 直接替换 LSTM 和词向量组合方案效果提升非常明显而且稳定。GPT 则只保留 Decoder并且用“预测下一个词”做预训练。它在自回归解码时引入了因果掩码也就是当前位置只能看到它之前的位置不能偷看未来。很多人觉得这种单向设计在理解上吃亏但当模型规模足够大时自回归目标反而能倒逼模型学到更强的语言模式。从 GPT-3 开始这条路线一路崛起最终成为大模型时代的主流底座。这两条血脉也说明了 Transformer 是名副其实的“万能框架”——同一个核心算法既能做理解也能做生成关键在于任务形式和注意力掩码怎么设计。理解这个之后你就会发现很多变体其实只是在掩码结构、输入输出头上有差异底子还是那套自注意力体系。3.2 高效注意力稀疏化、线性化与算子级优化原始自注意力的 O(n²) 复杂度在长文本场景是个大问题。Sequence 长度从 512 涨到 8192、16384 时显存和计算量会爆炸式增长所以高效注意力成了一个庞大的演进分支大致有三条路。第一条路是稀疏注意力。代表工作是 Longformer 和 BigBird。它们的想法很简单不是所有位置都两两计算注意力而是让每个 token 只跟邻近窗口内的 token、以及少量全局 token 计算注意力。这样复杂度从 O(n²) 降到了 O(n)。代价是实现复杂稀疏 mask 的访问模式会影响 GPU 的计算效率实际加速往往达不到理论预期。第二条路是线性注意力。代表工作是 Performer 和 Linear Transformer。它们把 softmax 核函数近似成可用矩阵乘法顺序换换展开的形式也就是用核方法把 QKᵀ 先算变成先算 KᵀV 再与 Q 相乘把复杂度降到 O(n)。这类方法理论上优雅但实际实现时的近似误差会影响模型精度在精度敏感的任务上需要多花功夫调。第三条路是算子级优化。代表是 FlashAttention。它没有改变注意力计算数学本质而是在 IO 层面做了文章——通过分块计算避免把完整的注意力矩阵写回显存让计算在 GPU 的 SRAM 上完成合并显著减少显存占用和 IO 开销训练速度也随之提升。这条路线是我现在最推荐的算法不变、模型不改只改工程实现就能拿到明显收益而且效果无损。3.3 跨领域改编ViT、Swin 与多模态融合Transformer 的另一条演进方向是跨出 NLP 边界。ViT 把图片切成固定大小的 patch把每个 patch 当成一个“token”送进 Encoder成为计算机视觉领域第一个大规模成功的纯 Transformer 模型。Swin Transformer 在此基础上引入了层次化金字塔结构和窗口注意力先把特征图分成不重叠的窗口在每个窗口内做注意力再在相邻层之间做窗口偏移让信息能跨窗口流动。Swin 的高明之处在于它解决了 ViT 的两个痛点一是计算复杂度不再随图像尺寸平方增长而是线性增长二是特征从局部到全局的层次结构与 CNN 体系更兼容适合做检测、分割这类需要多尺度特征的任务。我在一次语义分割项目里试过把 ResNet 骨干换成了 Swin-T配合简单的 FPN 头mIoU 提升了好几个点验证了它在稠密预测任务上的价值。同样值得关注的还有多模态融合 Transformer。多模态融合 Transformer 会把文本 token 和图像/视频特征统一投影到同一个特征空间再做跨模态注意力。比如遥感图像语义分割任务里模型同时接收图像特征和地理位置/时间等辅助信息用多层级融合模块让两种模态的特征相互修正。这类方法的演进方向本质上是让 Transformer 的注意力机制充分发挥跨模态关联能力。4. 实操记录手写小型 Transformer 与调试心得4.1 手写时最容易翻车的三个细节“纸上得来终觉浅”如果你一直只调现成库很难理解 Transformer 内部细节。我强烈建议手写一个极简版本哪怕只在玩具任务上跑通。写的时候有三个细节最容易出问题。第一个是掩码处理。Transformer 里有两类掩码padding mask 和 casual mask。Padding mask 是把填充位置的注意力权重设为“无效”标准做法是在 softmax 之前把掩码位置的 logit 加上一个非常大的负数比如 -1e9而不能直接设为 0否则 softmax 会把权重分配到填充位置。Causal mask 用于自回归生成做法是构造一个上三角矩阵把对角线以上的位置全部 mask 掉。很多人把这两种 mask 搞混或者叠加出错导致模型训练时“作弊”或者注意力泄漏。第二个是维度对齐。多头注意力在实现时常需要做 reshape 和 transpose如果你把 batch、head、seq_len 的维度顺序搞乱代码不报错但结果是错的。我一般的习惯是先把 [B, L, D] reshape 成 [B, L, H, d_k]再 transpose 成 [B, H, L, d_k]最后用 einsum 或 matmul 计算每一步都把形状打印出来核对一遍。第三个是参数初始化。Transformer 对初始化比较敏感残差网络的输出分布会叠加。实践里我在残差分支的最后一层线性层上做小标准差初始化或者干脆从零开始先用小模型把整体跑通再慢慢放大 d_model 和层数。直接用默认初始化跑深层模型非常容易出现训练震荡。4.2 用 Transformer 预测正弦数据的完整踩坑热词里有一条是“transformer预测正弦数据”这是个很好的入门实操题但也真的是一个容易让人怀疑人生的任务。正弦函数是周期函数局部信息不够必须让模型看到至少一个完整的周期否则预测会稳定地错半拍。我当初的做法是把数据集按固定窗口切分每个样本用过去 100 个点预测未来 50 个点。先对数据做归一化因为正弦信号范围是 [-1, 1]如果叠加了噪声或者偏移不归一化会让注意力机制把精力浪费在数值大小上。训练时我用的是简单的 MSE 损失优化器选 Adam学习率 1e-3 搭配 warmupbatch size 64模型只用了 2 层、d_model64、4 个头。看起来配置很低吧实际试的时候照样踩坑。第一次跑loss 很快就掉到很低但预测出来的曲线几乎没有波动基本是一条直线。后来排查发现是因为输出窗口太长模型学到的是“输出接近均值”这种保守解。解决办法是把输出窗口从 50 逐步减到 10同时把预测方式改成递归式也就是每次只预测下一个点再把预测结果拼回输入继续往后推。这样效果立刻好了曲线形状能大致跟上但在波峰和波谷附近会有明显的相位偏移。这个例子让我体会很深Transformer 对序列数据的建模能力强但它不是“算命先生”数据窗口和信息充分性必须由实验者自己保证。很多人一上来抱怨模型不行其实往往是把任务设计得不合理。4.3 训练不收敛与显存爆炸的排查速查这里整理一份我在实战中反复用到的排查清单按经验排序命中率从高到低症状最常见原因排查与解决方向loss 不降或震荡学习率过高、warmup 缺失减小 lr加入 warmup 再试loss 下降后发散梯度爆炸加梯度裁剪clip_norm 设 1.0预测结果全是均值输出目标太长缩短输出窗口改为递归预测显存 OOMbatch 过大、序列过长减小 batch梯度累积或使用 FlashAttention训练很慢但 loss 正常自注意力 O(n²) 瓶颈换线性/稀疏注意力或减少头数位置信息没生效忘了加位置编码检查输入是否拼接/叠加了 PE梯度裁剪是我强烈推荐的默认操作。Transformers 在深层堆叠后梯度的范数经常会突然变得很大Adam 虽然能缓解但不如 clip 直接。我几乎每个 Transformer 训练脚本里都会加一行clip_grad_norm_(model.parameters(), 1.0)省了很多不必要的调试。混合精度训练也值得开启。用 FP16 或 BF16 之后显存占用能下降近一半在 RTX 系列上训练速度也能明显提高。只是要注意如果 loss 出现奇怪地跳到 NaN先关掉 AMP 试一试很多时候是部分算子在 fp16 下的数值溢出导致的。我的经验是LayerNorm、softmax 这些组件尽量保持 fp32 计算能避开大部分数值问题。5. 演进仍在继续近期值得关注的方向5.1 状态空间模型与超长序列Transformer 的 O(n²) 复杂度始终是向更长序列推进时的天花板所以近年的演进方向之一是结合状态空间模型。这类模型把序列建模转化为一个“线性时不变系统”的递归计算复杂度是 O(n)同时保留了类似注意力的“选择性信息过滤”能力。这类架构在很多基准上逼近甚至超过同规模的 Transformer但它也面临一个大问题序列顺序固定无法像 Transformer 那样轻松处理多模态和跳步依赖。从算法演进角度来看我不认为状态空间模型完全取代 Transformer更多是激发了一轮“混合架构”探索——比如在某些层保留自注意力在另一些层用高效递归模块替代在不牺牲效果的前提下拉长序列上限。这类讨论在社区里很活跃你也能在不少新发布的模型中看到它们的影子。5.2 工程架构层面的协同演进Transformer 的算法演进不只发生在网络结构内部也深刻影响了一层部署与工程架构。大模型时代模型服务化之后推理系统普遍采用类似“前置代理 动态批处理 流式返回”的服务架构把在线请求按 batch 聚合起来喂给 GPU最大化利用注意力计算的高并行特性。顺着这个角度看你会发现在“LLM API 架构”“AI Agent 主流架构”这些讨论背后底座仍然是 Transformer 及其注意力机制。Agent 系统在用户请求和工具调用之间来回切换每次交互都要经过 token 化、上下文拼接、注意力计算、增量推理这一套流程本质上是让同一个 Transformer 内核高效地处理多轮、多角色的对话序列。我自己做过的不少项目里真正让效果跃升的关键往往不是某个花哨新模块而是把现有 Transformer 的输入组织方式、掩码设计、位置编码策略打磨到位。这也印证了一个朴素的判断核心算法演进从来不是单独某一层的翻新而是结构、优化和工程三方共同推进的结果。回头再看从 LSTM 到 Transformer 是一轮根本性的范式转向从原始 Transformer 到高效注意力、视觉与多模态变体、再到工程架构适配每一步都是在解决前一步遗留的具体问题。如果你正在读代码、改模型、调参数我的建议很简单别急着追新架构先把自注意力里 Q、K、V、mask、位置编码这几个核心环节亲手过一遍哪怕只是在正弦预测这样的小任务上跑通你后续读任何一篇论文都会轻松很多。
