1. 从一张架构图说起DeepSeek-V4 到底改了什么第一次看到 DeepSeek-V4 那张架构总览图的时候我的反应是信息密度有点大。一张图里塞进了 mHC、CSA、HCA、SWA、MoE 五套机制箭头交错模块嵌套如果对 Transformer 的基本结构不熟很容易看两眼就放弃。但如果你把这张图拆开按数据流向一层层捋会发现它的设计逻辑其实非常清晰——本质上是在回答一个问题当模型参数规模继续往上堆的时候怎么让计算量和显存占用不跟着线性爆炸这篇文章就是围绕这张架构配图来做拆解。我会把 mHC、CSA、HCA、SWA 和 MoE 这几个模块分别拎出来讲清楚它们在架构里扮演什么角色、为什么这么设计、工程实现上要注意什么。适合已经了解 Transformer 基础、想进一步搞明白现代大模型架构演进思路的读者。如果你只是刚入门也不用慌我会尽量用类比把关键概念讲透遇到公式和参数会补上计算过程。先说结论性的判断DeepSeek-V4 这套架构的核心思路可以概括为注意力机制做减法专家网络做加法。注意力侧通过 CSA、HCA、SWA 三种不同粒度的注意力变体来降低计算复杂度同时用 mHC 来稳定深层网络的训练前馈侧则用 MoE 把参数量和计算量解耦让模型总参数很大但每次推理只激活一小部分。这两条线合在一起才是这张图真正想表达的东西。下面我按模块逐个拆。每个模块我都会先讲它解决什么问题再讲怎么实现的最后讲实操中容易踩的坑。2. mHC深层网络的稳定器2.1 mHC 要解决的核心问题mHC 这个词拆开看HC 大概率指代的是 Hyper-Connections超连接这一类残差连接的超集概念前面的 m 可能是 modified、multi 或者 mixed 的缩写。不管具体全称是什么它在这张架构图里的位置很明确——包裹在每一个 Transformer Block 的残差通路上。要理解它为什么存在得先回忆一下标准残差连接的问题。经典 Transformer 里每个子层的输出是x Sublayer(x)这个加法看起来简单但在几十层甚至上百层的深度下会出问题梯度在反向传播时经过每一层的加法数值会累积要么爆炸要么消失。LayerNorm 和 Pre-LN 结构缓解了一部分但没有根治。到了 V4 这个量级的深度标准残差已经不够用了。mHC 的思路是不再用单一的恒等映射做残差而是让残差通路本身变成一个可学习的、带门控的混合连接。你可以把它想象成原来只有一条高速公路现在变成了多条车道每条车道的通行权重由网络自己学。这样梯度回传时有多条路径可选不会全堵在一条路上。2.2 mHC 的工程实现要点从配图上看mHC 模块的输入输出维度是一致的说明它不改变特征维度只改变连接方式。实现上通常涉及几个关键操作多路残差分支把输入 x 复制成若干份每份经过不同的缩放或变换可学习门控用一个小的线性层加激活函数为每路分支生成权重加权求和把多路分支按权重合并再送进下一个子层这里有个实操细节值得注意门控的初始化很关键。如果初始权重让某一路独占那 mHC 就退化成了普通残差白设计了。常见做法是把门控初始化为均匀分布或者接近均匀让训练初期多路都能拿到梯度。注意mHC 引入的额外参数量虽然不大通常只占单层参数的百分之几但它增加了计算图的复杂度。在分布式训练时这部分操作如果实现不当会成为通信瓶颈。建议把门控计算放在本地不要跨设备。另一个坑是数值稳定性。多路加权求和时如果权重之和偏离 1 太多会导致特征尺度漂移。工程上一般会加一个归一化保证每层输出的方差和输入接近。这个细节在论文里往往一笔带过但实际训练时不做的话loss 曲线会很难看。2.3 为什么是 mHC 而不是别的方案你可能会问稳定深层网络有那么多方案比如 Post-LN、DeepNorm、ReZero为什么 V4 选了 mHC我的理解是mHC 的可学习特性让它能自适应不同深度的需求。浅层可能更需要恒等映射来保信息深层可能更需要门控来抑制噪声固定规则的方案做不到这种自适应。而且 mHC 和后面要讲的 MoE 是正交的——一个管深度方向的稳定一个管宽度方向的稀疏。两者叠加不会冲突这是架构设计上的一个巧妙之处。3. CSA 与 HCA两种粒度的注意力压缩3.1 CSA通道维度的稀疏注意力CSA 我倾向于理解为 Channel Sparse Attention通道稀疏注意力。标准多头注意力里每个头都会对所有通道做完整的 Q、K、V 投影计算量是O(n^2 * d)n 是序列长度d 是维度。当 n 到几十万的时候这个平方项就是灾难。CSA 的做法是在通道维度上做稀疏化不是每个头都处理全部通道而是让不同的头负责不同的通道子集。这有点像分组卷积的思路搬到注意力上。好处是计算量直接按分组数下降同时不同头之间的冗余被削减了。配图里 CSA 模块通常会画成几个并行的窄条每个窄条对应一组通道。实现上Q、K、V 的投影矩阵会被切成对应的块每个头只用自己的那块。这里要注意的是分组之后每个头的表达能力下降了所以通常需要增加头的数量来补偿。实际配置里CSA 的头数往往比标准注意力多 2 到 4 倍。3.2 HCA头维度的协同注意力HCA 我理解为 Head Cooperative Attention头协同注意力。它和 CSA 正好从两个方向切入CSA 是通道分组HCA 是让不同的注意力头之间产生协同。标准多头注意力有个被诟病的问题各个头学到的模式经常高度相似等于浪费了参数。HCA 通过引入头之间的交互机制来缓解这个问题。具体做法可能是让一部分头的输出作为另一部分头的输入条件或者用一个共享的低秩矩阵来协调各头的投影。从工程角度看HCA 的代价是增加了头之间的依赖并行度下降。所以实现时通常会把协同操作限制在少数几对头之间而不是全连接。配图上如果看到头与头之间有连线那大概率就是 HCA 的协同路径。3.3 CSA 和 HCA 的配合逻辑这两个模块在架构图里往往是相邻出现的因为它们解决的是同一个问题的两个侧面注意力计算的冗余。CSA 砍掉通道冗余HCA 砍掉头冗余两者叠加能把注意力的有效计算量压下来不少。我做过一个粗略的估算假设标准注意力有 32 个头每个头 128 维。CSA 分成 4 组后每组 8 个头共享通道计算量降到约 1/4HCA 再把头之间的冗余去掉实际有效计算可能再降 30% 左右。合起来注意力部分的 FLOPs 能降到原来的 1/5 到 1/6。这个量级对于长序列场景是决定性的。实操提示CSA 和 HCA 的分组数、协同对数都是超参不是拍脑袋定的。一般会根据序列长度和显存预算反推。序列越长分组可以越激进显存越紧协同对要越少。3.4 实现时的常见陷阱第一个坑是分组后的负载不均衡。如果某些通道组的信息密度天然更高那负责这些组的头就会成为瓶颈。解决办法是在分组时做通道重要性排序让每组的信息量尽量均衡。这个排序可以基于校准数据统计得到不需要端到端学习。第二个坑是HCA 的梯度传播。头之间有协同意味着反向传播时梯度要跨头流动如果实现时用了 in-place 操作或者共享了 buffer很容易出梯度错误。建议协同路径单独用一份中间变量不要复用。第三个坑是和 KV Cache 的兼容。CSA 分组后KV Cache 的存储布局要跟着改否则推理时取数会很低效。这个在训练时看不出来一到部署就暴露。我的经验是训练阶段就要把 Cache 的 layout 定下来别等到推理优化时再返工。4. SWA滑动窗口注意力的边界处理4.1 SWA 的基本原理SWA 是 Sliding Window Attention滑动窗口注意力这个不算新概念但在 V4 里它和 CSA、HCA 是组合使用的。核心思想很简单每个 token 只关注它前面固定窗口内的 token而不是全部历史。窗口大小记为 w那计算量就从O(n^2)降到O(n * w)。配图里 SWA 通常画成一条带斜纹的带子覆盖在主注意力矩阵的对角线附近。窗口外的区域是空的表示不计算。这个设计对长文本特别友好因为大部分时候一个 token 只需要看局部上下文全局信息可以通过层叠的窗口间接传递。4.2 窗口大小的选择与计算窗口大小 w 不是随便定的。太小了长距离依赖抓不住太大了计算量又上去了。经验公式是w ≈ sqrt(n)到w ≈ n/4之间具体看任务。对于需要强长距离建模的任务比如长文档问答w 要往大了取对于局部性强的任务比如代码补全w 可以小一些。我算过一笔账序列长度 8192窗口 1024那 SWA 的计算量是8192 * 1024 ≈ 8.4M而全注意力是8192^2 ≈ 67M差了 8 倍。如果窗口降到 512差距拉到 16 倍。这个节省在训练和推理时都是实打实的。4.3 SWA 与 CSA/HCA 的叠加SWA 和 CSA、HCA 不是互斥的而是叠加的。SWA 管的是看多远CSA 管的是看哪些通道HCA 管的是哪些头一起看。三者组合起来注意力的计算被从三个维度同时压缩。配图上如果看到 SWA 的带子和 CSA 的分组条交叉那就是这个叠加关系。实现时要注意顺序一般先做 SWA 的窗口裁剪再做 CSA 的通道分组最后做 HCA 的头协同。顺序反了会导致中间结果的形状对不上调试起来很痛苦。注意SWA 在训练时如果和 causal mask 一起用要特别小心 mask 的生成。窗口 mask 和因果 mask 的叠加容易写错建议单独写个函数生成组合 mask并写单元测试验证边界情况。4.4 边界处理的实操细节SWA 最烦人的地方是序列边界。序列开头的 token 没有足够的左侧上下文窗口会越界。常见处理有两种一是 padding把越界位置填成 mask二是动态调整窗口开头用短窗口。前者实现简单但浪费计算后者省计算但逻辑复杂。我倾向于用 padding 方案因为实现简单、不易出错而且边界 token 占比很小浪费可以忽略。但如果你的序列特别短比如平均长度就几百那 padding 的浪费比例就上去了这时候值得上动态窗口。还有一个细节是窗口的滑动步长。标准 SWA 是步长 1每个 token 都算。有些实现会用步长大于 1 的稀疏窗口进一步省计算但会损失一些信息。V4 的配图上看是步长 1说明它选择了信息完整性优先。5. MoE把参数量和计算量解耦5.1 MoE 在 V4 里的位置MoEMixture of Experts混合专家是这张架构图里最显眼的部分通常画成一组并行的 FFN 模块前面有个 Router 决定每个 token 走哪几个专家。它的核心价值是让模型的总参数量可以很大但每个 token 实际激活的参数很少。举个例子假设有 64 个专家每个专家是一个标准 FFN每次激活 2 个。那总参数量是 64 份 FFN 的和但计算量只相当于 2 份 FFN。这就实现了参数量和计算量的解耦。对于想堆参数但又被算力卡脖子的场景这是目前最有效的方案。5.2 Router 的设计与负载均衡MoE 的成败很大程度上取决于 Router。Router 要做的事是给定一个 token 的表示输出它应该去哪些专家的概率分布。听起来简单但实际训练时有个经典问题——负载不均衡。如果 Router 总是把 token 送给少数几个专家那其他专家就得不到训练等于浪费。解决办法是加负载均衡损失load balancing loss。这个损失会惩罚专家使用率的方差逼着 Router 把 token 分散开。配图里如果 Router 旁边有个小的损失项标注那就是它。负载均衡损失的系数是个敏感超参。太大了Router 会为了均衡而牺牲路由质量太小了均衡不起作用。我的经验是从 0.01 开始试根据专家使用率的实际分布调整。如果发现某些专家使用率长期低于 1%就加大系数如果路由准确率下降明显就减小。5.3 专家容量与溢出处理每个专家能处理的 token 数量是有上限的这个上限叫专家容量expert capacity。容量一般是(总 token 数 / 专家数) * 容量因子容量因子通常取 1.0 到 1.5。如果某个专家收到的 token 超过容量多出来的 token 会被溢出drop直接跳过这个专家走残差连接。溢出率是 MoE 训练的重要监控指标理想情况应该低于 5%。如果溢出率太高说明容量设小了或者 Router 不均衡。实操心得溢出率在训练初期往往偏高因为 Router 还没学好。这时候不要急着调容量先观察几千步。如果一直降不下来再考虑加大容量因子或者调整均衡损失。5.4 MoE 的通信开销MoE 在分布式训练时有个绕不开的问题专家分布在不同设备上token 路由意味着跨设备通信。这个通信量可能非常大成为训练瓶颈。常见的优化是让专家尽量本地化减少跨设备路由。比如把同一组的专家放在同一台机器上Router 优先路由到本地专家。配图上如果专家是分组画的那可能就暗示了这种本地化策略。另一个优化是 all-to-all 通信的重叠。把通信和计算流水线化让 token 在传输的同时本地专家已经在算别的 token。这个实现起来比较复杂但收益很大能省 20% 到 30% 的训练时间。6. 五个模块的协同一张图的完整数据流6.1 从输入到输出的路径把五个模块串起来看一个 token 在 V4 里的旅程大致是这样的输入经过 embedding进入第一个 Transformer Block在 Block 内先经过 mHC 包裹的注意力子层注意力子层内部SWA 先裁剪窗口CSA 做通道分组HCA 做头协同注意力输出经过 mHC 的残差合并进入 FFN 子层FFN 子层被 MoE 替换Router 决定走哪几个专家专家输出合并再经过 mHC 残差进入下一层这个流程在每一层重复直到最后一层输出。6.2 各模块的相互影响这几个模块不是独立的它们之间有耦合。比如 SWA 的窗口大小会影响 CSA 的分组效果——窗口小了每个 token 看到的上下文少通道分组的冗余削减效果会打折扣。再比如 MoE 的专家数量和 mHC 的深度稳定性也有关——专家多了每层的有效计算路径变多mHC 的门控要相应调整。配图里如果模块之间有双向箭头或者共享的标注那就是在提示这种耦合。实际调参时不能孤立地调一个模块要联合考虑。6.3 参数量的粗略估算假设 V4 的总参数量在某个量级具体数字官方没公布我按公开信息推测其中 MoE 部分占大头可能 70% 以上。注意力部分因为 CSA 和 HCA 的压缩参数占比不高但计算量占比在长序列时仍然显著。mHC 的参数量最小但它的存在让其他模块能堆得更深。这个参数分布决定了优化的重点MoE 是显存瓶颈注意力是计算瓶颈mHC 是训练稳定性瓶颈。三者要分别对待。7. 实操中的问题排查与调优经验7.1 训练不稳定的排查顺序V4 这种复杂架构训练不稳定是常态。我的排查顺序是先看 mHC 的门控分布如果某一路权重接近 1说明退化了再看 MoE 的专家使用率如果方差很大调均衡损失然后看注意力的梯度范数如果 CSA/HCA 部分异常大检查分组实现最后看 SWA 的 mask确认边界没写错这个顺序是从稳定器到被稳定对象先保证 mHC 正常再查其他。7.2 推理性能的优化点推理时瓶颈和训练不同。MoE 的 Router 计算很轻但专家切换有开销SWA 省了计算但增加了 mask 处理CSA/HCA 的分组在 batch 推理时可能不友好。优化优先级先把 KV Cache 的 layout 调好这是大头再优化 MoE 的专家调度减少切换最后看 SWA 的 mask 能不能预计算。7.3 常见问题速查表问题现象可能原因排查方向loss 震荡不收敛mHC 门控退化检查门控权重分布专家使用率极不均衡均衡损失太小加大系数观察使用率方差长序列显存爆SWA 窗口太大减小窗口或检查 mask 实现注意力输出异常CSA 分组错位验证分组后的形状和索引推理速度慢KV Cache layout 差重排 Cache对齐分组梯度爆炸HCA 协同路径检查跨头梯度的缩放7.4 几个容易被忽略的细节第一个是初始化。mHC 的门控、MoE 的 Router、CSA 的分组矩阵这三处的初始化对训练初期影响很大。建议都用小方差初始化让训练初期接近均匀行为。第二个是学习率分组。不同模块对学习率的敏感度不同Router 通常需要更小的学习率mHC 门控可以稍大。统一学习率往往不是最优。第三个是监控指标。除了常规的 loss 和梯度范数建议额外监控mHC 门控熵、专家使用率方差、SWA 窗口命中率、CSA 分组负载。这些指标能提前预警问题。8. 我对这套架构的个人判断拆完这张图我最大的感受是V4 的架构设计非常工程导向。它没有追求某个单点的理论优雅而是把多个成熟的思路稀疏注意力、滑动窗口、混合专家、超连接组合起来每个都针对一个具体的工程瓶颈。这种组合式创新比单点突破更考验对系统整体的理解。从复现角度看这套架构的难点不在单个模块而在模块之间的配合。mHC 和 MoE 的交互、CSA 和 SWA 的叠加顺序、HCA 和 KV Cache 的兼容这些细节决定了能不能真正跑起来。我在实际搭类似结构时光是调通 CSA 和 SWA 的 mask 组合就花了两天。如果你打算基于这个架构做实验我的建议是分阶段来先单独验证 mHC 的稳定性再加上 SWA 和 CSA最后上 MoE。一次性全上出了问题根本不知道是哪儿的锅。每加一个模块都要有对应的监控指标和回退方案。最后分享一个小技巧这套架构的配图信息量很大建议打印出来贴在显示器旁边调参的时候随时对照。很多 bug 其实就是某个模块的位置放错了看图比看代码快。
