模型参数设置M2 于 2025-10-27 开源。参数为 230B 总参10B 激活激活参数占比约 4.3%。 语言模型部分共 62 层全部是 MoE 层没有 dense 层。模型宽度 3072每层 256 个本地专家每个专家的中间维度是 1536。词表 200,064词嵌入与 LM head 不共享权重。62 层全注意力M2 的注意力是全注意力。config 的注意力类型列表共 62 项全部取 11 表示全注意力0 表示线性注意力。62 层没有一层用线性注意力。M2 为了减少 KV cache,采用了 GQA48 个 Q 头8 个 KV 头比例 6:1头维度 128。MoE 256 专家 top-862 层全部是 MoE 层。每层 256 个本地专家每个 token 激活分数最高的 8 个专家。路由与聚合可以写成其中 是当前 token 的输入向量宽度 3072 是路由矩阵3072×256 是 sigmoid 激活 是专家 的路由分数 是专家 的可学习偏置 是分数最高的 8 个专家集合 是专家 的前馈输出中间维度 1536 是该层的输出。偏置 只影响 top-8 选择选中后权重仍用原始 sigmoid 分数M2 没有 shared 专家输出全部来自这 8 个被选中的专家辅助负载均衡损失的系数很小。M2 的专家内部前馈用标准 SwiGLU 激活到 M3 改成 SwiGLU-OAI。位置编码位置编码是 partial RoPEhead_dim 128 中只旋转 64 维rotary_dim64partial 因子 0.5不旋转的 64 维保留原始表示。可理解为旋转维度携带位置信息、不旋转维度保留更偏内容的表示。64 个旋转维度组成 32 对每对共享一个频率第 i 对的频率为其中 是 RoPE 的基频base 参数5e6 是频率分量序号0 到 31 越大频率越低64 是参与旋转的维度数 是第 对的旋转频率位置 上这一对维度的旋转角为 弧度/位置步。 越大所有频率越低、能区分的距离越远。取 5e6 后最低频分量的周期约为 1900 万 token远超 1M长距离位置仍可区分。M2.7 同一架构的后训练版本非参数规模扩大M2.7 不是参数规模扩大。官方技术报告把 M2、M2.5、M2.7 描述为同一底座上经 agent 驱动的后训练逐代迭代的版本能力提升并非来自扩大模型规模而是来自 agent 驱动的 data pipeline、Forge RL 与自进化等后训练手段。这也解释了为什么下文的 M3 与它们对比时层数、宽度、MoE、上下文都变了——M3 是更换架构而 M2.7 不是。模型参数设置M2.7 的 config 与 M2 基本一致62 层、宽度 3072、256 专家 top-8、无 shared 专家、GQA 48 个 Q 头、8 个 KV 头、theta 5e6、词表 200,064。唯一的实质差异是位置上限从 196,608 提到 204,800。M3 架构解析总览语言模型部分共 60 层每层的注意力和 MLP 是两套独立配置前 3 层用全注意力 dense MLPFFN 中间维度 12288后 57 层用 MSA 稀疏注意力 稀疏 MoE128 专家。宽度 6144GQA 为 64 个 Q 头、4 个 KV 头16:1位置编码仍是 partial RoPE128 维中只旋转 64 维theta 仍取 5e6位置上限 1,048,576即 1M 上下文。与 M2、M2.7 相比M3 换了一代架构架构变化如下注意力从全注意力改为 MSAMoE 从 256 专家 top-8 无 shared 改为 128 专家 top-4 加 1 个 shared 专家宽度从 3072 翻倍到 6144层数从 62 减到 60上下文从约 192K、200K 提到 1M新增视觉模块QK-Norm 从按层作用改为按头作用。MSA 解析索引分支Index Branch。论文的定义是每个 GQA 组一个索引 query 头、K 侧一个跨组共享的索引 key 头其中 是输入hidden states形状 为序列长度、 是索引分支的两个投影矩阵 的形状 表示每个 GQA 组一个索引 query 头 的形状 表示单头共享索引 key。是 KV 头数M3 是 4即 4 个 GQA 组 是索引头维度128。对每个 query 位置和组索引分支先给因果可见的 key token 打分再按块取最大值block max-pooling得到块分数选分数最高的 块其中 是 query 位置 是块编号 是 key token 位置且满足 因果 是位置 与 key 的索引分数 是块 的块分数块内所有可见 token 分数的最大值是组 在位置 选中的块集合。local 块的处理论文写得很明确query 所在块恒被选入它在 块预算内占一个名额剩下 个名额由索引分支按分数选。同一 GQA 组内的 query 头共享这份选择。nowcoder.com/discuss/941882005409615872nowcoder.com/discuss/941882005409615872/nowcoder.com/discuss/941882185328386048nowcoder.com/discuss/941882185328386048/nowcoder.com/discuss/941882431240478720nowcoder.com/discuss/941882431240478720/
