# Efficient Mixture‑of‑Experts with Speculative Decoding via Expert Coactivation 论文总结与翻译 论文arXiv地址：https://arxiv.org/abs/2609.22471## 一、文章主要内容MoE（混合专家模型）结合推测解码（Speculative Decoding, SD）是大模型推理加速的主流方案，但二者直接结合存在显著性能瓶颈。推测解码对稠密模型可以并行验证一批候选token实现提速；但在MoE模型上，验证窗口内的多个token会路由选择各不相同的专家，需要把大量专家权重从内存（DRAM）搬运到NPU/GPU，**内存带宽开销急剧上涨，抵消推测解码带来的加速收益**，甚至出现推理降速的情况。本文从**训练阶段的路由器（router）设计**入手，提出提升**专家共激活（expert coactivation）**，即让推测解码验证窗口内相邻token尽量复用同一批专家，减少需要搬运的独立专家数量。作者通过四组训练策略组合优化MoE路由器：全局负载均衡损失、共享专家、一致性损失、自回归专家选择机制。在十亿参数Transformer模型上开展实验，整套方案相比基线MoE实现**21%吞吐量提升，同时保持精度不下降**。该方法只修改训练流程，不改动推测解码推理算法，可以和推理侧各类优化技术互补使用。## 二、主要创新点1. **问题洞察**：指出MoE+推测解码的性能短板根源不是推测解码本身，而是验证窗口内token专家选择分散，造成DRAM‑NPU之间专家权重传输爆炸；提出核心优化目标：提升专家共激活程度。2. **一套面向专家共激活的训练优化组合**：- 用**全局负载
