文章主要内容总结本文聚焦分布式大语言模型（LLM）推理中的通信模式，通过实证分析与解析建模，系统研究了不同并行化策略（张量并行、管道并行、混合并行）在GPU集群中的通信动态。研究背景：LLM推理需分布式计算资源支持，但GPU间通信成为性能瓶颈，尤其在自回归解码阶段，通信开销占比显著高于训练阶段。核心分析：张量并行（TP）：通过分割Transformer层内矩阵运算实现并行，依赖大量All-Reduce等集合通信，网络开销大，但短序列响应时间更优。管道并行（PP）：将模型层分布到不同GPU，通过点对点通信传输激活值，数据传输量小，但总延迟较高（因“管道气泡”等问题）。混合并行：结合TP和PP，需平衡集合通信与点对点通信，需精细调优以避免性能失衡。实验与发现：基于vLLM框架和Llama系列模型的实验表明，解码阶段因自回归特性主导通信量；All-Reduce操作在TP和混合并行中占比最高；并行策略选择需结合序列长度、模型大小和硬件资源（如高带宽互联更适合TP）。创新点首次系统研究分布式LLM推理的通信行为，构建了解析模型以预测不同并行策略、模型大小、序列长度下的通信模式。开发并验证了TP、PP及混合并行的通信量估算模型，可量化不同配置下的通信开销。提供了详尽的实证数据，包括通信操作类型、数据量、
