大模型推理集群流量模型分析：南北向、东西向与KV搬运1. 引言：为什么需要区分三种流量？在大规模语言模型（LLM）推理集群中，网络流量并非单一类型。不同的流量具有截然不同的源目、带宽需求、延迟敏感度和拥塞特征。若不加区分地统一对待，会导致资源浪费、性能下降甚至服务不可用。因此，必须将流量分为三大类：南北向流量（North-South Traffic）：指从客户端（用户、上游服务）进入集群的请求流量，以及从集群返回给客户端的响应流量。这类流量跨越集群边界，通常经过负载均衡器、API网关等。东西向流量（East-West Traffic）：指集群内部各节点之间因分布式推理产生的通信流量，包括张量并行（TP）、流水线并行（PP）、数据并行（DP）的梯度同步、专家并行（EP）的AlltoAll等。这类流量不离开集群，是内部高速互联的核心。KV搬运流量（KV Cache Migration Traffic）：特指在推理过程中，为了负载均衡、缓存复用或容错，将KV缓存数据从一个GPU迁移到另一个GPU所产生的流量。它既可以是东西向的一部分，但因其特殊性（大体积、实时性要求高、与推理状态紧密耦合），常被单独分析。本文将从这三类流量的定义、特征、瓶颈、优化手段出发，结合400Gbps RoCE网络、H100 GPU、LLaMA-70B模型的具体数值，进行系统性阐述。2. 南北向流量详解2.1 定义与路径南北向流量是用户与推理服务之间
