搞大模型训练的人迟早会跟RDMA网卡打交道。GPU机器一多机器内部的NVLink只负责单机通信跨机器靠的就是这张网卡。数据并行里的梯度AllReduce、张量并行里的细粒度通信、模型并行里的激活重计算传输哪一样跑慢了都会直接把GPU利用率拖下来。这段时间我正好把几批不同厂商、不同型号GPU机器的RDMA网卡参数整理了一遍包括带宽规格、端口数、PCIe接口、固件和驱动的匹配情况再把实际验证手段、常见坑都梳理了一下。这篇文章就是完整的整理记录给准备搭集群、扩节点或者验收新机器的人一个可直接对照的参考。1. 为什么大模型训练离不开RDMA网卡1.1 大模型训练的通信密度先看一个很多人容易忽略的事实大模型训练时通信时间是和计算时间叠加着走的。以数据并行为例每个step结束前要做一次梯度AllReduce模型参数越大需要同步的梯度张量就越大。拿70B参数量的模型来说即使每个GPU只负责一部分梯度AllReduce单次也要搬动几十GB的数据。如果网卡带宽不够或者延迟高通信时间会直接拖满整个stepGPU反而在等数据。这时候算力再强也无济于事。更麻烦的是张量并行。它在层内把矩阵按列切开每个GPU只算一块但每层前向和反向都要做AllReduce。之前有人测过张量并行规模超过4卡时通信占比会迅速上升普通TCP网络根本扛不住。这也是为什么真正训练大模型的集群要么用InfiniBand要么用带RoCE的RDMA以太网。RDMA的优势在于绕过内核协议栈从应用内存直接搬运数据到网卡节省了CPU拷贝和中断开销延迟能压到微秒级别带宽利用率也远高于TCP。1.2 IB和RoCE两条路线怎么选RDMA落地的传统路径是InfiniBandNVIDIA收购Mellanox之后现在整机里常见的方案就是ConnectX系列的IB卡配IB交换机。IB的优点是协议栈自洽流控和拥塞控制做得成熟高负载下性能稳定缺点是贵交换机、线缆、光模块整套下来成本不低。另一条路线是RoCEv2跑在标准以太网上用PFC和ECN来做拥塞控制硬件成本比IB低不少。近两年国产GPU服务器和不少通用AI整机都走这条路。RoCEv2的问题在于它对网络配置非常敏感交换机要开启PFC队列、ECN标记、无损以太网配置少配一项性能就会骤降。所以选型和参数核对时首先要搞明白机器自带的是纯IB方案还是RoCE方案后面所有验证方法都不一样。2. 主流GPU机器型号与RDMA网卡参数对照2.1 NVIDIA DGX系列整机DGX系列是NVIDIA原厂整机网卡方案很固定适合拿来做参数基准。DGX A100 640GB8卡A100 80GB配的是8张ConnectX-6 HDR每张单端口200Gb/sInfiniBand接口PCIe Gen4 x16。整机向外提供8个200G端口双方向总带宽约3.2Tb/s。这里的逻辑是一卡一网口8张GPU8张网卡一张卡对应一个HDR200走Any-to-Any全连接网络时不会出现多卡共享网卡带宽的瓶颈。DGX H1008卡H100 SXM配的是ConnectX-7 NDR单端口400Gb/sPCIe Gen5 x168张卡合计3.2Tb/s对外带宽。单机带宽比DGX A100翻了一倍但在高速网络里这个带宽也不是随便就能跑满的。PCIe Gen5 x16单向带宽约64GB/s一张400G网卡满双工需要约100GB/s的总吞吐如果传输方向相对均衡单端口实际带宽会受制于PCIe整链路能力所以DGX H100也支持把两张NDR卡合在一个连接组里用具体看网络设计方案。部分面向国内市场的A800/H800整机同样沿用ConnectX-6 HDR或ConnectX-7 NDR区别主要在GPU间NVLink带宽的规格裁剪网卡这部分通常保持一致。买整机的时候不要只看GPU型号一定要看交付单里网卡的具体型号和端口数这点后面会展开说。2.2 国产与OEM服务器的常见配置国产服务器和OEM整机没有统一标准配置差异很大但有一些通行做法。浪潮NF5488系列、NF5688系列这类8卡A100/A800的机器常见配置是支持插8张ConnectX-6 HDR 200G IB卡也有厂商默认出2张100G RoCE卡。这里有个很关键的点HGX主板的PCIe通道数量是固定的8张GPU基板对外提供16条PCIe Gen4 x16插槽其中8个预留给网卡。但很多OEM为了控制成本只装2张网卡这时候4张GPU可能共享一条PCIe通道网络带宽天然就有瓶颈训练任务一上量瓶颈立刻暴露。超微、技嘉、华硕这些厂商的HGX准系统网卡位通常支持Mellanox ConnectX-6 Dx或ConnectX-7的双端口模式。100G模式下两张100G端口做bonding比一张200G单端口更灵活一台机器接两个交换机做冗余常见于中小规模训练集群。华为昇腾Atlas系列的情况比较特殊。Atlas 800训练节点使用的是昇腾910系列加速卡标配华为自研Hi1822网卡支持25GE和100GE自适应RoCE能力是内建的。Hi1822在形态上是智能网卡但对外暴露的标准接口和ConnectX系列不太一样配置RoCE时需要注意驱动版本和华为特有的配置项。昇腾整机集群更多是自己配套的集群网络方案与通用Mellanox生态兼容性需要提前验证。2.3 8卡RTX 4090这类平民机器的网络配置这两年很流行8卡RTX 4090或RTX 3090的DIY训练服务器这类机器用消费级显卡PCIe通道数量非常有限。4090单卡是PCIe Gen4 x16但8卡插满之后主板芯片组提供的通道不够通常会拆分成x8甚至x4。网卡只能占用剩余的PCIe通道一般只能插一张或两张卡。常见方案是插一张ConnectX-6 Dx 100G RoCE双端口卡或者一张ConnectX-6 HDR 200G IB卡。这里需要注意PCIe通道分配一张100G RoCE卡用PCIe Gen4 x8带宽就够了理论单向约16GB/s对应100G线速约12.5GB/s刚好够。如果拆到x4线速会打六折。所以这类机器做多机微调、分布式推理时网络带宽基础就在100G级别和DGX整机的200G/400G有明显差距任务设计时要有预期。另外RTX 4090不支持NVLink4090的NVLink在消费级上被禁用机器之间跨节点通信全靠网卡网络参数是否正确直接决定多机训练能不能跑起来。3. 需要重点盯住的网卡参数3.1 链路速率、端口数与实际带宽的计算很多人在验收时只看网卡标称200G但实际跑出来的有效带宽远低于标称值。这里要分清三个概念接口速率、协商速率、有效吞吐。接口速率是网卡物理层的能力比如ConnectX-6 HDR的200Gb/s。协商速率是网卡和对端交换端口实际握手后得到的速率如果线缆损坏、光模块不匹配或交换机端口只配置了100G协商出来就是100G。有效吞吐是刨掉协议头、重传、拥塞等开销之后实际能用的带宽IB协议下200G单端口实测ib_write_bw通常能做到190Gb/s左右RoCEv2在配置良好的情况下能做到180Gb/s以上如果低于这个值就要查链路质量了。机器选型时可以用带宽需求反推端口数。假设跑70B模型的张量并行需要约30GB/s的梯度通信带宽一张200G网卡单向25GB/s单机单卡就很难满足通常需要2张200G或1张400G。这也是为什么DGX整机一卡一网口它是按最重的并行策略设计的。3.2 PCIe通道和网卡带宽的匹配关系这是最容易被忽略的参数。网卡带宽再高PCIe通道不够也白搭。一张200G网卡满双工需要约50GB/s的总带宽PCIe Gen4 x16单向32GB/s、双向约64GB/s刚好够用。如果插在x8槽位上单向只有16GB/s200G线速单向25GB/s直接损失三分之一以上。查看PCIe链路状态用lspci -vv就能看到LnkSta字段lspci -vv | grep -A20 -i mellanox或者用系统工具看link speedlspci -s 05:00.0 -vvv | grep LnkSta输出里的LnkCap和LnkSta分别表示插槽最大能力和实际协商结果比如LnkSta显示Speed 16GT/sGen4、Width x16这才是真实工作状态。如果协商结果是x8或8GT/s建议先查主板BIOS里PCIe bifurcation的设置把目标插槽配成x16。3.3 MTU、RoCEv2的拥塞控制参数MTU对大模型训练的影响比很多人想象的更大。IB链路推荐MTU 4096在ibstatus里能看到Active MTU。RoCEv2场景下如果是纯内网建议开Jumbo FrameMTU设9000或9200能有效减少大数据块传输的分片数量AllReduce这种大块梯度传输非常受益。RoCEv2要跑得稳必须配置三个东西PFC优先级队列、ECN/DSCP标记、无损以太网。交换机侧要针对RoCE流量的优先级开启PFC服务器网卡侧要设置dcb_pfc参数。如果只开网卡RoCE模式而交换机没开PFC遇到突发拥塞就丢包重传一多带宽直接断崖式下跌。这也是RoCE最坑的地方单点配置错了上层训练任务表现为通信hang住或者极慢排查起来非常痛苦。4. 实操在GPU机器上核对RDMA网卡参数4.1 确认网卡型号、固件和驱动状态拿到机器第一步先确认网卡型号和固件版本。用MLNX提供的工具最直接lspci | grep -i mellanox mlxfwmanager --querymlxfwmanager会返回设备型号、PSID、当前固件版本以及是否有可升级的固件版本。固件版本很关键ConnectX-6早期固件有链路稳定性问题尤其和某些交换机配合时会出现端口反复up/down升级固件能解决大部分兼容性问题。驱动建议用MLNX_OFED的LTS版本别追最新的beta。检查OFED是否安装ofed_info -s如果是云厂商或超算中心的定制内核OFED驱动和内核模块不匹配是常事安装前先确认内核版本必要时用dkms重新编译mlx5_core模块。4.2 用ibstatus和rdma命令验证链路状态确认驱动正常后看链路状态ibstatus输出里重点看三个字段Rate、State、Physical state。Rate显示40Gb/s还是200Gb/sState显示ActivePhysical state显示LinkUp。如果Rate显示40Gb/s说明链路协商速度不对多半是光模块或者贴脸线缆的问题。如果是RoCE网卡用rdma命令看设备状态rdma link show再确认RoCE版本和GID索引是否正确。RoCEv2必须绑定到正确的GID index尤其在多网卡机器上默认GID可能指向不期望的接口会导致包发不出去。4.3 用perftest实测带宽和延迟参数确认完一定要实测。perftest是Mellanox官方的带宽延迟测试工具双机各开一端# 服务端 ib_write_bw -d mlx5_0 --report_gbits # 客户端 ib_write_bw -d mlx5_0 -F 192.168.1.2 --report_gbits100G RoCE如果适配正常写带宽应该在11.5GB/s到12GB/s之间即92-96Gbps200G IB在23GB/s左右。如果远低于这个值先确认QP数perftest加-q 8或-q 16多开队列能明显提升单连接带宽。延迟测试用ib_write_lat正常应该在2到3微秒量级超过10微秒说明网络路径有问题可能是长距离、过多跳数或者交换机缓冲配置不当。另外建议测一下双向和混合模式。大模型AllReduce同时有上行下行流量单方向的写带宽达标不代表双双往高压力下依然稳定。用ib_write_bw的--bidirectional参数测双向带宽很能暴露PFC/ECN配置的短板。5. 常见问题与排查实录5.1 链路Active但协商速率不对现象ibstatus显示LinkUp但Rate是40Gb/s而网卡和交换机都标称200G。排查顺序先换线换模块排除物理层然后用mlxlink看端口链路详情mlxlink -d mlx5_0mlxlink会显示两端能力协商的具体情况比如端口类型、FEC模式、活动通道数。很多时候是光模块和网卡固件支持的速率集不匹配HDR光模块要确认是否支持HDR200GEDR模块只能跑到100G。也有情况是交换机端口强制成100G模式用厂商管理界面把端口rate改成自适应或强制200G即可。5.2 驱动装好了但GPUDirect RDMA不生效GPUDirect RDMA让网卡直接从GPU显存取数据省掉一次CPU内存拷贝。大模型训练中梯度通信如果不走GPUDirect通信时间会增加30%以上。检查是否生效看两个地方内核模块是否加载lsmod | grep nv_peer_memnvidia_peer_memory模块从NVIDIA官网下载编译内核更新后要重新编译。第二是perftest测试时加GPU绑定参数用ib_write_bw的--use_cuda如果带宽明显低于不加的参数说明GPUDirect没走通。还有一种情况是权限不足RDMA设备被限制为普通用户不可访问需要配置udev规则或者将用户名加入相应的宇组。5.3 训练一跑就通信崩溃多半是拥塞控制参数问题RoCE集群里最常见的灾难现场空闲时ping和perftest都正常一跑大模型训练带宽掉到只有几GbpsGPU利用率几十上下跳动。这种情况九成是PFC或ECN配置不一致。排查要点先确认所有交换机端口都开启了无损配置检查PFC的优先级队列和网卡侧设置是否一致。网卡侧执行mlnx_qos -i eth0 --pfc0,0,0,1这里把优先级3开启了PFC要和交换机侧对应。另外看ECN的阈值是否设置得过小过小会导致大量报文被标记流量被莫名其妙限速。很多团队只配了PFC没配ECNRoCEv2的拥塞控制就缺了一条腿。5.4 线缆和光模块导致偶发性丢包还有一种隐蔽问题光模块温度过高或者线缆折弯导致误码率升高链路没有完全down但偶发CRC错误。训练任务表现为每隔一段时间通信卡一下恢复正常后又继续。排查思路是持续盯网卡的错误计数器ethtool -S eth0 | grep -i error如果rx_crc_errors或者symbol_error持续增长基本可以断定是光路问题。优先换掉那根跳线和模块特别是机柜里走线密集的地方光模块的收发功率也要检查一般用ethtool -m查看模块信息。6. 一点个人体会说实话RDMA网卡参数这件事看着是一堆型号数字实际上是在给整个分布式训练的上限定调。我踩过的最大一个坑就是默认整机交付的网卡配置就合理结果一台8卡A800机器只配了2张100G RoCE多机微调时通信瓶颈直接让GPU利用率掉了近一半。从那以后我的习惯是无论新机器还是旧机器先做半小时网络体检lspci核对通道、ibstatus确认速率、perftest双机打带宽再放训练任务上去。另外建议把每台机器的网卡型号、固件版本、MTU、GID配置、PFC开关状态都记录在案换人维护时这些信息比任何文档都管用。大模型训练越是往上堆规模网络参数越值得花时间抠细。
