最近帮朋友规划一套新的训练集群正好赶上第三代AI芯片和PCIe 5.0交换芯片在同个时间窗口密集落地。前两年给人搭机器大家问得最多的是单卡每秒能算多少次今年画拓扑图的时候话题已经变成“八卡插上去为什么只能跑到五卡的效率”。这其实是个好信号说明大家对算力基建的理解已经从堆卡阶段进入到了谈利用率、谈互联的阶段。这篇文章不打算做评测而是把我在集群规划、选型、部署和调优过程中反复验证过的一些思路整理出来。核心是两件事第三代AI芯片解决单卡能算多快的问题PCIe 5.0交换芯片解决多卡能不能协同的问题。两者凑在一起才是AI算力基建提速的完整叙事。1. 第三代AI芯片到底把痛点打在哪了芯片代际升级过去给人的印象就是浮点算力翻倍、规格表越来越好看。但在真实集群里真正决定体验的往往不是最显眼的那个数字而是几个容易被忽略的维度。我接触的第三代AI芯片最明显的变化不是某一项参数拉满而是整体设计思路开始向“训练、推理通吃”靠拢。1.1 浮点算力之外的几个关键指标现在看AI芯片大家已经不太愿意只看FP32或TF32理论峰值因为大模型训练的主流精度早就转向了BF16和FP8。第三代AI芯片普遍在这一层做了大量优化BF16的稠密算力接近翻倍FP8算力更是第一次成为规格表上的重头戏。这个变化的意义在于FP8已经不只是推理阶段的压缩技巧它正逐渐进入训练的前向和反向过程。用一句话总结就是芯片能不能在低精度下保持稳定训练收敛比单纯堆FP32算力重要得多。我筛选芯片时额外关注稀疏算力与稠密算力的标注有些场景稀疏化能用上有些场景只是占了一个好看的PR数字实际工程师还得回到稠密模式下跑任务。还有一个常被忽视的地方是“持续算力”。散热做到位的机器芯片能长时间稳定输出峰值附近功耗散热缩水的机器几分钟后就开始降频。这一点在整机部署中比规格表上的理论值更致命。1.2 显存带宽与容量比峰值算力更先卡脖子单卡算力再高模型放不下也是空谈。第三代AI芯片在显存策略上有明显变化一方面是容量提升让更多中等规模的模型可以单卡放下微调和轻量训练不再动不动就做张量并行切分另一方面是高带宽存储的引入这部分带宽几乎决定了训练时数据搬运的速度。大模型训练的本质其实就是“算得动更要喂得饱”。如果不理解这句话很容易出现一种尴尬情况换上新卡跑小模型任务加速不明显跑大模型又发现显存带宽先到瓶颈芯片空转等着数据进来。我通常看一个简单比例单位显存带宽能支撑多少算力。如果算力增长幅度远大于带宽增长幅度那大概率是结构失衡芯片会频繁等待数据。对很多团队来说三代芯片最实用的进步是单卡能装下更多参数。同样是微调以前可能要2到4张卡做模型并行现在一张卡就能放下完整权重和优化器状态通信开销省掉一大截。这也是为什么我最近给别人做规划的时候总是先问你的模型和优化器要占多少显存而不是先问你想买几张卡。1.3 一个容易被忽略的事精度生态的成熟度算力再强生态里的算子库不全也是白搭。第三代AI芯片这轮迭代软件栈比硬件本身更值得关注。我在选型时有一个固定的验证动作拿出一个团队实际用的经典模型结构跑一次端到端微调对比主流生态平台上的时间。如果差距超过20%那理论算力再高也难以兑现。精度生态包括几个层面对主流深度学习框架的原生支持、关键算子的实现质量、多卡通信库的成熟度、以及大模型分布式训练时对动态shape和稀疏模型的处理能力。因为这些能力不体现在硬件规格表里只有实际跑分布式任务时才能暴露问题。我个人的判断标准是当一个新芯片可以做到“同样代码只改设备名就能跑通主流分布式训练”它才算真正进入可用的算力基建序列。否则规格再漂亮也只是一个需要工程师长期填坑的工程样品。2. PCIe 5.0交换芯片多卡互联的隐形主角单独有一颗好卡还不够把多颗卡组织起来才是系统工程。过去我们提到互联第一反应都是NVLink、InfiniBand这类专用技术但恰恰是最通用、最容易被低估的PCIe在节点内部扮演了真正的“隐形主角”。PCIe 5.0交换芯片的出现把这块天花板直接抬高了。2.1 PCIe带宽翻倍为什么说这是算力基建的拐点PCIe 5.0的物理层速率是32GT/s单条x16链路单向带宽大约64GB/s双向合计可以到128GB/s。相比PCIe 4.0时代翻了一倍。很多人对这个数字没有概念我换个说法上一代x16链路的双向带宽基本和一块高端加速卡常用的数据搬运需求接近而PCIe 5.0直接让“单链路喂饱一张训练卡”成为可能。在真实的多卡训练场景里张量并行通信会把模型切片在卡间传递每次迭代的all-reduce通信量和批次大小、模型宽度、并行度强相关。这个通信量如果在节点内走PCIe带宽直接决定每一步迭代的等待时间。PCIe 5.0普及之前很多小规模团队的训练瓶颈不在计算而在“GPU之间传模型分片传不过来”。这也是为什么我常说带宽翻倍带来的不是参数表上的一个数字变化而是让一批中等规模的分布式训练任务第一次能够在通用互连架构上跑得动。2.2 交换芯片的价值把CPU有限通道变成可扩展的Fabric可能有人会问服务器主板上不是自带不少PCIe插槽吗为什么还需要交换芯片这里的关键是CPU提供的PCIe通道数量其实非常有限。以一颗服务器CPU为例可用通道数量看着不少但要扣掉网卡、存储卡、高速NVMe盘、以及各种管理控制器真正能留给加速卡的通道往往不足。更大的问题是芯片和芯片之间、加速卡和NVMe之间需要通信时如果全部经过CPU转发CPU就变成了“环形路口”。PCIe交换芯片的价值相当于在市中心旁边修了一座立交桥它把CPU的上游端口扩展成几十个下游端口让GPU、SSD、网卡这些设备能够直接互访不需要每次通信都绕道CPU。我最早接触PCIe交换芯片是在做存储集群的时候当时主要为了扩展NVMe盘位。后来到了AI集群里才发现它对加速卡P2P通信的帮助更大两张GPU之间可以直接通过交换芯片交换数据路径更短、延迟更低PCIe带宽也能真正被压榨出来。加交换芯片不是简单“多加几个插槽”而是把原来CPU主导的单点通信变成设备之间任意互联的交换网络。2.3 拓扑设计决定通信效率别只盯着带宽数字PCIe交换芯片用起来有一个容易踩的坑带宽数字再大拓扑设计不合理实际效果还是要打折扣。交换芯片内部和网络交换机一样有交换容量和端口速率的概念上游端口如果只有x16下游却接了多个设备那多设备同时通信时依然要共享上游带宽。我在规划节点拓扑时通常会遵循几个原则GPU到GPU的路径尽量少经过外部转发长时间大数据流量的设备放在同一个交换芯片下的不同下游端口如果堆叠多级交换要考虑每一级带来的延迟成本。很多工程师习惯只看“这张卡支持PCIe 5.0 x16”却忽略了路径中间的交换芯片和线缆是不是也跑在5.0速率上最后链路降级到4.0甚至3.0还浑然不觉。另外PCIe交换芯片并不是万能药。它相比私有互连协议胜在通用和成本但在延迟和单链路带宽上依然有差距。节点内大规模张量并行如果对延迟极其敏感仍然需要评估专用互联方案。不过对绝大多数通用AI算力基建来说PCIe 5.0交换芯片已经足够撑起一台8卡训练节点的通信骨架。3. 算力集群的提速逻辑从单卡性能到整体利用率站在集群层面看AI算力基建提速并不是某一个器件的功劳而是三个层面共同作用的结果单卡算力、节点内互联、跨节点网络。第三代AI芯片和PCIe 5.0交换芯片的组合恰好补上了前两层。3.1 并行训练的通信画像为什么带宽和延迟都重要做过多卡训练的人都知道并行策略不同通信特征完全不同。数据并行下每张卡持有完整模型副本本地算完一批后要同步梯度通信量不小但次数相对可控张量并行下模型被切分到多张卡上每一层计算都要跨卡传递中间结果通信频繁且对延迟极敏感流水线并行则介于二者之间通信次数少一些但同步依赖强。这直接决定了系统设计的一大原则不能只追求某个环节的极致参数而要匹配并行策略的通信画像。PCIe 5.0的高带宽对数据并行和张量并行的all-reduce阶段帮助明显而交换芯片的低延迟拓扑对频繁的细粒度通信更友好。这两样东西加在一起等于把节点内部的道路从“两车道”升级成了“四车道立交”各种并行策略都能找到更顺畅的路径。3.2 机架内外的分层互联PCIe交换芯片处在哪个位置一个完整的AI算力集群通信是分层的。最底层是加速卡和本地存储之间的数据传输比如读训练样本、写checkpoint中间层是节点内部多卡之间的通信再往上是节点之间的跨机通信。PCIe交换芯片主要管前两层但它的影响力会向上传导。举个例子训练任务每跑完一个epoch要写checkpoint这个动作如果走PCIe直连NVMe速度快不快直接决定训练中断时间。以前很多集群把checkpoint写到远端存储跨网络写入慢到让人怀疑人生。有了PCIe 5.0交换芯片的节点本地NVMe阵列能够提供接近内存级的数据搬运能力checkpoint可以作为后台任务异步完成训练进程不用长时间停顿。换句话说算力基建提速从来不是“加速卡换代”一句话能概括的事而是数据进出、卡间通信、模型存储这几个环节全部同步升级。PCIe 5.0交换芯片在其中扮演的角色是让这些环节之间不再互相等待。3.3 利用率才是真正的KPI我见过太多集群峰值算力数字惊人实际跑起来利用率不到一半。原因往往不是芯片不行而是数据加载太慢、卡间通信太慢、或者任务调度不合理导致计算单元大量空转。这就像买了一辆跑车却在早晚高峰的环路上开马力再大也跑不起来。正确的思路是向上和向下同时优化。向上是调度层面让多个任务合理共享节点避免大任务独占却吃不满向下是硬件层面把PCIe链路带宽、交换拓扑、存储性能逐一验证。第三代AI芯片和PCIe 5.0交换芯片的组合让“单机八卡跑满”第一次成为一个容易达成的目标。我自己的经验是先追求单机内部的高利用率再考虑跨机扩展。单机跑不满就盲目堆机器只会放大通信开销和管理复杂度。4. 落地部署指南从拓扑表到实测调优前面聊了不少原理下面说点能直接抄作业的实操细节。这一段集中讲我部署一台多卡AI节点时真正会做的几件事包括拓扑规划、供电散热、固件驱动和验证测试。4.1 第一步画一张清晰的连接拓扑图拿到一台新机器我做的第一件事不是装驱动而是把物理连接图画出来。纸笔、表格、脑图都可以但一定要画清楚每张加速卡插在哪个槽位、上行到哪个交换芯片、NVMe挂在哪里、网卡走哪条路径。一台8卡节点典型的结构可以这样理解双路CPU平台配两块PCIe 5.0交换芯片每块交换芯片接4张GPU和两张NVMe盘两块交换芯片之间再做一条高速互联通道。这样做的目的是让GPU和本地存储之间尽量走短路径减少经过CPU的绕路。画完拓扑图之后要检查两个容易出问题的地方一是加速卡和内存的NUMA节点是否对应避免跨CPU访问内存造成额外延迟二是加速卡之间是否真的连接到同一个交换芯片下如果属于不同交换芯片通信需要绕道互联通道带宽会打折扣。很多性能问题在拓扑图上就能提前发现根本不用等到跑测试的时候才暴露。4.2 供电与散热算力密度提升带来的新账本第三代AI芯片的单卡功耗普遍不低8卡节点加交换芯片、CPU、内存和NVMe之后整机功耗轻松到数千瓦级别。在机房规划阶段这一步就要想清楚而不是等设备到了再临时拉电。我习惯按满载功耗加上30%的余量来预算同时确认电源模块支持N1冗余。机房这边还要检查单机柜的总功率上限如果一个机柜塞两台8卡节点就超了那性能再好看也没有意义。很多人算功耗只算显卡TDP忘了CPU功耗、交换芯片、风扇阵列、NVMe盘都会吃电结果整机启动到一半触发过载保护。散热同样要提前算。风冷方案下多卡之间的间距、机箱风道方向都会影响实际散热效果。如果条件允许液冷正在成为高密度算力节点的更优选择尤其在机房空调能力有限的情况下。我的经验是宁可多花一点钱在供电和散热上也不要让芯片因为温度墙降频降频造成的性能损失远比省下的电费多。4.3 固件与驱动PCIe 5.0最容易翻车的环节PCIe 5.0对信号完整性要求很高链路能否真正跑在32GT/s速率上取决于主板布线、交换芯片配置、连接器质量和线材品质任何一个环节掉链子链路就会自动降级。我在实际部署中见过太多次“明明买的是Gen5设备跑起来却只有Gen3速度”的情况。部署后第一步就是确认链路协商状态。Linux系统里可以用lspci查看设备列表再通过详细参数查看每个PCIe设备的链路速率和宽度。如果发现链路降级优先检查物理连接和BIOS设置。有些主板默认开启ASPM省电模式会让链路为了省电而降速并增加延迟训练任务对延迟敏感时建议直接在BIOS里关闭。交换芯片的驱动和固件同样需要关注。一个常人容易忽略的点是交换芯片本身有自己的管理接口和固件版本新固件往往会修复某些设备兼容性问题。拿到新设备后先升级到官方推荐版本再正常安装加速卡驱动和通信库能省掉后面很多莫名其妙的问题。同时建议验证一下SR-IOV等虚拟化特性是否正常开启很多云化场景依赖这个能力。4.4 部署后必须跑的几个验证测试设备装好不代表能用我建议至少跑四类验证链路速率验证、存储带宽验证、多卡通信带宽验证、长时间稳定性验证。链路速率验证是确认每个关键PCIe设备都协商在PCIe 5.0 x16上这一步用系统工具就能完成。存储带宽验证是测试加速卡和NVMe之间的实际读写速度可以用简单的文件拷贝配合time统计或者用专业的存储基准工具确保数据加载路径没有意外瓶颈。多卡通信带宽验证是最重要的一步通过运行加速卡厂商提供的多卡通信基准测试观察不同卡之间的点对点带宽和整体聚合带宽。这里要特别注意测试结果如果远低于理论值先不要怀疑硬件而是检查通信库版本和拓扑路径多半是软件没吃到新硬件红利。长时间稳定性验证则是在正式任务上线前用一个有代表性的训练模型连续跑24到48小时记录温度、功耗、链路速率变化曲线。很多硬件问题不会在短时测试中暴露但会在长时间高负载下显现为周期性的性能抖动或者偶发中断。提示部署完成后把初始测试结果保存一份。后续系统变慢或者出问题时这份基线数据能帮你快速判断是硬件老化、驱动更新还是环境变化导致的性能回退。5. 选型与下一步算力基建的务实思路聊完技术细节最后回归到决策层面。第三代AI芯片和PCIe 5.0交换芯片这套组合并不是所有场景都需要也不是越贵越好。选型的核心是识别自己的算力瓶颈到底在哪一层。5.1 这套组合适合谁不适合谁适合的场景很明确需要单机多卡跑大模型训练或微调的团队正在建设推理集群并希望降低多路并发时延的运营方以及科研机构做异构计算和分布式算法验证。这些场景的共同点是节点内通信量大、数据进出频繁PCIe 5.0交换芯片能直接把瓶颈打开。不适合的场景也值得说清楚如果业务长期以小模型推理为主单卡已经足够满足延迟要求没必要为了交换芯片多花钱如果团队还不具备基本的分布式训练调优能力换更强的硬件只会让问题更复杂更有意思的是如果你的任务压根吃不满现有四卡节点先优化代码和数据处理流程比换新硬件更划算。我常跟朋友说的一句话是先看瓶颈再谈选型。瓶颈是显存容量就重点看芯片容量和带宽瓶颈是卡间通信就重点看交换拓扑和链路速率瓶颈是跨机网络那可能根本不需要折腾节点内硬件的性能而应该先去升级网络交换机。5.2 成本和生态为什么PCIe路线能快速落地对比专用私有互联方案PCIe生态最大的优势是通用性。服务器、加速卡、NVMe盘、网卡都遵循同一套标准插上就能用不用为专用线缆和连接器额外买单。PCIe 5.0交换芯片在这套生态里承担“扩展交换”的角色让通用服务器也能逼近专用AI服务器的多卡通信密度。从成本角度计算交换芯片的投入通常远低于加速卡本身但它带来的直接收益是节点可扩展性和部署灵活性的显著提升。一台8卡通用节点既可以整体跑大任务也一可以通过SR-IOV拆分给多个小任务资源利用率明显更高。对一个长期运营算力资源的人来说这种灵活性是一件非常重要的事。生态方面主流平台对PCIe设备的兼容性已经非常成熟加速卡驱动、通信库、存储协议栈几乎都是开箱即用。相比什么都得自己造轮子的专用方案通用PCIe路线在后续运维和人员招募上都要省心得多。新技术的价值不只是性能有时候“能快速跑起来”本身就是最大的优势。5.3 下一步要补的课CXL、液冷与更高带宽硬件迭代的方向已经很清晰。PCIe 5.0之后大家已经在讨论PCIe 6.0和CXL。CXL的出现会让CPU、GPU和内存之间的数据共享进入一个新阶段内存池化的概念会对大模型训练的内存管理带来根本性变化。AI算力基建的下一轮提速很可能不再只是把“卡”做得更强而是把“内存”变成一种可以灵活调度的资源。液冷也从可选项变成越来越多的必选项。芯片功耗持续上升传统风冷的能效天花板肉眼可见液冷会让高密度算力机柜真正具备落地的条件。交换芯片同样会受散热影响高带宽交换芯片的工作温度直接决定信号稳定性和寿命。对一个正在做算力基建规划的人来说现在最好的策略是抓住PCIe 5.0这代成熟技术把集群骨架搭好同时在设计上为CXL和液冷预留空间保证未来升级不必推翻重来。预算充足就买支持更高带宽的交换平台预算有限就优先保证供电和散热余量这两个才是机器跑不跑得久的关键。最后再分享一点个人体会。这几年我经手过太多“参数很好看、用起来很憋屈”的机器最后发现真正决定体验的不是某一项单项性能而是卡、交换、存储、网络之间的平衡。第三代AI芯片解决的是算力密度问题PCIe 5.0交换芯片解决的是算力协同问题两件事同时落地才让我愿意在这个时间点建议朋友对现有集群做一次整体升级。如果你正打算规划一台新的多卡节点我的建议很朴素别只盯着加速卡参数先画一张连接拓扑图把电源和散热预算算清楚然后开机顺手确认一遍每一段PCIe链路都跑在正确的速率上。这几步做扎实了算力基建的提速才不是纸面上的数字而是真正落到每个训练任务上的时间节省。
