1. 这场竞赛的“分水岭”算力不再是唯一答案1.1 算力竞赛到底在比什么过去十年AI芯片行业的竞争逻辑其实非常单调比谁的“峰值算力”数字更吓人。GPU厂商发布产品时必给一张表格里面列满FP16、BF16、INT8、稀疏算力和稠密算力单位不是TFLOPS就是TOPS。大家默认的潜台词是只要你在芯片里堆更多晶体管、用更先进制程、塞进更大的HBM显存你的芯片就赢了。英伟达从A100到H100再到H200AMD用MI250到MI300X本质上都在这条赛道上比拼单卡参数。这场“纸面军备竞赛”持续了不止五年也确实催生了一大批性能漂亮的产品。这个阶段的AI芯片购买者也很“好骗”至少在选型逻辑上很直观——谁单卡浮点高、谁显存大就买谁。我去看过好几家企业的算力采购需求书里面写的要求几乎都是“单卡FP16不低于多少TFLOPS”“显存容量不低于多少GB”“HBM带宽不低于多少”。你把任何一个跑过真实大模型训练的工程师拉过来看都会觉得这种参数表有点隔靴搔痒。因为它只回答了“这张卡理论上能算多快”却完全没回答“我拿一千张卡训练一个千亿参数模型到底多少天才收敛”。而恰恰是后者才决定了一个AI项目的成功率与真实成本。1.2 算力竞赛踢到了三堵墙到了2024年之后你再看市场风向会发现越来越多人开始质疑“算力竞赛”本身。原因并不复杂单纯堆单卡算力这件事已经连续撞上了三堵物理和经济的墙。第一堵是摩尔定律墙。制程演进的速度在放缓每代先进工艺给到的晶体管密度增幅越来越有限但AI算力需求却以每年两到三倍的速度膨胀。厂商如果想单靠工艺换带来提升性能成本会高到离谱而且等不起。第二堵是功耗墙。以H100为例单卡TDP已经来到700瓦这还只是“一张卡”装进整机柜热密度会迅速突破传统风冷数据中心的物理极限。你在芯片上加几十个流处理器边际收益可能很小但背后的供电、散热和机房改造成本却会成倍增加。第三堵是内存墙。HBM确实是当前AI芯片的“生命线”但它的容量和带宽增速远远赶不上计算单元的性能增速。单纯堆算力结果往往是数据喂不过来GPU在空转等数据。你用一句大白话总结就是计算单元跑得再快数据管道跟不上整机也快不起来。这三堵墙合在一起逼出了一个非常现实的问题当我们把一个AI芯片放进真实的数据中心、接上真实的任务负载时它究竟输出了多少“有效算力”2. 从“跑分”到“跑量”系统效率才是真实生产力2.1 “有效算力”才是真正能卖钱的东西我以前在文章里打过一个比方算力竞赛像比谁的赛车极速更高系统效率竞赛比的是真实通勤路况下的平均时速。一辆跑车在封闭赛道能开出三百公里每小时但每天早上在城市里通勤可能最快也只能开到二十公里。AI芯片也一样——你在厂商白皮书上看到的FLOPS是“封闭赛道的极速”而真实训练大模型时的吞吐量才是“通勤平均时速”。为什么这么说因为大模型训练几乎不存在“单卡单跑”的场景。一个千亿参数模型动辄要几百上千张卡协同工作。每一个训练步都要做前向、反向、AllReduce梯度同步每一步都要等最慢的那个节点每一次通信撕裂都会直接拖慢全局。你可以想象一万个人协作抄写一本书某个人的手速再快如果所有的协调工作都要由最慢的人卡脖子那整体效率就是被那只“最慢的手”决定的。单卡算力再高集群互联不给力、通信库不成熟、任务调度粗放最终的有效算力可能只有设计峰值的四成。行业里其实已经有一个词汇来描述这件事叫MFUModel FLOPs Utilization模型算力利用率也就是模型实际吞吐占理论峰值的比例。我自己测过不少真实训练任务大部分情况下MFU也就是30%到60%之间极少数把工程优化做到极致的团队能摸到60%以上。什么意思就是你花天价买来的算力有一半左右在等数据、等通信、等同步根本没有参与计算。这才是系统效率竞赛要解决的问题——把一个芯片“理论上的快”变成“用起来的快”。2.2 成本结构变了供电和散热比买卡本身更昂贵算力竞赛时代的成本模型很简单买卡看单价。只要一张卡能堆出更多FLOPS哪怕贵个两倍也有人买单。但当你真的搭一个大规模AI集群时账本根本不是这么算的。先摆一个大致的五年TCO结构硬件采购大约占40%左右而电力加上散热、机房租赁、运维人力可能占另外四到六成其中电力占比会随启用规模急剧上升。以一张700瓦功耗的GPU为例你看着只是“一张卡”但按规模换算一台装满八卡的服务器功耗轻松超过5-6千瓦如果你把一千张卡放在一个机房整体电力需求逼近一兆瓦级别。一兆瓦是什么概念差不多是一千户家庭的用电量。再加上温控、制冷、应急电源整个数据中心每年缴纳的电费就是一个非常恐怖的数字。所以现在采购方开始反复问一个问题你这一瓦功耗能产出多少token同样输出1000个token你用的电比我少30%长期跑就是一笔巨大利润差。这个变化非常本质算力竞赛考的是“性能/成本的单点最优”系统效率竞赛考的是“每瓦有效产出”“每美元有效产出”。说白了大家终于意识到AI芯片买回来不是为了跑分是为了出活。3. 撕开数据中心效率藏在“芯片以外”的每一个环节3.1 集群互联一台真正的“超级AI计算机”的底座如果你觉得系统效率只是“软件适配得好一点”那就小看这件事了。真正决定一个千卡集群能不能高效产出的大脑是“片间和卡间的互联系统”。这里的差异可以非常夸张。同样是训练同一个模型好的互联方案和差的互联方案单机扩展到千卡后的吞吐差距可以达到两三倍。这不是在夸张我见过实测数据通信占比每增加10%集群扩展效率就明显往下掉。互联分为几个层级。卡内和机内的规模扩展叫Scale-up典型方案是英伟达的NVLink/NVSwitch体系带宽可以达到每秒几百GB级别主要用于同一节点内GPU之间快速交换数据。而跨节点、跨机柜的Scale-out典型方案是InfiniBand高速网络或者RoCE基于以太网的RDMA网络。后者更看重端到端低延迟和拥塞控制能力做到400Gbps甚至800Gbps已经成为大集群标配。一定程度上你可以把集群互联理解成“城市交通系统”。城区里局部道路Scale-up修得再宽如果跨城区主干道Scale-out堵死整个城市一样瘫痪。真正的“超级AI计算机”从来不是一张卡有多强而是上万张卡组成的网络能不能像一个整体一样协调运作。这也是为什么“超节点”这个词在近两年变得非常火。超节点就是把几十甚至上百颗AI芯片通过超高带宽的专用互联打成一个小组织让它们像一个巨型芯片一样被调度和使用。它的本质是减少跨通信域的瓶颈、降低软件调度复杂度从而提高整体有效算力。这个方向本身就意味着靠单颗芯片参数打天下的时代已经过去了。3.2 数据中心侧功耗、散热和供电决定“能不能上架”芯片系统的真实效率还有一半藏在数据中心里。这里可以聊一个非常实际的转折国内很多老旧机房的风冷设计单机柜可承载功率密度往往只有10千瓦左右。放到现在动辄单机柜逼近40千瓦甚至更高的AI集群风冷已经完全扛不住。所以液冷方案被推到了前台。冷板式液冷是目前最主流的选择把冷却板贴着芯片和内存模块通过液体循环把热量带走单机柜功率密度可以做到40千瓦以上再激进一点就是浸没式液冷直接把整个服务器泡在特殊冷却液里热密度上限更高但对设备形态和运维的要求也更苛刻。与此同时供电系统也要同步改造。从市电引入到UPS、再到母线、再到PDU分配任何一环容量不够整个机柜就上不了架。以前做机房规划是“我租几个机柜”现在是“我能申请到多少功率”。这个变化带来的采购逻辑也随之改变企业买AI系统本质上是在买“一整套能耗转换工具”。花的钱不只是买卡还在买电费、买散热、买机房改造。谁的系统每瓦吞吐更高、每卡能承载的负载更稳定、冷却耗电更少谁的总拥有成本就更低。这就是系统效率竞赛在基础设施层面的真实含义。3.3 软件生态效率的隐形倍增器在系统效率竞赛里软件跟硬件同等重要。这一点是很多新进入AI芯片市场的厂商最容易吃亏的地方。有些芯片单卡“理论参数”非常惊艳甚至跑单模型benchmark也能出好成绩但一到真实训练任务就原形毕露——算子库覆盖不全、分布式通信库支持不成熟、编译器优化跟不上、框架适配一堆坑。最后落地效率可能只有成熟平台的五分之一。举一个具体经验在英伟达生态里训练大模型你可以直接用NCCL做集合通信用Megatron-LM、DeepSpeed、ZeRO、FSDP这些框架做并行策略CUDA生态里的算子库、kernel融合优化都已经打磨了很多年。你要做的只是选择合理的并行方案、调节通信重叠参数。但如果换一个不够成熟的新芯片平台你连跑通一个70B模型的结构化并行都可能要改一两个星期遇到性能瓶颈还要自己去查是不是算子实现有问题。两者之间差的不是一星半点而是几倍的真实效率差距。所以系统效率竞赛从来不是“硬件设计之争”而是“芯片-互连-数据中心-软件栈”全栈系统的一体化竞争。软件能从编译底层帮你融合算子能在调度层做通信与计算重叠能自动把数据切分得更好这些优化每一层贡献几个百分点全链路加起来就是压倒性的优势。4. 实操视角怎么评估一个AI计算平台的“系统效率”4.1 四条可以量化的评估准绳既然系统效率是真金白银那到底怎么测我在AI基础设施团队摸爬滚打多年整理出四条最常用的评估准绳如果你正准备采购AI算力完全可以照这个思路搭一套自己的测试流程。第一条有效算力利用率。不要相信标称浮点也不要只跑厂商指定的benchmark而是拿你实际要用的真实模型比如开源7B、70B级别的LLaMA类模型按你的业务负载做端到端训练测试测出MFU。低于40%要高度警惕50%以上算合格能做到接近60%就是非常优秀的平台。第二条每瓦性能。分别测训练和推理两种场景下的token产出速率除以整机功耗得到每瓦每秒能生成多少token。不要只测单卡必须测整机因为整机功耗才反映供电、散热等真实数据中心的成本。第三条集群线性扩展效率。从8卡扩到64卡再到256卡测试相同模型规模下的强扩展固定总任务量卡数翻倍看耗时是否减半和弱扩展卡数翻倍任务量翻倍看耗时是否不变保持率。保持率能做到90%以上算优秀低于70%说明互联或调度存在严重问题。第四条软件适配成本。挑一个复杂的大模型训练任务记录从拿到新平台到顺利跑完一个训练step需要花费多少人力时日需要改多少代码。这一步最能暴露一个平台“看起来行”和“用起来行”之间的距离。4.2 一次“纸上选型”的真实推演我们不妨做一个简化但非常真实的选型推演。假设我要训练一个70B参数的模型总计算量很大准备做两个方案对比。方案A单卡峰值算力非常高但集群效率不佳MFU只有35%每卡每瓦产出token数较低。方案B单卡峰值算力略低但系统优化到位MFU达到55%。我用一张表格把关键差异列出来对比项方案A堆峰值算力方案B堆系统效率单卡峰值算力相对值10085实际MFU35%55%有效算力产出相对值100×35%3585×55%46.75千卡集群扩展效率从8卡扩到千卡约70%约92%最终所需等效卡数相对值约1400约1000集群长跑稳定性和故障率通信频繁断链每周重训一次稳定运行断点续训机制完善同样一个训练任务方案A可能要多花40%的硬件预算还要多承担几周的故障返工时间。我见过太多团队最初因为“单卡参数漂亮”选择了类似方案A的产品最后不光成本没省整个人被训练稳定性折腾得焦头烂额。这个推演告诉我们如果是大规模生产环境系统效率带来的胜出往往比单卡峰值更重要。4.3 读公开数据时的几个“坑”给你几条实操很强的避坑经验。第一看好“稀疏算力”和“稠密算力”的区别。厂商很喜欢在PPT上写稀疏算力数字好看但大模型绝大多数运算是稠密的稀疏模式根本发挥不出来。你选型一定要盯着稠密FP16或BF16的数字。第二所谓“理论峰值”跟“真实吞吐”的距离非常大。看benchmark不要只看跑分数字要看是否包含完整系统优化。比如同一张卡在堆满NVLink整机里测出来和单卡裸跑完全不是一个概念。第三每瓦性能必须在同一个精度模式下比。FP8可能比FP16快一截但你的业务真的能用FP8吗信息精度要求是否允许必须在相同条件下去比。第四也是最重要的一条看长期稳定性。训练一个模型要连续跑几周甚至几个月中间一旦过热降频、断链故障、同步卡死都是巨大的成本损失。厂商从不把故障率写在白皮书上你需要自己跑压力测试跑个72小时连续训练看看日志里有没有异常这比任何参数都真实。5. 接下来的竞争格局谁会继续领先5.1 从“卖GPU”到“卖AI系统”很明显头部的AI芯片公司已经在从“卖芯片”转向“卖整机系统”甚至“卖算力服务”。拿英伟达来说它不只是卖GPU还卖DGX整柜设备、卖SuperPOD集群方案其CUDA生态更是竞争者追赶多年都跨越不了的高墙。AMD虽然在拼命推ROCm生态但软件成熟度依然有明显差距谷歌的TPU则走的是极度垂直整合的路子从芯片、互联、机房到软件框架全栈自研强调云端的一体化交付能力。新进入者如果想在算力竞赛时代凭单卡参数杀入市场已经被证明是非常困难的。但在系统效率竞赛时代机会窗口反而打开了比如在设计上专注HBM协作和带宽优化在推理场景提供高能效比方案在机柜一体化液冷方案上做定制在Chiplet和UCIe互连技术上做开放生态。这些方向不再是“比谁的FLOPS大”而是比谁能提供更低的每token成本、更稳定的集群和更成熟的软件栈。对整个行业来说这是对后进入者更友好、对用户更有利的竞赛方式。5.2 买卡的人变了游戏规则跟着变我这两年接触了大量AI大厂和云厂商的算力采购团队发现一个非常明显的心态变化大家开始按“系统SLA”来买了。什么叫SLA就是供应商要承诺“一卡每月能产出多少有效训练时长”“集群可用率达到多少个百分点”“故障恢复时间不超过多久”。他们甚至会把“液冷整柜方案”“可用的网络带宽”“断点续训能力”写进招标书里而不是仅仅写“FP16算力不低于XX”。这背后的动力其实非常简单——大家受够了“买了一堆算力却跑不出活”的痛苦。以前按单卡参数买买回来发现集群利用率低、网络经常断、软件不顶用折腾三个月项目跑不出成果这时候再好看的跑分有什么用所以买卡的人在倒逼整个供应链从“参数导向”走向“结果导向”。当这个逻辑流行开来算力竞赛向系统效率竞赛的转变就不再是某一家公司的口号而是整个市场用脚投票的结果。作为工程师或者基础架构决策者我个人最推荐的做法是建立自己的“系统效率基准集”。不要迷信任何一家厂商的发布会也不要只盯着一张参数表。挑三个能代表你实际业务的模型每个季度跑一轮真实负载测试记录MFU、每瓦输出token数、故障率这几个关键指标。连续跑上两个季度你手里的数据会比任何厂商白皮书都可靠。而在一次一次踩坑和调优之间你会慢慢理解到那句“AI芯片竞争正在变成系统效率竞赛”并不是行业给自己贴的金而是每一份电费账单、每一次训练断点恢复、每一个不眠的深夜共同写出的现实。
