1. 从一张电费单说起万卡集群的钱到底烧在哪很多人第一次听到自建万卡AIDC这个说法脑子里浮现的画面是机房里密密麻麻的机柜和闪烁的指示灯觉得这就是个堆显卡的生意。但真正在里面待过的人都知道万卡集群最贵的从来不是那批加速卡本身而是让这一万张卡同时转起来、还不烧坏、还不掉线的整套系统。客户付的一百块钱里有多少变成了电费有多少变成了折旧有多少变成了运维工程师的夜宵有多少变成了上游供应商的利润这笔账如果算不清楚项目基本就是给电力公司和设备商打工。我先把结论摆在前面在一个典型的万卡级AIDC里客户每付出一百块钱真正落到算力本身这个环节的比例往往比外行想象的低得多。剩下的钱被切成了好几块而且每一块的去向都不一样。这篇文章我就按自己的实操经验把这条资金链路一层层拆开看看钱到底流向了哪里以及作为运营方或者使用方怎么在这条链路上找到自己的位置。需要先说明的是下面涉及的所有比例、单价、模型都是基于行业里常见的公开实践做的合理估算不同地区、不同规模、不同建设年份的项目差异会很大具体数字请以自己项目的实际账单为准。我写这些不是给你一个精确的财务报表而是给你一套拆解思路让你拿到任何一份AIDC报价单时都能自己算出钱去哪了。1.1 为什么万卡这个量级是个分水岭一千张卡和一万张卡看起来只是数量差十倍但工程复杂度完全不是一个量级。千卡集群很多时候还能靠堆机器人工盯扛过去到了万卡网络拓扑、供电冗余、散热方案、故障自愈、任务调度每一项都会从能用变成必须专门设计。举个最直观的例子网络。千卡规模下你可能用普通的以太网交换机组个两层架构就能跑延迟虽然不理想但能忍。到了万卡节点间的通信量呈指数级上升如果还用同样的思路训练任务会大量时间耗在等数据上加速卡利用率可能从百分之七八十掉到百分之三四十。这意味着你花同样的电费产出的有效算力少了一半单位算力成本直接翻倍。所以万卡集群必须上更贵的互联方案这部分成本会直接摊到客户头上。再比如供电。一万张高功耗加速卡加上配套的CPU、内存、存储和网络设备整柜功率密度轻松突破几十千瓦。传统机房的供电和散热根本扛不住必须用专门的液冷或者高密度风冷方案。这些改造的钱最终都要从客户付的费用里回收。1.2 一百块钱的粗略切分我拿一个中等偏上配置的万卡集群做个粗略的切分帮助大家建立直觉。假设客户为一次大规模训练任务支付了一百块钱的算力费用这笔钱大致会流向这么几个方向去向大致占比说明电费20%~30%加速卡、CPU、散热、配电损耗硬件折旧25%~35%加速卡、服务器、网络、存储机房与基建摊销10%~15%土地、建筑、供电改造、液冷系统运维人力8%~12%值班、故障处理、调度、安全网络带宽与互联5%~10%专线、交换设备、跨区传输软件与平台3%~8%调度系统、监控、计费利润与税费剩余部分运营方留存这张表不是精确的会计科目而是帮你建立一个钱不是只买卡的认知。你会发现真正和算力直接相关的硬件折旧占比也就三成左右剩下七成全是围绕让硬件能稳定跑起来的配套。这也是为什么很多自建集群的项目算下来单位算力成本并不比租用便宜多少甚至更贵——因为配套成本被低估了。2. 电费这一刀为什么它是万卡集群最大的变量在所有成本项里电费是唯一一个你越努力跑它涨得越快的项。硬件折旧是固定的人力是固定的但电费直接和你的利用率挂钩。一个万卡集群如果常年跑满电费能吃掉总收入的三成如果利用率只有一半电费占比反而会显得低但你的总收入也低单位成本更高。这就是个两头堵的局面。2.1 一张卡的功耗账怎么算先算单卡。一张主流的高性能加速卡满载功耗大概在几百瓦这个量级具体数值不同型号差异很大。我们取一个中间值来算假设单卡满载功耗是七百瓦。一万张卡就是七兆瓦这还只是加速卡本身。但一张卡不能单独工作它插在服务器里服务器还有两颗CPU、若干内存条、本地盘、网卡、风扇。一台八卡服务器整机功耗往往在六到八千瓦。一万张卡大约对应一千两百多台八卡服务器整机功耗就是八兆瓦左右。这还没完。这些电在传输和转换过程中有损耗配电系统效率一般在九成出头UPS和变压器也要吃掉一部分。再加上散热系统——风冷的话风扇本身耗电液冷的话水泵和冷却塔耗电这部分通常是IT设备功耗的百分之二十到四十。所以一个万卡集群的总用电功率轻松超过十兆瓦。十兆瓦是什么概念一小时就是一万度电。按工业电价一度电几毛钱算一小时电费就是几千块。一天二十四小时就是十几万。一年下来光电费就是几千万。这个数字放在任何一家公司的财务报表上都不是小数目。2.2 电价差一毛利润差多少电费对利润的影响最敏感的就是电价。不同地区、不同供电方式电价能差出好几毛钱。我见过有的项目为了拿到更低的电价专门选址在电力资源富余的区域甚至自建部分供电设施。假设一个万卡集群年均运行功率是十兆瓦一年运行八千小时留出检修和维护时间年耗电量就是八千万度。如果电价是五毛年电费四千万如果电价是四毛年电费三千二百万。一毛钱的差价一年就是八百万的利润差。对于运营方来说这八百万可能就是全年净利润的全部。所以你会看到真正做AIDC的团队在选址阶段就把电价谈判当成头等大事。有的甚至会和供电方签长期协议锁定一个相对优惠的价格。这不是抠门这是这个生意的命脉。2.3 利用率决定了电费是成本还是投资电费本身不可怕可怕的是空转。集群开着卡没跑任务电照样在耗这部分电费就是纯亏损。所以运营方的核心KPI之一就是利用率。我个人的经验是万卡集群的盈亏平衡点利用率至少要跑到六成以上。低于这个数电费和折旧就把利润吃光了。而要跑到六成以上靠零散的小客户是不行的必须有稳定的大客户或者自己的内部任务托底。这里有个反直觉的点有时候运营方宁愿降价接单也不愿意让集群空着。因为空转的电费和折旧是沉没成本降价接单至少能覆盖一部分变动成本。这就是为什么你会看到算力价格战打得那么凶——不是大家不想赚钱是空转更亏。3. 硬件折旧那批卡从买入那天就在贬值加速卡是这个行业里贬值最快的大宗资产之一。新一代产品出来老一代价格就跳水。而且卡不是买来就能一直用的高负载运行下故障率会上升寿命会缩短。所以硬件折旧这块算起来比电费还让人心疼。3.1 折旧年限怎么定才合理会计上通常按三到五年折旧但实际业务里加速卡的经济寿命往往更短。因为两三年后新一代卡出来你的老卡在性能和能效上都落后客户不愿意用你只能降价。降价就意味着单位算力的收入下降但折旧成本还是按原值摊利润就被压缩了。我见过比较务实的做法是按三年折旧同时预留一部分残值。三年后这批卡即使还能用也基本只能跑一些对性能不敏感的推理任务或者卖给对成本极度敏感的下游。这部分残值收入能稍微弥补一点折旧压力。3.2 故障率是个隐形杀手万卡集群卡多了故障就是常态。行业里有个说法叫日抛卡虽然夸张但反映了一个现实在高强度训练场景下加速卡、网卡、光模块的故障率都不低。一张卡坏了不只是换一张卡的成本。停机期间整个任务可能都要暂停等替换完成再恢复。如果是大规模分布式训练一个节点掉线可能导致整个任务回滚到上一个检查点浪费的算力时间就是白花花的钱。所以运营方必须准备备件库存还要有快速定位和替换故障的流程。这些备件和人力都是成本。我个人的经验是备件比例至少要准备百分之三到五。也就是说一万张卡要常备三百到五百张作为替换。这批备件不产生收入但必须买必须养着。这笔钱最终也要摊到客户头上。3.3 网络设备的折旧更隐蔽大家算成本时容易只盯着加速卡忽略了网络。万卡集群的互联网络交换机、光模块、线缆加起来也是一笔巨款。而且光模块是消耗品故障率比交换机还高。这些设备的折旧和更换成本往往被低估。尤其是高速光模块价格不便宜用量又大。一个万卡集群用掉几万个光模块很正常。每个光模块几百到几千块不等加起来就是几千万的投入。这部分折旧摊到每张卡上又是一笔不小的数字。4. 机房与基建那些看不见的沉没成本如果说电费和硬件是显性成本那机房和基建就是隐性成本。很多人在做预算时只算了设备和电费结果机房改造、供电扩容、散热系统这些钱一出来预算直接超支。4.1 从毛坯到能跑卡中间隔着多少道工序一个标准的机房要改造成能承载万卡集群的AIDC中间要过好几道关。首先是承重高密度机柜对楼板承重要求很高很多老机房根本达不到需要加固。其次是供电要引入足够容量的市电还要配UPS和柴油发电机做冗余。然后是散热风冷要规划冷热通道液冷要铺管道和装CDU。最后是消防、监控、门禁这些配套。每一道工序都是钱。而且这些改造一旦做了就是沉没成本不管集群跑不跑钱都花出去了。所以运营方在选址时会优先考虑那些已经具备基础条件的机房能省一大笔改造费。4.2 液冷不是想上就能上现在高密度集群越来越多地采用液冷因为风冷在高功率密度下效率太低。但液冷不是买几台设备装上就行它涉及到整个机房的管路设计、冷却液循环、泄漏检测、维护流程。我见过一些项目为了赶进度液冷系统没调试好就上线结果运行一段时间后出现漏液把服务器泡了。这种事故的损失不只是修服务器的钱还有停机造成的收入损失和客户信任的流失。所以液冷系统的调试和验证必须留足时间不能压缩。4.3 基建摊销怎么算进客户账单基建成本通常按年限摊销比如十年。但问题是客户可能只用一个月的算力你不可能让他承担十年的基建摊销。所以实际操作中基建成本是按预期总使用时长来分摊的也就是运营方要预估这个集群未来能卖出多少算力小时然后把基建成本除进去。这个预估非常关键。如果预估过高定价就高客户不买账如果预估过低定价低但实际卖不出那么多运营方就亏了。所以定价这件事本质上是对未来利用率的赌注。5. 运维人力那些半夜爬起来换卡的人万卡集群的运维不是坐在监控大屏前喝咖啡那么轻松。它是一个需要二十四小时值班、随时响应故障的高强度工作。这部分人力成本在总成本里占比不算最高但绝对是不可或缺的。5.1 一个万卡集群需要多少人按我的经验一个万卡集群如果自动化程度做得比较好现场运维团队大概需要十几到二十几个人分三班倒。这还不包括后端的调度、网络、安全、研发支持团队。如果把所有相关人力都算上可能要三四十人。这些人的工资、社保、培训、差旅加起来一年就是几百万到上千万。摊到每张卡上每张卡每年的人力成本就是几百到上千块。这个数字看起来不大但乘以一万就是几百万。5.2 自动化能省人但省不了全部现在很多运维工作可以自动化比如监控告警、故障自愈、任务调度。自动化确实能减少对人力的依赖但有些活还是得人干。比如换卡机械臂虽然能做但成本和灵活性还不如人工。再比如网络故障排查很多时候需要经验丰富的工程师现场判断。我的看法是自动化应该优先用在高频、重复、规则明确的任务上比如监控和告警。而低频、复杂、需要判断的任务还是得靠人。盲目追求全自动化投入产出比不一定划算。5.3 运维质量直接影响客户留存运维做得好不好客户是能感知到的。任务跑得稳不稳故障恢复快不快响应及不及时这些都直接影响客户体验。一个经常掉线、故障恢复慢的集群即使价格便宜客户也会流失。所以运维投入不是纯成本它也是竞争力的一部分。我见过有的运营方为了省人力把运维外包给第三方结果故障响应慢客户投诉不断最后大客户跑了损失远超省下的那点人力成本。这个账要算长远。6. 网络与互联数据跑得比卡还贵在万卡集群里网络的重要性怎么强调都不过分。卡与卡之间要通信节点与节点之间要通信集群与外部存储之间要通信。这些通信如果不够快、不够稳加速卡就得等着利用率就上不去。6.1 内部互联决定训练效率的关键大规模分布式训练本质上是一场通信密集型的计算。每一轮迭代各个卡之间都要交换梯度信息。如果网络带宽不够或者延迟太高卡就会空等算力就浪费了。所以万卡集群的内部互联通常会用高带宽、低延迟的方案。这些方案的成本比普通以太网高出不少。但没办法这是保证训练效率的必要投入。省了网络的钱就得用算力的浪费来还。6.2 外部带宽容易被忽略的成本项除了内部互联集群和外部世界的连接也要花钱。客户要把数据传进来把模型传出去这些都要占用带宽。如果客户数据量大带宽成本会很高。有的运营方会把带宽成本单独计费有的则打包在算力费用里。不管怎么算这部分成本是真实存在的。尤其是跨区域传输带宽费用可能相当可观。6.3 网络故障的排查成本网络故障是运维里最头疼的问题之一。因为它往往不是坏了这么简单而是时好时坏性能下降这种模糊的症状。排查起来需要专业工具和经验耗时耗力。我个人的经验是网络监控要做细要能定位到具体的链路和端口。同时要保留足够的历史数据方便回溯分析。这些监控工具和数据存储也是成本。7. 软件与平台让一万张卡像一张卡一样工作硬件堆起来只是第一步让这一万张卡高效协同工作靠的是软件和平台。调度系统、监控系统、计费系统、故障自愈系统这些软件层的投入虽然占比不高但决定了集群的可用性和易用性。7.1 调度系统算力分配的指挥棒调度系统决定了哪个任务用哪些卡、用多久、优先级如何。一个好的调度系统能提高利用率减少碎片让客户体验更好。一个差的调度系统会导致资源浪费、任务排队、客户抱怨。自研调度系统还是用开源的这是个常见的抉择。开源的省事但可能不完全贴合自己的业务需求自研的灵活但投入大、周期长。我的建议是初期可以用开源快速上线等业务跑起来、需求明确了再逐步自研替换。7.2 监控与计费钱要算得清楚监控系统要能实时看到每张卡的状态、每个任务的资源占用、每个客户的用量。计费系统要能根据这些数据准确算出每个客户该付多少钱。这两个系统如果做不好要么是运营方吃亏要么是客户不信任。我见过有的项目计费靠人工统计结果经常算错客户和运营方扯皮。这种问题看似小但很伤客户关系。所以计费和监控的自动化是必须做的。7.3 软件投入的回报周期软件投入的特点是前期投入大、回报周期长。但一旦跑通边际成本很低而且能形成壁垒。一个稳定好用的平台能吸引客户长期留存这比单纯拼价格更有价值。8. 利润与税费最后剩下的那点钱把前面所有成本都扣掉剩下的才是运营方的利润。这个利润空间取决于定价、利用率、成本控制等多个因素。在竞争激烈的市场里这个空间可能很薄。8.1 定价策略成本加成还是市场导向定价有两种思路成本加成和市场导向。成本加成是算清楚所有成本加上目标利润得出价格。市场导向是看竞争对手卖多少钱跟着定。实际操作中往往是两者结合。我的经验是成本加成能保证你不亏但可能定得过高卖不出去市场导向能保证你有竞争力但可能亏本。所以要先算清楚自己的成本底线再根据市场情况灵活调整。8.2 税费与合规成本税费是硬性支出跑不掉。除此之外还有各种合规成本比如安全认证、数据保护、环保要求。这些成本虽然不直接产生收入但不做又不行。8.3 规模效应越大越省还是越大越难理论上规模越大单位成本越低因为基建和人力可以摊薄。但实际中规模越大管理复杂度越高故障影响面越大协调成本也越高。所以规模效应不是无限的存在一个最优规模。我个人的观察是万卡这个量级已经进入了规模不经济的临界区。再往上堆管理成本的增长可能超过规模带来的节省。所以很多运营方会选择多个中等规模集群分布式部署而不是一味追求单集群规模。9. 客户视角你付的钱买到了什么前面都是从运营方角度算账。换个角度从客户视角看你付的一百块钱买到的到底是什么9.1 你买的是有效算力不是卡的数量客户真正需要的是能跑出结果的有效算力而不是一堆卡的物理存在。如果集群利用率低、故障多、调度差你名义上买了一万张卡实际有效算力可能只有一半。所以选AIDC不能只看卡的数量和单价要看实际能跑出多少有效算力。9.2 稳定性比峰值性能更重要对于长期训练任务稳定性比峰值性能更重要。一个能稳定跑一个月不出故障的集群比一个峰值性能高但三天两头掉线的集群价值大得多。所以评估AIDC时要重点看它的故障率和恢复时间。9.3 隐性成本要提前问清楚除了算力单价还有很多隐性成本要提前问清楚数据传入传出要不要钱存储怎么计费技术支持响应时间多长故障停机怎么赔偿这些如果不在合同里写清楚后期容易扯皮。10. 我踩过的几个坑和一点实在建议说了这么多最后分享几个我在实际操作中踩过的坑以及一些实在的建议。第一个坑是低估了电费。早期做预算时只算了IT设备功耗忘了散热和配电损耗结果实际电费比预算高出三成。后来学乖了做预算时直接在IT功耗上乘一个一点五的系数留足余量。第二个坑是备件准备不足。有一次一批卡集中出故障备件不够只能等供应商发货停机了好几天。那几天的收入损失和客户赔偿远超多备点备件的成本。从那以后备件比例我再也不敢压太低。第三个坑是网络监控不到位。有一次训练任务频繁中断排查了很久才发现是某个光模块间歇性故障。如果监控做得细一点能提前发现异常就不会浪费那么多时间。一点实在建议如果你是要自建AIDC先把电费和基建这两块算清楚这两块最容易超支。如果你是要租用AIDC别只看单价要综合评估稳定性、运维响应和隐性成本。这个行业没有捷径每一分钱都要花在刀刃上每一度电都要算清楚去向。客户付的一百块最终流向哪里取决于你在这条链路上每一个环节的取舍和把控。
