最近不少朋友都在聊高通-亚马逊合作这件事。我做AI基础设施相关的工作有一段时间了看到这则消息的第一反应不是高通要卖芯片给亚马逊了这么简单而是背后透露出的AI算力构建模式迁移的信号比合作本身更有意思。这篇就围绕这个合作展开聊聊算力构建模式到底在发生什么变化对做AI应用、做基础设施、甚至在选型期的企业分别意味着什么我会用实际操作中的经验和数据来展开尽量说人话不做报告腔。1. 高通和亚马逊联手到底在谈什么1.1 从一份消息看双方的合作全貌先还原一下事情的轮廓。高通近期把自家的芯片设计验证和高性能计算负载大规模迁移到了亚马逊云科技AWS上同时双方在AI推理、端侧智能等领域做了更深层面的协同。这个合作包含了几条线芯片设计上云高通的EDA电子设计自动化工具链、逻辑验证、物理验证、时序仿真等超大规模计算任务在AWS的弹性计算资源上运行。这类任务的特点是单次模拟可能跑几十个小时资源消耗极高且有明显的波峰波谷。AI推理协同高通的Cloud AI 100面向云端推理的AI加速卡和骁龙平台的AI能效方案与AWS的AI服务栈做了适配和优化让客户在云端到端侧之间有一套完整的推理部署路径。高性能计算集群调度的对接高通的内部调度平台与AWS的弹性伸缩、容器编排、GPU实例家族做了深度集成这意味着高通的研发团队可以像用水用电一样按需申请算力而不是等机房扩容。很多人看到这类消息时会下意识认为高通只是AWS的一个大客户而已但站在基础设施工作者的角度这个合作恰恰说明了一个关键趋势芯片公司这种对计算资源最挑剔、需求最极端的用户都开始把核心研发算力放到云上了。如果连做芯片的都不再执着于自建超大规模机房那绝大多数企业其实也没有必要把自己锁死在自建数据中心里。1.2 为什么是这两家走到一起高通的处境很典型。芯片设计行业这几年的算力需求增长有多猛用一组数据来说先进制程芯片的物理验证任务动辄需要数千甚至上万核并行跑几周一次完整的SoC系统级芯片验证流程消耗的CPU核时数十年前还是百万级现在已经到了亿级。摩尔定律放缓之后业界靠Chiplet芯粒、先进封装、复杂架构来续命每多一个方案就要多几倍的仿真验证量。如果这些负载全部靠自建机房承载意味着不断买服务器、不断扩机房、不断养一支规模庞大的运维团队最终换来的可能是平均利用率只有两成的大象级资产库。AWS这边呢它的核心收入增长引擎依然是云上的计算资源租赁但它在面对AI浪潮时有一个隐忧大量客户涌上来要的是GPU算力而GPU供应和价格波动太剧烈单一依赖某一家芯片厂商对AWS来说风险过高。所以AWS这几年的动作很清晰一边自研Trainium、Inferentia等AI训练推理芯片一边跟高通、苹果这类能设计出低功耗高性能芯片的厂商合作把x86、Arm、定制AI芯片的算力做成一个多层次的货架。高通的加入直接给AWS的货架上补充了端侧AI协同这个特色品类——这是英伟达暂时覆盖不到的领域。对双方来说这都不是一次单纯买卖而是一次生态补位。合作背后真正的关键词是算力从按台数构建转向按服务构建从同构走向异构从集中走向端云联动。这三个词就是这篇文章想聊的模式迁移核心。2. 传统AI算力构建模式正在被什么卡脖子2.1 买卡-建机房-运维的老路子先说说过去几年乃至现在很多企业仍在用的AI算力构建模式。一句话概括算力固定资产。公司要搞AI第一步是预算买卡第二步是找机房托管或者自建机房第三步是组一个运维团队盯着散热、宕机、驱动、网络。这个模式在早期模型规模小、实验节奏慢的时候是没问题的但到了大模型和复杂多模态阶段明显吃力。我先拆一下典型的传统AI算力集群长什么样。以一个小型大模型训练集群为例64台8卡GPU服务器是起步配置每台服务器算力约8卡×80G显存整体大概512张卡。除了服务器本身还需要高速网络训练任务需要GPU之间做all-reduce梯度同步百Gbps级别的RoCE或InfiniBand网络几乎是标配一台交换机就是几十万。存储集群训练数据、检查点checkpoint要落地GPFS、Lustre这类并行文件系统企业版授权和维护费用极高还经常需要专门的存储工程师调优。调度平台Slurm、K8s等调度环境要装、要配、要调排队策略、故障恢复、配额管理全都要维护。机房配套电力、制冷、机柜托管。512张卡满载的功耗大约是130kW一个月的电费按工业电价算就是十几万起步。这套东西的全部成本加起来可能超过3000万人民币。然而AI项目的真实节奏是训练任务并不是7×24小时跑满的数据清洗、调参、评测的阶段GPU完全闲置的比比皆是。我见过一个真实的场景某企业买了一批卡三个月里平均利用率不到25%因为团队在等数据、改代码、调超参的时间远比真正跑训练的时间多。你想一下花3000万买了个高级健身房然后每周只去一次办卡的时候觉得值交钱之后才意识到这钱花得多冤。2.2 算力利用率低下的真实原因CPU和GPU利用率低原因通常不是任务不够多而是三个层面的问题资源碎片化不同实验需要不同规模的算力1卡、4卡、8卡、64卡都有需求。但一个静态集群里卡是物理绑定的64卡的任务只能等64卡的空闲窗口哪怕此时有4台空闲的8卡节点也无法拼出一个64卡窗口。于是大量算力在等待中浪费。工程链路不完善很多团队的算力消耗集中在尝试而不是产出。模型代码要反复修数据管线要反复调每一次尝试都占着卡但有效迭代占比很低。这是运营方法的问题却直接表现为算力不够。弹性能力缺失自建集群的算力天花板是固定的遇到业务峰值的唯一选择是排队或者临时采购但临时采购硬件周期动辄数月根本来不及。这些问题的本质是静态、固定资产式的算力构建模式和AI研发高波动、突发性强、需求多元的特征之间存在着根本矛盾。高通这种芯片公司算力需求波动比一般AI企业更大——验证任务有明确的里程碑节点流片前一个月要冲量平时就相对平稳。如果按峰值需求建机房意味着大部分时间在养闲人闲机器如果不建机房峰值来了又扛不住。这种两难恰恰是云计算模式下最容易解决的。3. 算力构建的三大迁移方向3.1 迁移方向一从自建到租用第一种迁移是最直观的从自己买硬件变成按需租用。过去几年大家对上云有顾虑主要担心三个问题成本是否更贵、数据是否安全、性能是否损耗。但现在这些顾虑正在被实际使用体验逐一化解。成本这块我算过一笔很实在的账。自建512卡集群一次性采购加首年运营成本按3000万算如果按三年折旧平均每年1000万。而这512卡如果放在云上按当前主流的A100/H800实例价格折算包年价格可能略高于自建但云上的核心优势是不用的时候可以关机和需要的时候可以到1024卡。自建集群三年365天都躺着一半机器云上集群每天只用6小时的训练任务按量付费之后的总成本通常是自建的六到七成。更不用说云上免掉了机房扩容、设备老化、驱动升级这些运维负担。数据安全和性能这两关我在实际项目里测过。云上现在提供的是物理隔离的裸金属实例所谓邻居干扰在绝大多数主流云厂商那里已经不太存在分布式训练用到的高性能网络比如EFA、RoCE在云上的延迟和自建InfiniBand的差距已经收敛到了5%以内对于需要一周才能训练完成的大模型来说这5%的时间成本完全可以接受。真正的变化在于算力第一次变成了一种开关即用的运营资源。高通在AWS上的实践最能说明这一点——芯片验证任务可以拆成成千上万个并行的小任务在云上瞬间扩展到2万个核跑完就释放按秒计费。这种一天用2万核、第二天回到200核的伸缩模式在自建机房时代是完全无法想象的。3.2 迁移方向二从单一GPU到异构算力第二个迁移是从非GPU不可走向多种算力芯片协同。过去做AI基本只有一种选择英伟达GPU搭配CUDA生态。很多团队甚至产生了一种路径依赖——优化模型就是优化GPU利用率衡量算力就是看买了多少张A100。但行业正在分化。AWS推出自研Trainium/InferentiaGoogle有TPU各家云厂商都在做自己的ASIC芯片高通的Cloud AI 100系列则瞄准了云端推理场景。这些芯片在特定负载下的性价比和能效比已经能和英伟达旗舰卡掰手腕了。举个例子推理业务中如果QPS每秒请求数稳定且模型结构固定专用推理芯片的性价比通常能比通用GPU高40%以上训练任务如果结构简单、优化充分TPU和Trainium的单位算力成本也明显更低。真正的问题只在于迁移成本——这些芯片各自的工具链、编译器、生态完善程度不同代码适配需要投入。这就引出了一个新的工程方向异构算力编排。一个AI平台底下同时挂着GPU、NPU、ASIC、CPU池子平台层根据任务的特性自动调度——大模型预训练跑GPU集群高吞吐低精度的推理跑推理芯片数据预处理和Embedding计算跑CPU。这种模式对平台团队的要求更高但省下来的成本是肉眼可见的。高通和AWS的这轮合作本质上就是在为这种多元算力协同铺路高通的AI芯片进AWS的认证列表和实例目录意味着AWS客户多了一个异构算力的选择以及一套从端到云的推理部署方案。3.3 迁移方向三从云端集中到端云协同第三个迁移很多人还没意识到但可能是影响最深远的一个——AI算力的部署形态正从所有任务都上云转向能端上算的绝不云端算。高通的看家本领就是端侧AI。骁龙平台上的NPU神经网络处理单元已经可以支撑几十亿参数的模型在手机上离线运行汽车座舱里的AI算力甚至可以独立完成语音、视觉、驾驶辅助的实时推理。这些场景的共同特点是延迟敏感、隐私敏感、网络不稳定、功耗有硬上限。在这种场景里把数据传到云端再拿回结果无论从体验还是合规角度都不可行必须在设备端完成推理。于是整个AI算力架构开始分层云上训练大模型端侧跑轻量推理云侧做重推理和复杂任务两端之间通过高效的同步机制协作。典型的例子是智能助手设备端先本地做唤醒词检测、意图初筛和简单指令的直接执行遇到复杂问题才把上下文传到云端调用大模型云端的回答在端上再经过安全校验和格式化。这种端云协同架构对企业的影响是实打实的。很多IoT产品、车载产品、手机App过去为了做AI功能硬着头皮把所有数据都往云端传结果带宽成本每个月几十万响应延迟又差用户一多就扛不住。如果采用端云协同把大部分推理放到端侧或边缘侧云上算力成本能降一半以上用户体验反而更好。这也是我在这轮合作里看到的隐藏价值高通的本土优势在端侧AWS的本土优势在云端双方一联手等于给做AI产品的人提供了一条完整的端云算力部署路径不必再像以前那样把端侧和云侧当成两摊割裂的事来规划。4. 这种迁移对AI集群架构的具体影响4.1 AI算力集群的典型架构拆解既然说到模式迁移就得看看现在的AI算力集群架构到底长什么样以及云化之后架构会发生什么变化。我以自己在生产环境里搭过的集群为例拆解一下。一个完整的AI算力集群通常分四层计算层GPU/TPU/NPU服务器集群提供矩阵运算能力。这层过去是铁板一块——清一色同型号GPU现在则开始混合部署不同厂商、不同代际的芯片。网络层计算节点之间的高速互联。训练集群对网络的要求极高因为每一次参数更新都要做全集群梯度同步网络性能直接决定GPU利用效率。自建集群常用InfiniBand或RoCE v2云上则是云厂商封装的EFA弹性网络适配器或高性能RoCE网络。存储层训练数据、初始化权重、日志、checkpoint的存放。要求高带宽、高并发、强一致。传统上是Lustre/GPFS这类并行文件系统的地盘云上则演变为各类托管高性能文件存储。调度层任务编排、排队、资源配额、故障转移。自建集群大多是Slurm云上则普遍转向K8s 专用AI调度器甚至有类似Volcano、KubeFlow这样的组件做AI任务感知调度。模式迁移之后的架构变化核心其实发生在调度层和计算层之间。过去调度层只能看到多少张卡空闲现在它要能识别哪些类型的卡适合哪类任务要能处理异构资源要能在云资源和本地资源之间做统一纳管。简单说算力从一个物理机房变成了一台逻辑上统一的算力池底层是哪个厂商的芯片、在哪台物理机上对用户来说已经不重要了。4.2 高通在算力架构中的新型生态位在这套新架构里高通的位置很有意思。它不是一个传统意义上的数据中心芯片供应商但它正在通过端侧AI能力和云端验证负载卡住一个关键生态位。第一个生态位是芯片设计验证的云端化示范。高通每年在芯片验证上消耗的算力极其惊人当这种公司把EDA工作负载大规模迁移到AWS之后带动的示范效应是巨大的。所有做芯片、做硬件的企业都会重新审视自己的自建机房策略——既然高通都上云了我那些跑EDA的服务器是不是也可以腾挪部分到云端弹性扩展这不仅影响了算力构建方式还会影响整个硬件研发行业的固定资产配置逻辑。第二个生态位是端云AI推理的连接器。高通的芯片出现在汽车、手机、工业设备、路由器、摄像头这些终端上这些终端每天产生海量的AI推理需求。AWS则是企业AI应用的主要承载平台。高通和AWS之间的深度适配让企业可以同时管理云端的AI服务和设备端的AI能力形成一套统一的部署视图。换句话说高通的芯片不再是孤立的端侧零件而是算力大生态中的感知和执行末梢。这个逻辑放在智能汽车里尤其明显。一辆车上有十几颗高通芯片做座舱、ADAS、车联网的算力支撑同时车厂又要在云端做自动驾驶模型训练和OTA升级。过去这两块是完全独立的采购和建设体系现在通过高通和云厂商的协同车厂可以用同一套DevOps流程管理端侧模型和云上训练效率提升是质变级的。5. 对企业和开发者意味着什么5.1 企业算力规划的新思路高通和AWS的这次合作给所有企业划了一个算力规划的重点别再把自己当机房管理员了。很多公司一到AI落地阶段第一反应就是买卡、建机房、招运维但真正常见的最优解其实是另一条路。我建议企业做算力规划时直接对照这三个步骤盘点存量先把已有的CPU池、GPU池、云上资源全部梳理清楚建一张算力清单。很多时候企业并不是没有算力而是算力散落在不同部门、不同项目里利用率极低。统一纳管之后仅通过调度优化就能释放30%以上的算力空间。弹性上云认清一个事实——按峰值规划算力是一种浪费。正确做法是按稳态峰值两套逻辑规划稳态负载用包年包月的云上实例或自建集群保证性价比峰值负载用按量付费的弹性实例随时伸缩。这个思路对芯片验证、大模型训练、营销活动这类有明显峰谷的业务特别有效。异构适配在采购端就留出异构空间。训练GPU保证一轮推理芯片多对比两轮CPU侧的向量计算不要忽视。不要被单一厂商的生态锁定绑架迁移成本是最大的隐性成本选择算力时一定要把未来能不能灵活迁移当成评估条件。5.2 开发者的技能栈需要什么变化模式迁移不只是老板和架构师的事开发者同样要调整自己的技能树。我看到目前的招聘市场和技术社区几个方向正在明显升温算力编排和调度K8s已经成为AI基础设施的底座能写自定义调度器、能处理异构资源调度的工程师是未来几年需求最稳定的人才方向。建议所有做AI后端开发的工程师把理解容器调度原理当作一门必修课。多云和混合云管理企业不会只用一个云也不会彻底放弃自建能够统一管理多朵云和本地资源的云中立工程师会非常抢手。工具层面Terraform、Crossplane这类IaC工具值得花时间学习。异构芯片迁移与优化过去只调CUDA的程序员市场在收窄能基于ONNX Runtime、OpenVINO、TensorRT等中间表示栈做多平台优化或者能做芯片间迁移评估的工程师开始吃香。高通这类端侧芯片的AI工具链也会有越来越多的容器化、云上化对接需求懂PyTorch量化、懂模型压缩、懂端侧推理的开发者会有很大优势。说白了算力构建模式的迁移对个人而言也是一次技能迁移。你不需要自己买卡、搭机房、调驱动你只需要能驾驭各种形态的算力来给业务产出价值——这才是AI时代真正的核心竞争力。我在实际帮企业搭算力平台的过程中一个明显的感受是算力这件事正在从重资产运营变成服务编排。以前CTO的核心工作之一是算清楚买多少台机器现在这项工作变成了算清楚哪些业务适合跑在哪类算力上以及如何让算力利用效率最大化。高通和亚马逊的合作只是这个趋势的一个切面但已经能很清楚地提醒所有人那种落后的、把算力当成固定资产囤积的思路确实应该翻篇了。如果你所在的企业还在纠结要不要上云要不要换芯片生态不如先花两周时间做一次算力盘点看看闲置资源到底浪费了多少钱再做决定也不迟。
给了排法)
