1. 上海峰会现场最值得琢磨的三个信号说给没去成的人听这两天朋友圈被上海那场AI芯片峰会刷屏了我作为一个每年都要跑几场行业活动的人本来以为又是一场各家PPT比参数的例行公事结果两天听下来发现风向确实变了。如果你没能到现场这篇就当是我帮你代逛了把最有价值的观察和判断一次说清。先说结论AI芯片接下来的主战场已经不是“谁的核心数多、谁制程先进”这种明面上的较量了。真正决定下一阶段格局的是围绕芯片的软硬件协同、互联方案、内存带宽、以及“能不能让客户把算力真正用起来”这四件事。这次峰会的几个信号很有意思。第一个是各家都不约而同地把重心从“训练芯片”转向了“推理芯片”强调的是单位美元/单位功耗能跑多少个并发token而不是再单纯吹峰值算力。第二个信号是端侧AI芯片的玩家明显变多了从眼镜到耳机、从PC到汽车大家都在抢“不需要联网也能跑大模型”这个入口。第三个信号最隐蔽但影响最大——台下的投资人、系统集成商和云厂商问得最多的不是芯片跑分而是软件栈成熟度、算子覆盖率、以及能不能兼容现有的主流模型框架。从技术视角看AI芯片这几年的变化本质上是算力需求结构变了。以前大家造芯片目标很单纯把Transformer的训练时间缩短。但到了2025年这个阶段训练侧的格局已经基本固化真正爆发的是推理需求。你在手机上用的语音助手、在PC上开的AI编程助手、在工业产线里跑的质量检测模型这些全都是推理负载而且它们对芯片的要求和训练完全不同——推理更看重时延、并发能力、内存带宽和能效比而不是绝对的理论浮点算力。这篇文章我想系统性地把这次峰会暴露出来的技术趋势、产品动向和行业判断整理一下重点讲清楚三件事AI芯片的架构演进到底走到哪一步了、为什么互联和内存开始比制程更重要、以及端侧芯片这条路线为什么突然成了香饽饽。所有这些都是我听完现场报告、看完展区Demo、又和几家大厂的工程师私下聊了一圈之后沉淀下来的东西。2. 别再盯着峰值算力了推理时代拼的是“有效算力”这次峰会上有一个反复出现的词让我印象很深——“有效算力”。很多演讲嘉宾都在用一种更挑剔的眼神审视算力你这颗芯片实际跑一个LLM推理请求延迟多少每瓦特能处理多少个并发会话能效比是多少这不是某一家厂商的新提法而是整个行业都开始意识到理论算力数字已经欺骗大家太久了。为什么会出现这个转变根本原因是大模型的应用形态变了。2024年之前大家聊AI芯片必谈训练因为GPT-4这一代模型动辄上万张GPU集群训练算力怎么堆都不过分。但到了2025年一个明显的风向是训练需求开始见顶推理需求开始爆炸。我在这再说得直白点大模型的商业模式已经从“炼金”变成了“卖水”。开发一个基座模型门槛极高但那是少数头部玩家的事而把模型部署到千家万户的业务场景里才是绝大多数企业真正在做的。这带来的直接后果就是AI芯片的考核指标彻底变了峰值浮点算力TFLOPS不再是第一指标因为实际推理根本跑不到那个峰值时延Latency成为关键比如智能客服、自动驾驶这些场景200毫秒和20毫秒的体验天差地别并发吞吐变得和算力同等重要同样一颗芯片能同时喂饱多少个用户请求直接决定服务器采购成本和云服务定价能效比被提高到前所未有的高度因为推理服务是7×24小时跑的电费是实打实的运营成本。正因如此这次峰会上好几家厂商在演讲中展示的测试基准已经从传统的ResNet-50跑分变成了“在Llama-3-70B上跑多少个并发streams”、或者“跑Qwen-2.5-14B的每token耗电是多少”。这种变化本身就说明行业的话语体系已经在往真实应用场景迁移。我再给你一个具体的例子理解“有效算力”和“峰值算力”的差距。展区里有一家做推理芯片的创业公司他们展示了一组对比一颗标称200TOPS的端侧NPU如果软件栈做得不好模型算子有40%没优化到位实际跑一个大模型可能只剩60TOPS的效果而另一颗标称只有120TOPS的芯片因为算子全覆盖、内存调度优化做得好实际跑起来反而更快。现场参观的企业客户明显对后者的兴趣更大。算力是纸面的体验才是真实的这句话放在AI芯片挑选上越来越管用。说到这我得提一嘴这次的意外发现不少厂商在做“AI芯片评测墙”时已经主动用免费开源模型作为基准负载。这是个特别务实的变化因为闭源模型不肯开放权重大家只能拿Llama、Qwen、DeepSeek这些开源模型来测。这意味着开源模型实际上成了AI芯片行业的事实标准测试集这个影响会越来越深远——芯片在开源模型上表现好客户采购意愿就高而芯片厂商也会反过来针对这些模型做深度优化形成正反馈循环。3. 内存与互联的卡脖子问题成了比制程更硬的约束这次峰会上有个观点几乎被所有演讲者提到那就是AI芯片的瓶颈已经从晶体管数量转移到了数据搬运速度。说白了芯片计算单元的算力增长太快但数据从内存搬到计算单元的“路”太窄了模型权重根本喂不进去。这个问题的学名叫“内存墙”。我试着用个生活化的类比来解释假设你的计算单元是一个超级大厨做菜速度极快每分钟能炒50道菜但你的配菜员内存能力有限每分钟只能从仓库主存搬5道菜的食材过来大厨只能干等。这时候你换再好的锅、再锋利的刀算力单元都没用瓶颈在配菜员身上。这次峰会上围绕“内存墙”的解决方案大致有三条路线第一条是HBM堆叠技术。HBM高带宽内存通过硅中介层把多层DRAM和计算die封装在一起用极宽的接口传输数据。这次有几家厂商展示了最新一代HBM3E方案单颗芯片的带宽做到1.2TB/s以上相当于每秒能搬运超过1万张蓝光碟的数据。这项技术现在已经成了高端AI芯片的标配但难点在于产能和良率HBM的制造和测试成本极高头部DRAM厂商在这个环节的话语权非常大。第二条是Chiplet和先进封装路线。既然单颗大芯片做不大做不便宜那就把芯片拆成多个小模块——计算die、内存die、IO die分开制造再通过先进封装“拼”在一起。台积电的CoWoS、CoWoS-R、以及这几年行业内反复讨论的UCIe互联标准都是在做这件事。我在现场看到一家国内厂商展示了他们的Chiplet方案把两个计算die和一个IO die封装在一起良率做到了接近单die的水平这个进步让我挺意外的。第三条是近存计算Near-Memory Computing和存内计算In-Memory Computing路线。这条路更激进直接把计算单元挪到内存旁边甚至干脆让内存本身具备计算能力。现场有一家做存算一体芯片的公司他们的Demo是在同一颗Die上集成了大容量SRAM和可配置的计算阵列跑大模型推理的时候模型权重存在SRAM里计算时就地读取不需要反复经过狭窄的数据通道。他们展示的能效比数据非常可观FP16下做到了80TOPS/W比传统方案高了一个量级。这里我想多说一句因为很多人对存内计算有个误解以为它能完全替代传统方案。实际上目前成熟的存内计算还是以SRAM为主密度有限更适合中等规模的端侧和边缘侧场景超大集群的训练芯片短期内还是要靠HBM外部大容量内存的组合。相对合理的预判是未来两三年内HBMChiplet会是高端AI芯片的绝对主流存内计算则会在端侧和边缘侧先跑出规模两条腿走路各管一段。另外一个容易被忽略但极其关键的“隐形战场”是芯片间互联。大模型训练和推理早就不是单颗芯片的事了而是千卡万卡集群协同工作。英伟达的NVLink之所以是壁垒就是因为它在芯片之间建立了超高带宽、超低时延的直连通道使得整个集群像一台虚拟超级计算机。这次峰会上国内也有多家厂商在推自己的高速互联方案比如类NVLink的点对点直连、基于以太网的RDMA方案、以及光互连技术。有个现场展示让我印象深刻一家做AI集群互联方案的厂商用一个模拟的1024卡集群演示了在PCIe和高速直连两种方案下训练一个大模型的性能差异。同样的卡、同样的模型直连方案的整体训练吞吐提升了接近50%。说白了大模型时代的算力是“连”出来的不是“堆”出来的。集群规模越大互联的瓶颈效应就越明显。谁先把互联协议和拥塞控制做好谁就能在千卡级市场拿到先手。4. 大模型从云端走向端侧芯片厂的新蛋糕和老难题这次峰会展区最热闹的当属端侧AI芯片。从智能眼镜、AI耳机、到AI PC、智能家居、车载智能座舱凡是你想得到的终端设备几乎都在秀“本地跑大模型”的能力。这背后的驱动力其实不难理解隐私保护敏感数据不出设备谁愿意把病历、语音、摄像头画面全部传到云端时延约束很多交互场景不允许来回上传下载比如自动驾驶的紧急制动判断必须毫秒级本地响应成本与可靠性云端调用按Token计费长期是一笔不小的开销而且断网就不能用国家与行业合规要求不少行业对数据出域有严格限制只能在本地处理。但“端侧跑大模型”说起来容易做起来是真难。为什么因为大模型动辄几十B、上百B参数而一个手机芯片的算力可能只有几十TOPS内存只有几GB。要在这么“穷”的环境里跑出可用的效果行业走了一条“软硬协同瘦身”的路线。第一步是模型层面压缩。量化技术把FP16精度压到INT4甚至INT34-bit量化后的7B模型体积可以压缩到4GB出头剪枝和蒸馏去掉模型的冗余参数知识蒸馏让一个7B小模型去模仿70B大模型的行为。我现在手里用的这波便宜好用的小模型基本上都是这么折腾出来的。第二步是异构计算拆分。端侧芯片不再用一个通用GPU大包大揽而是采用“CPUGPU/NPU小核NPU”的异构架构大模型的主干网络跑在主NPU上一些轻量的算子分给小核音频编解码、语音唤醒这类固定任务用独立的小处理单元完成。这样做的目的是把算力用在刀刃上避免大炮打蚊子也避免整机功耗失控。第三步是推理引擎优化。这是端侧落地最关键也是最脏最累的活。现场一家做端侧推理框架的厂商展示了他们的成果在完全相同的手机SoC上通过算子融合、内存复用和异步调度三板斧把一个大模型的推理时延从原来的800毫秒压到了280毫秒。这个优化幅度靠堆硬件是根本做不到的只能靠软件栈硬啃。不过端侧芯片真正的挑战还不在芯片本身而在生态碎片化。我发现一个很有意思的现象手机SoC、PC处理器、车载芯片、IoT芯片各自为政NPU指令集完全不互通AI推理框架适配一套再换一套。对于应用开发者来说每换一个平台就要重新适配一遍这种体验非常劝退。从业内角度看现阶段比较务实的方向是中间层标准化。也就是由推理框架/编译器在上层做统一的图优化和算子接口封装把不同NPU的差异隔离在底层让开发者面对同一套API。这种思路本质上就是复刻当年GPU行业发生过的“统一计算框架”路径。谁能在这个中间层占据生态位谁就能吃到端侧AI普及的最大红利。5. 现场走访之后的厂商格局观察三家路线值得留意两天峰会逛下来展区现场我基本每家的展台都待了十分钟以上和十几位工程师聊了聊技术细节。在讲产品之前先补一句这里讲的全是公开信息和行业共识不含任何未经证实的内部料。你可以把它当成一份厂商路线的“参展观察笔记”来看。第一家要提的是英伟达系的后续延续。虽然英伟达的人这次没站上主论坛但现场几家合作伙伴的展台都在展示基于Blackwell架构的方案。让人感慨的是老黄的CUDA生态护城河到现在依然无比牢固。在现场看到几个开发者他们换芯片的唯一阻碍不是性能而是“重新适配一套栈的时间成本”太高。你在决定换不换芯片之前先算算你工程师团队几个月的人力投入就明白这个生态壁垒有多硬了。第二家是国内算力主力昇腾生态。这次昇腾相关厂商展示的重点明显往“大规模集群训推可靠性”倾斜。有个展台展示了2048卡集群长时间训练任务的稳定性监控面板在30天连续运行下训练中断次数控制在个位数。这个数据放到两年前是想都不敢想的。而且昇腾在推理侧的软件栈对比前两代产品算子覆盖率已经有肉眼可见的提升。加上“昇腾MindIE/ MindSpore”的配合日渐成熟我看到很多做私有化大模型落地的企业已经在认真评估迁移了。第三家是一批走AGI专用架构的初创公司。现场有一家做“多模态推理单芯片”的厂商很有意思他们的产品把视觉Transformer和语言模型解码器做在同一个加速器方案里目标场景是智能安防和工业质检这类需要同时处理图像文本的任务。相比拿通用GPU硬跑多模态模型这种专用架构的单位功耗能效比翻了一倍多。虽然生态还不完善但在垂直场景里已经够用了。主要的落地案例集中在智慧园区、仓储物流这些领域采购方给出的反馈集中在“交付速度快、支持响应及时”上。在现场我还留意到一个现象国内芯片厂商的客户画像正在分化。过去大家一股脑儿对标高端训练卡现在有的专攻推理一体机有的聚焦端侧语音、视觉有的做智算中心集群方案。这种分化恰恰说明AI芯片市场从“大一统”进入了“各管一段”的成熟期。对采购方来说这其实是好事能按场景精准选型而不是为用不到的高算力买单。6. 对“AI芯片下一步往哪里走”的个人判断和技术复盘两天峰会下来再加上和同行们私下聊的内容我需要重新校准自己对行业节奏的判断。最直观的感受是2025年的AI芯片行业不再有那种“一招鲜吃遍天”的路径了。过去几年大家默认“英伟达怎么做全行业就怎么做”现在这个假设已经松动取而代之的是几条路线在各自场景里并行推进。第一条主线是推理优化驱动的架构迭代。未来两三年上市的AI芯片大概率会以推理负载为核心设计指标也就是把内存带宽、并发解码能力、稀疏化支持这些做深做透。训练性能最强可能不再是宣传卖点推理能效比和TCO总拥有成本才是打动客户的关键。第二条主线是互联与集群能力的军备竞赛。当单芯片算力逐渐逼近物理极限集群性能就成了差异化焦点。谁家的互联带宽高、时延低、容错强谁就能在万卡集群大模型训练/推理的战场上站住脚。值得关注的是除了传统的专有互联方案基于以太网生态的UEC超以太网联盟也在快速崛起这会是一个非常精彩的博弈点。第三条主线是从“芯片”到“芯片模型应用”的垂直整合。这次峰会上不少芯片厂商直接展示了他们finetune好的行业模型和端到端的解决方案。单纯卖芯片越来越难了客户要的是能开箱即用的AI能力。芯片厂商要么自己往应用层走要么和模型厂商、集成商绑定成利益共同体这比芯片本身的技术优势更影响市场格局。从我个人的实际经验来说做AI基础设施选型的人很可能会面临以下这些实实在在的感受和选择如果预算有限且主要跑推理不必一味追最新的旗舰卡成熟的中端推理卡配好软件栈往往性价比更高选芯片先看软件栈算子覆盖率和框架兼容性远比你想象的更能决定项目成败集群若是超过百卡规模第一优先考虑的已经不是芯片单卡性能而是互联方案和调度系统的成熟度端侧场景要务实看待精度损失INT4量化跑极端案例可能变笨但大部分实际场景是可接受的。如果你是以跟进技术趋势为目的来读这篇那记住一句话就够了AI芯片的下一步不是单点算力突破而是整个系统的协同工程——从模型、芯片、互联到推理框架每一层都必须咬合得严丝合缝。在这个阶段硬件只是载体决定上限的是软件和生态。再分享一个我在展区里学到的实用建议回到公司做技术选型时可以先从“三个匹配”入手算力需求匹配应用负载、软件栈匹配团队能力、总成本匹配项目预算。拿这三个匹配去套任何一家芯片方案思路会清爽很多。最后补一句个人体会做芯片的是硬功夫做生态的是细功夫在AI芯片这个行业里两者缺一不可。下次再有类似的峰会建议你现场去转转别光看参数要重点感受真实的产品演示和各家工程师的状态。看得多、走得近会比研究报告管用得多。
