AI芯片的下一步到底怎么走这个问题这几天上海的行业峰会其实已经给出了不少线索。我虽然没有泡在场馆里全程听完但把各家公开发布的资料、演讲PPT、展台Demo翻了一遍又跟几位专门做算力基础设施的朋友在会后做了复盘。这篇笔记就是替没到现场的你整理的想看的产品方向、技术关键词、厂商竞争格局基本都在这了。如果你是企业里负责技术选型的人或者正在做AI应用落地甚至只是想在投资判断上找个技术坐标系这篇文章都值得花十分钟读完。先放个我复盘之后最大的感受今年风向变化最明显的不是“算力有多大”而是大家开始认真讨论“算力怎么才能用得上”。1. 上海这场会AI芯片的下一步信号1.1 现场关键词从“纸面算力”转向“系统好用”过去一年行业里聊AI芯片习惯先报峰值算力数字多少TFLOP/s、多少TOPS、多少卡集群。今年在上海的这场会上PPT上这些参数依然在但台下真正引发讨论的已经换成了另一批关键词推理成本、单位算力效能、软件栈成熟度、互联带宽。这个变化很值得琢磨。为什么会出现这个转向因为大模型跑到现在行业已经过了“能不能跑起来”的阶段进入了“能不能跑得便宜、跑得稳”的阶段。单纯堆显卡的做法在头部云厂商那里已经验证了可行性但大部分企业客户根本不需要万卡集群他们需要的是在几百张卡甚至几十张卡的规模下把推理延迟做低、把成本降下来。这就逼着芯片厂商不再只秀算力上限而是开始展示“单位算力能产出多少Token”“每瓦性能是多少”这种更接地气的指标。我在现场展区逛下来还有一个明显感受AI芯片的品类分化已经比去年清晰得多。通用GPU还是绝对主力但推理专用芯片、端侧NPU、边缘AI加速卡都有了独立的展位甚至不少云厂商自研芯片的demo机直接摆在会场体验区。这说明市场已经从“只要有一块AI芯片就行”进入“要按场景选芯片”的阶段。1.2 没到现场怎么听风向五条信息渠道就够了没有亲临现场不代表拿不到一手信息。我把这次有效的信息获取渠道梳理了一遍核心是以下五类官方发布资料和演讲稿、厂商官网的产品白皮书、现场参会者在社交平台发的展台图和技术点评、会后行业媒体的深度解析以及直接找去现场的朋友做口头复盘。五条渠道交叉验证基本能拼出全貌。这里有个经验别把发布会当成信息源要把它当成“线索源”。发布会上厂商说的每一句“遥遥领先”都要打折但发布会结束后的白皮书、技术博客、开发者文档才是干货所在。比如某家芯片厂商发布会上侧重讲性能提升但它的技术博客里可能藏了关键的功耗曲线、内存带宽配置、集群互联拓扑——这些才是做技术选型时真正用得上的东西。听完几位朋友的现场反馈大家比较一致的判断是今年没有颠覆性的黑马产品但也没人被甩开太远真正的分化发生在“产品”和“生态”两个维度。这是读任何单条新闻都很难得到的结论。2. 云端AI芯片三条路线别只看算力数字2.1 通用GPU依然是主力但护城河在软件而不是硬件云端AI芯片市场里通用GPU的地位目前依然无法撼动。英伟达的Blackwell架构和后续的Rubin平台、AMD的CDNA系列、再加上海光等厂商的通用加速卡都在围绕同一个目标做迭代把大模型训练和推理所需的矩阵运算做到极致同时保持对不同模型框架的兼容性。为什么通用路线仍占主导因为AI框架、分布式训练库、推理引擎几乎都优先适配通用GPU这种生态惯性非常强。但这里要提醒你看通用GPU不能只看FP16、FP8算力数字软件栈才是它真正的护城河。CUDA生态之所以难以撼动是因为它积累了十几年调试工具、性能分析工具、算子库、分布式通信库、各种优化过的深度学习框架版本。你换一套硬件就算纸面算力翻倍真要跑起来可能连一半性能都发挥不出来。这就是软件生态的隐性成本。当然通用GPU路线也有压力。一方面AI工作负载越来越规律化让专用芯片有了切入的空间另一方面云厂商自研芯片的成熟度在提升正在蚕食一部分标准GPU的市场。通用GPU未来的位置更像“既能跑训练也能跑推理、覆盖所有场景的主力部队”但不再是一把抓。2.2 推理专用芯片与ASIC开始吃掉确定性需求这次峰会上关于推理专用芯片的讨论热度明显高于往年。逻辑也很好理解大模型的训练集中度极高全国甚至全球就集中在那么几十个超大规模算力中心但推理是分散的、海量的、持续增长的。推理负载的特点非常明确请求规律、形态固定、量极大这恰恰是ASIC最擅长应对的场景。像Google的TPU、AWS自研的Trainium/Inferentia都是这个路线的典型代表。峰会上也有不少做推理加速的创业公司展示了自己的产品策略基本一致放弃“什么都能跑”的通用性聚焦Transformer结构、关注INT8和FP8精度下的高吞吐、优化大规模并发场景。这个思路如果拿汽车来类比通用GPU像越野车什么路都能走但油耗高推理专用芯片像城际高铁只跑固定线路但跑得又快又便宜。那么什么企业适合用推理专用芯片我给个实用判断标准如果你的业务流量曲线稳定、模型结构短期内不会大变、成本压力大就值得评估ASIC类方案。反过来如果你的模型迭代频率很高今天用Transformer、明天打算换混合架构那通用路线还是更稳妥的选择。这不是技术优劣问题是匹配度问题。2.3 国产AI芯片的分化打法绑定场景比正面竞争更重要国内做AI芯片的厂商在这次峰会前后的行业讨论里被反复提及但大家关注的方向已经从“能不能对标国际旗舰”转为“在哪些场景里能真正落地”。我观察下来包括寒武纪、海光、燧原等在内的国产加速卡打法分成了几类一类主攻训练场景强调集群规模和互联能力一类主攻推理场景强调单位功耗下的性价比还有一类绑定特定行业比如电力、金融、运营商把“芯片服务器应用优化”打包交付。这背后的现实考量是新架构芯片要进入市场正面跟成熟生态拼通用性是很难起步的但从确定性的业务场景切入反而能把“性能差距”转化为“系统优化空间”。比如针对某个运营商的语音识别模型做深度适配针对某个银行的智能客服做并发优化在垂直场景里达到“够用”甚至“好用”这条路已经被验证是能走通的。我个人的看法是国内AI芯片未来的机会在“成本敏感型推理需求”和“信创云之外的多元化供应链需求”上但大前提是软件栈必须跟上来。如果开发者的迁移成本过高再漂亮的算力数字都会被市场搁置。这也是为什么很多国产芯片厂商开始花大力气做兼容层和开发工具链这是正确的方向。3. 内存、封装和互联决定AI芯片上限的三大暗线3.1 内存墙问题暴露带宽比算力更卡脖子很多人看AI芯片只看计算单元这其实是个大误区。大模型推理的时候芯片要做的计算本身并不复杂绝大多数时间其实都花在“搬运数据”上——把模型的权重从内存里搬出来、把中间结果写回去。过去几年各家厂商爆算力单位芯片的FLOPs翻了好几倍但内存带宽的增速远远跟不上这就是行业里说的“内存墙”。这次峰会上HBM高带宽内存的讨论频率之高让人印象深刻。HBM3e已经成为高端AI加速卡的标配单颗容量从开始时的24GB向36GB、48GB演进带宽也在往每颗5TB/s以上走而下一代的HBM4也已经进入产业链视野。为什么要这么执着地堆内存因为像7B、14B这种规模的模型做推理权重数据动不动就是十几GB甚至几十GB如果内存带宽不够算力再强也只能在那里等数据。另外一个容易被忽略的点是KV Cache带来的内存压力。上下文窗口越长KV Cache占用的显存就越大。这也是为什么现场很多做推理优化的工程师都在讨论“显存容量”和“带宽”而不是“FP16算力”。我的建议是如果你想快速判断一块AI芯片的推理能力优先看它的内存带宽和显存容量再看算力。3.2 先进封装与ChipletCoWoS产能才是硬瓶颈AI芯片迭代到今天单纯靠制程缩小的红利已经不够用了先进封装成了绕不开的话题。你在展会上听到的CoWoS、SoIC、2.5D/3D封装这些词本质都是同一个问题怎么把GPU计算核心和HBM内存塞进同一个封装体里让它们之间的数据传输路径尽量短、尽量快。CoWoS产能一度是高端AI芯片交付的瓶颈这已经是行业公开话题。台积电的先进封装产能分配直接影响了GPU的出货节奏这是一条幕后却至关重要的供应链。峰会上不少演讲者提到未来要缓解这个瓶颈方向主要有两个一是封装厂扩产二是用Chiplet芯粒策略降低单颗芯片的制造复杂度。Chiplet的思路是把大芯片拆成多个小芯粒再通过先进封装重新组合好处是良率更高、能灵活搭配不同功能的芯粒坏处是对封装和互联技术要求更高。UCIe标准这两年被反复提及就是想统一芯粒之间互联的接口规范。如果UCIe真正普及你购买一块AI芯片时甚至可以像组装电脑一样把计算芯粒、内存芯粒、IO芯粒组合起来。这个趋势如果起来对整个产业链格局的影响会非常深远。3.3 卡间互联十万卡集群的真正分水岭单个AI芯片再强要把大模型训练跑起来终究要组成大规模集群。这时候卡与卡之间的互联方案就成了决定上限的关键。峰会上关于互联的讨论非常硬核核心其实是三选一的路线之争NVLink这种私有高速总线、InfiniBand这种专用高性能网络、以及RoCE这种跑在标准以太网上的方案。我直接给你一个经验性的对比表互联方案核心优势主要局限适合场景NVLink 类私有协议带宽极高、延迟极低封闭生态、成本高同机柜内GPU超高速互联InfiniBand稳定可靠、大规模集群扩展性好网络设备贵、运维门槛高超大规模训练集群RoCE基于以太网、成本友好性能调优复杂、拥塞控制难中大规模推理与训练混合集群很多非技术背景的朋友会忽略一个问题集群规模越大通信瓶颈越严重。一万张卡做分布式训练如果卡间通信效率上不去多出来的几千张卡可能都在等待数据同步。所以看一家AI芯片厂商能不能真正做大规模训练生意不要只看它单卡跑分要看它的互联协议、集群管理软件、故障恢复能力——这往往是拉开差距的地方。这次峰会上光互连和CPO共封装光学的讨论也在升温。光互连的原理是把数据通信用光来传相对传统铜缆来说带宽更大、功耗反而更低。如果CPO技术成熟未来AI芯片之间直接用光信号通信集群规模的瓶颈会被大幅推后。这是一条值得长期关注的暗线。4. 边缘与终端AI芯片大模型下沉的第一站4.1 端侧NPU军备竞赛但TOPS不是唯一答案云端AI芯片热闹终端AI芯片同样不缺席。这几年手机SoC、PC处理器里都开始集成专门的NPU神经网络处理单元而且算力数字增长得很快。从早期的几TOPS到如今面向AI PC的40 TOPS以上端侧AI算力已经不是一个摆设了。但要提醒一句TOPS是峰值算力不等于实际体验。端侧跑大模型真正的瓶颈依然是内存带宽和功耗。举个例子一个7B参数的模型做INT4量化之后权重数据差不多要3.5到4GB想在手机上流畅运行内存要够大而且内存带宽必须能支撑每秒读完一遍权重的需求。今天的高端手机SoC已经能做到几十GB/s的带宽跑个小尺寸模型没问题但想跑满血版大模型还是比较吃力。更重要的其实是软件框架的适配。同样是NPU支持的算子种类、是否适配主流推理框架比如ONNX Runtime、TensorFlow Lite、PyTorch Mobile、量化和编译工具的成熟度都直接影响你能不能在端侧真正把模型跑起来。所以选端侧AI方案的时候光比硬件参数是不够的拿真实模型在目标设备上跑一遍延迟和功耗是最靠谱的办法。4.2 AI PC与AI手机的真实体验点终端AI芯片的落地场景这次峰会其实讲得很接地气。一个方向是AI PC微软Copilot PC对NPU算力设了40 TOPS的门槛Intel、AMD的新一代移动处理器都把NPU规模往上顶本地跑实时翻译、会议纪要、文档总结、图像处理这些任务已经比较流畅了。另一个方向是AI手机端侧离线语音助手、智能相册、实时字幕、图片编辑都在逐渐成为标配功能。为什么非要强调端侧AI最直接的原因是隐私和延迟。敏感数据不出设备语音指令不需要先传到云端等回复这种体验是云端方案给不了的。尤其是国内用户对隐私越来越在意端侧处理的价值会持续放大。不过我也要泼点冷水端侧AI目前能处理的模型规模还是有限更主流的做法是“端云协同”——端侧做轻量实时推理云端跑重量级模型。这个架构未来会长期存在所以芯片厂商做终端AI芯片的时候也在同步优化端云协同的接口标准让模型能在端侧和云端无缝切换。这个角度反而更值得关注。4.3 终端AI芯片的选型指标做智能硬件或者企业级设备方案选型的时候怎么看一块终端AI芯片行不行我习惯于先看下面这张表关键指标为什么重要需要注意的问题TOPS整数算力衡量NPU峰值性能的基础不同厂商对TOPS的统计口径可能不同内存带宽决定大模型能否流畅运行带宽通常与价格、功耗成正比支持的精度类型INT8/INT4直接关系到模型效果低精度推理需要量化和校准工具配合软件栈与框架支持决定开发周期长短RISC-V、ARM等不同架构的工具链成熟度差异大能效比决定设备续航和散热设计峰值功耗和稳定功耗要分清楚我的实操习惯是拿到一款新的端侧AI芯片先用两个固定测试来摸底。第一个是跑一个公开的视觉模型测推理延迟和功耗第二个是把自家业务用小模型比如1到3B级别量化后在目标设备上测吞吐。这两个测试跑完基本能判断这款芯片适不适合自己的场景。参数表做得再漂亮都不如自己实测一次来得踏实。5. 未来18个月AI芯片会往哪走5.1 推理算力需求会逐步超过训练这一轮AI芯片增长的主要引擎正在从模型训练切换到规模化推理。道理很简单大模型训练集中在少数机构但大模型的应用要铺到千行百业推理请求的数量会指数级增长。未来18个月我的判断是推理算力的需求增速会明显超过训练算力推理效率将成为芯片厂商竞争的主战场。这对产品形态的影响很直接面向推理优化的加速卡、低功耗推理芯片、边缘推理模块都会迎来机会。同时模型层面的量化、剪枝、蒸馏技术也会加快普及因为都会反映在最终的单Token成本上。如果你所在的企业打算采购算力建议把推理芯片的选型权重提高多关注单位功耗下的Token吞吐量。5.2 能效比成为差异化核心过去大家比AI芯片比的是峰值性能未来会比“每瓦性能”。背后的原因是数据中心的电力预算越来越紧。规模扩大之后电力成本、散热成本甚至碳排放指标都直接制约算力扩张。液冷、硅光、更先进的封装技术本质上都是在解决同一个问题在有限的电力和空间里塞进更多的有效算力。从这个角度看未来AI芯片的发展不只是半导体问题还是系统工程问题。谁能把芯片功耗降下来、散热方案做得好、服务器层面的能效管理做得精细谁就拿走更多订单。这一点国内厂商其实有一定优势——在功耗和成本优化上国内市场的倒逼机制非常强。5.3 软件生态的终局是开发者留存芯片做出来最终要有人用。这就回到软件生态。未来18个月硬件层面的性能差距会逐步缩小而生态层面的差距会越拉越大。开发者能不能高效上手、迁移成本是高是低、社区是否活跃这些因素将决定一款AI芯片是“实验室明星”还是“市场主力”。峰会上关于开放标准和兼容层的讨论非常多。靠单一厂商闭源生态统治市场的格局不会永远持续AI芯片的竞争会变成产业链的竞争谁联合的服务器厂商多、谁框架适配全、谁工具链顺手、谁的开发者社区氛围好谁就能留住用户。这块短期内没有捷径只能一个一个开发者地积累。6. 没去峰会的人如何跟上AI芯片动态6.1 信息源建议别被发布会带节奏如果你没能亲临现场该怎么持续跟踪AI芯片行业我的方法是建立一套稳定的信息源组合一是厂商官网的技术白皮书和开发者博客这是最硬的一手数据二是学术平台上的系统设计论文和架构分析能帮你从原理层面理解技术路线三是行业媒体对产品性能和集群规模的实测报告四是国内开源社区里的技术讨论尤其是部署和调优相关的帖子真实反馈非常多。要特别警惕的是两类信息一类是只讲“峰值算力”不给出完整测试环境的数据另一类是只强调“生态完善”但不提供文档和工具链链接的宣传稿。前者缺少可比性后者缺少可验证性。我的习惯是看到任何新的AI芯片产品先自动忽略营销词汇直接去翻它的内存带宽、互联带宽、软件工具链对应的模型精度支持范围这三个参数才最能反映产品的真实水平。6.2 三个值得长期追踪的观察指标最后分享我自己长期在用的三个观察指标供你参考。第一内存带宽和互联带宽的提升幅度。这两项涨幅如果明显超过单卡算力涨幅说明这个产品是真的在为集群和推理优化值得重点跟进。第二软件工具链的迭代频率。去GitHub上看官方仓库的Commits和Issue回复速度一个软件栈活跃的厂商产品成熟速度往往更快。第三真实场景的单Token成本。发布会上的性价比数字通常都是理想条件下的只有结合自己业务实测过的成本经验才是有意义的。我个人的日常做法是每季度更新一张对比表把几家重点AI芯片产品的白皮书参数、官方基准测试结果、主流社区的实测反馈放在一起横向看。坚持过几个季度之后你对整个行业走向的判断会准很多。做AI芯片这个赛道最怕的不是技术变化快而是跟着噪音跑。希望这篇复盘能帮你把注意力放到那些真正决定行业走向的事情上。下次再有类似的峰会如果你还是去不了现场这个信息组合和判断框架足够你拼出个七八成的全貌了。
