一说起国产AI芯片很多人第一反应还是“训练卡看得多、推理卡没概念”或者干脆把两者混为一谈。但2024年底到2025年初这波大模型应用落地潮把推理成本推到了台面上——模型参数越来越大线上并发越来越高谁能把单次推理成本打下来谁就有商业话语权。算力芯片和推理专用芯片这两条技术路线在国产厂商里已经分化得非常明显了。这篇文章不做参数念经就结合我在智算中心和大模型部署一线的实际接触聊聊国产AI厂商到底该怎么分类看、怎么选型用以及哪些坑是必须提前知道的。1. 为什么这个时间点必须认真看国产AI芯片1.1 训练被卡、推理爆发双重挤压下的国产窗口期先交代一个背景过去两年真正卡住AI行业脖子的不是模型算法而是训练用的高端GPU拿不到、等不起、贵得离谱。但2024年下半年开始行业风向变了——越来越多的企业发现自己根本不需要训练千亿参数模型真正要做的是把开源模型拿来微调、部署、对外提供服务。这里面最烧钱的部分已经从“训练一次”变成了“每天每时每刻都在推理”。这个转变直接决定了芯片需求的拐点训练市场是少数巨头的游戏一年采购量有限推理市场却是无数个中小团队的游戏每个做AI应用、做AI Agent、做私有化部署的团队都要买推理算力。我接触到的很多团队手里的卡从“买不到的H100”变成了“国产推理卡行不行”就是从开源模型跑通那天开始的。再加上一个行业背景推理场景的国产化进度其实比训练更快。原因很朴实——推理任务对绝对算力密度没那么敏感但对内存带宽、能效比、供货稳定性、性价比非常敏感。这恰好是国产ASIC和推理加速卡容易做出差异化优势的地方。换句话说训练你或许还能等等进口卡推理这块国产货已经具备上场条件了。1.2 推理成本才是AI商业模式的核心变量以前聊AI芯片大家习惯看“多少TFLOPS”“多少卡集群”这其实是训练视角。到了推理环节衡量芯片好坏的核心指标变了每生成一个token要花多少钱、每秒能同时服务多少个请求、并发上来之后P99时延稳不稳。一个很反直觉的事实是训练芯片追求的是把算力拉到极限推理芯片真正拼的是内存带宽和有效吞吐。举个例子你就明白了。跑一个7B参数的模型BF16精度下权重就有14GB。推理时每生成一个token理论上要把这14GB权重从显存里过一遍。如果一张卡显存带宽是1TB/s那么单token生成时间下限就是14ms左右满打满算也就每秒70个token。你再把计算时间、调度损耗算进去实际吞吐更低。所以推理芯片设计的第一性原理是什么是把显存带宽做上去、把weight读取路径做到最短而不只是堆FP16算力。这也是为什么今年大家聊“AI Agent怎么扛并发”时结论最终都会落到推理基础设施上。Agent场景的特点是短请求、高频次、多轮对话交错、并发上蹿下跳这对芯片的动态响应能力和框架调度能力要求都极高。国产厂商里凡是走ASIC路线做推理专用芯片的恰恰在这一块积累了不少实战方案——毕竟这是它们的主战场。2. 算力芯片与推理芯片的本质分野别再只盯TFLOPS2.1 训练芯片的核心算力密度与互联带宽先把训练芯片的逻辑说透。训练场景下模型参数要反复前向、反向传播整个训练过程是典型的“算力密集型”——GPU核心利用率高、任务并行度大、单次运算时间长。训练芯片在设计上有三个核心取向算力密度优先FP16/BF16的峰值算力是硬指标训练过程中大量矩阵乘法和卷积需要峰值算力来压缩迭代时间。多卡互联是命脉单张卡跑不了大模型卡间通信带宽直接决定训练效率。国产训练芯片在这块普遍是短板这也是为什么昇腾要做HCCS高速互联总线海光要兼容ROCm生态。大容量高带宽显存训练时的激活值、梯度、优化器状态都占显存显存不够就得切模型、减小batch训练效率断崖式下降。所以训练芯片不是“能算就行”它是一整套协同体系算力、互联、显存容量、驱动稳定性、甚至散热供电缺一不可。这也是为什么训练市场很难被单一爆款芯片颠覆。2.2 推理芯片的逻辑内存带宽、时延与能效推理芯片的底层逻辑完全不同。推理过程分两个阶段prefill预填充和decode解码。prefill阶段计算密集型要快速处理整个输入上下文decode阶段访存密集型每生成一个token都要去取一遍权重瓶颈基本卡在显存带宽上。打个不太严谨但好懂的比方训练就像让一个团队做一整天的联合设计拼的是团队总工时算力和会议室互联效率互联带宽推理就像一百个人同时排队取快递每取一件包裹都要查一遍库房权重库房出入口的吞吐能力才是决定效率的关键显存带宽。这个本质区别决定了推理芯片的产品形态推理专用芯片往往算力规格不高、但内存带宽和片上缓存做得极其讲究同时会强化低精度计算、连续batch调度、KV Cache加速这些与推理强相关的特性。很多推理卡的INT8算力几乎等于FP16算力的两倍以上但FP16算力本身看起来并不惊艳——别被跑分误导这在推理场景里完全不重要。2.3 训练与推理的一张对比表评估维度训练芯片关注点推理芯片关注点工作负载特征长时高负载、计算密集、全卡协同吞吐导向、时延敏感、单卡/多卡均可核心指标FP16/BF16算力、互联带宽、多卡扩展内存带宽、单token成本、并发吞吐、P99时延显存策略越大越好支持训练状态驻留容量适中带宽优先调优KV Cache能效要求高耗能可接受机房散热强能效比关键直接关系运营成本软件生态重点分布式训练框架、通信库推理引擎、量化工具、LLM运行时这张表你拿去看任何一款国产AI芯片的资料页三分钟就能判断它的产品定位到底偏向哪边。别被一长串SPEC参数带偏。3. 国产厂商全景四条路线的归类打法国产AI芯片厂商少说也有十几家但市场上真正能拿出可量产产品、有公开部署案例的可以按四条路线来归类。每条路线的技术基因、适配场景和踩坑特点都不一样。3.1 路线一全栈商用派——以华为昇腾为代表华为昇腾是国产AI芯片里体系最完整的——从昇腾310推理卡到昇腾910系列训练卡加上CANN异构计算架构和MindSpore框架再配合Atlas系列服务器形成了覆盖训练、推理、边缘的全栈产品线。昇腾910B以上型号在大模型训练领域的公开案例已经不少推理侧的Atlas 300I系列推理卡也在大量智算项目中落地。昇腾最大的优势是软硬件一体化你不需要担心驱动、算子库、框架适配这些底层问题华为已经帮你串好了。但反过来说这套体系的“封闭性”也常被吐槽——一旦深度使用昇腾生态迁移成本就变高了很多标准CUDA工具链的脚本和库没法直接跑。实际项目里昇腾比较适合“国产化要求明确、预算充足、有华为驻场支持”的大中型项目团队如果只想快速跑通推理服务不建议一上来就选全栈方案。3.2 路线二CUDA兼容派——海光、摩尔线程、沐曦这条路线主打“降低迁移门槛”走的是GPGPU架构或通用GPU架构软件栈上尽量兼容CUDA生态让原本用NVIDIA的团队能少改代码就迁移过来。海光深算系列DCU走的是GPGPU路线兼容ROCm和部分CUDA生态。因为它本身有x86 CPU业务服务器整机方案成熟在信创市场里接受度很高。训练和推理都有对应产品。摩尔线程典型统一架构GPU既能做图形渲染又能做AI计算。它宣称对CUDA源码级迁移有较好支持在推理和中小规模训练场景都有落地案例。优点是产品线宽从桌面显卡到数据中心卡都有缺点是深耕行业的时间还不长大规模部署的标杆案例相对有限。沐曦专注AI计算的全栈GPU产品线覆盖训练、推理、图形并行计算方向。架构比较新在推理侧对LLM的适配做得比较积极社区里也有人分享用它跑大模型推理的实践。兼容派的共性问题在于“兼容不等于无缝”。实际迁移时你会发现有的算子能跑通但性能不对有的库有替代方案但版本对不上还有些CUDA特有的快捷方式在国产卡上根本不存在。我的建议是不要只看宣传页上写的“兼容CUDA”一定要拿真实模型做一次全链路跑通测试包括量化、推理引擎集成、并发压测。3.3 路线三ASIC专用派——寒武纪、燧原科技这条路线是“从设计之初就只为AI计算服务”架构上不走GPGPU通用路线而是针对AI负载做了深度定制。代表厂商是寒武纪和燧原。寒武纪的思元系列在推理市场名气很响。从MLU370系列到更新的推理卡覆盖云、边、端多个形态很多AI视觉推理、智能分析项目都在用寒武纪的卡。思元590系列在训练侧也有大模型实践案例但寒武纪的强项仍然是推理——软硬件协同优化做得多能效比在同级别产品里很突出。燧原科技走的是云燧系列路线训练卡T系列和推理卡i系列都齐。它在AI大模型推理上的投入比较早和国内多个大模型厂商都有合作适配推理软件栈对主流大模型推理框架的支持度不错。特别适合有明确国产算力需求、且希望从训练到推理保持同一品牌体系的团队。ASIC派的核心优势是能效和性价比核心劣势是工具链成熟度和生态丰富度。你可能会遇到某些新算子要等厂商发版支持的情况对折腾型团队会有点难受。3.4 路线四优化交付派——登临科技、瀚博半导体登临科技走的是“GPU”路线在通用加速架构基础上叠加自研的软件定义加速层专注于在推理场景做软硬件协同优化。它的Goldwasser系列推理加速卡在智算中心、运营商和互联网公司的AI推理场景中有不少落地案例。登临的特别之处在于“以实用性为导向”——不追求极限训练算力但在推理吞吐和能效比上交出过很好看的数据。瀚博半导体则从视频与AI融合场景切入在AI推理加速之外还覆盖了视频编解码、转码场景。如果你是做内容审核、智能视频分析、多模态RAG这类偏视觉的任务瀚博的芯片在“视频解码AI理解”的融合效率上往往比通用GPU更划算。这条路线其实回答了一个很实际的问题推理不是只有大模型一种形态CV推理、视频分析、结构化数据推理的市场同样巨大。选择这类厂商时你要重点考察的是它对你目标场景的优化程度而不是泛泛地对比跑分。4. 选型决策框架从场景反推芯片而不是从芯片找场景4.1 大模型训推一体先谈供货和生态如果你预算充足、模型规模在百亿到千亿参数、需要训练推理一体的方案选型第一考量的反而不是单卡算力——而是供货周期和软件生态成熟度。再好的芯片交付要等半年项目直接黄。这个场景下华为昇腾和寒武纪的旗舰系列都是重点考察对象。需要特别关注的是分布式训练框架是否支持、多卡互联的实际吞吐、断点续训能力、以及厂商能否提供驻场调优。大模型训练不是买几张卡就行它是系统工程。4.2 大模型推理服务按模型参数与并发规模定显存和带宽这是我被问得最多的场景直接给一套估算方法。假设你要部署一个70B模型BF16权重占用约140GB。你不可能把模型塞进单张32GB的推理卡只能多卡拆分或用INT8量化。这时要算三笔账显存账模型权重KV Cache运行时开销INT8量化后70B模型权重约70GBKV Cache随请求数线性增长单请求开2K context大约还要2GB左右。所以32GB卡跑70B量化模型基本要3-4张做张量并行跑7B模型1-2张就够。带宽账上面算过单token读取权重的耗时取决于带宽。多卡并行时带宽累加吞吐也能线性扩展但要注意卡间通信开销。框架适配账vLLM、SGLang这类推理框架对国产卡的适配进度差异很大。有的卡官方适配完善装个驱动就能用有的卡需要写自定义后端开发周期以周计。这轮筛下来你会发现能进决赛圈的国产卡不多。个人经验7B及以下模型优先看推理专用卡的能效和单卡吞吐70B及以上模型优先看显存容量和多卡方案成熟度担心的不是算力而是带宽和通信。4.3 AI Agent与在线服务P99时延比平均时延更关键AI Agent场景和其他推理任务的差别在于“请求模型长短不一、并发波动剧烈”。聊天机器人、Agent工作流、实时辅助这类服务用户感知到的响应速度是P99时延而不是平均时延。不少卡单请求很快并发一高就掉链子就是因为调度策略和片上缓存没做好。选型建议是做压测时不要只测“每秒能跑多少请求”一定要看“并发64/128/256三档下的P99时延曲线”。国产推理卡里有的专注做连续batch优化并发上来后吞吐能稳住有的纯靠显存大硬扛并发一高时延就飙升。同一款芯片在不同框架下的表现可能差异巨大所以压测时务必用你生产环境实际要用的那套推理框架。另外Agent场景下很多请求是短输入短输出这种负载对芯片启动开销、内存带宽要求高对纯算力要求反而不高。这也是为什么我越来越觉得Agent类应用的算力底座国产推理卡会是最早大规模落地的。4.4 端侧与边缘推理能效比和形态是硬约束端侧和边缘场景考量的维度又不一样功耗、封装尺寸、散热条件和价格。比如昇腾310、寒武纪的思元边缘系列、瑞芯微和地平线的智能计算方案都在这个市场有存在感。选型时一个关键指标是“每瓦特性能”能效比而不是峰值算力——边缘设备的风扇和电源都有限纸面跑分再高压不住功耗也是白搭。4.5 选型必备四张表做决策前建议强制自己填四张表考察表核心问题容易踩的坑软件适配表目标模型推理框架是否已适配算子是否齐全只看官方宣传没拿真实模型测显存带宽表单卡带宽、容量、卡间互联方式是什么只看容量不看带宽供货周期表是否有现货交付周期多长测试机有货量采却拖期成本核算表单卡单价、整机成本、功耗电费、维保费用只算卡价电费比卡价还贵这四张表填完选型答案基本就出来了。5. 实操中的认知纠偏与实测经验5.1 算力不是唯一指标从“跑分”到“实际吞吐”很多团队第一次选国产卡时喜欢拿FP16 TFLOPS对表觉得数值高就是好卡。实际部署跑一圈下来你会发现同一款卡在不同负载模式下表现天差地别——跑CV模型可能很流畅跑LLM的decode阶段就萎了。因为大模型推理是访存密集的你把带宽用满了算力再多也是闲着。所以真正的判断标准是“有效吞吐”即在你实际模型中每秒能处理多少个请求、每生成1000个token耗时多少。这个数值只有实测才有意义参数表上看不出来。我们团队之前测过一款规格不错的国产卡单看INT8算力和显存容量都很能打但实际跑7B模型并发一上64P99时延就从300ms飙到900ms。后来定位发现瓶颈不在算力而是片上缓存小、KV Cache调优空间不够。换了一个带宽规格略低但缓存更好的型号反而稳住了。所以跑分参考实测为王。5.2 软件生态比硬件参数更影响交付周期国产AI芯片最容易被低估的是软件工程成本。你拿到卡之后的路径是装系统驱动、配置推理框架、适配算子、量化模型、调并发参数、压测。每一步都可能遇到文档缺失、社区无解、必须提工单的窘境。我的建议是准备“双栈方案”如果团队熟练度主要围绕NVIDIA生态那选CUDA兼容派会省很多事如果团队愿意花时间吃透国产技术栈那ASIC专用派在长期成本上更有优势。千万别两头都不熟就匆匆上马全栈国产方案你大概率会卡在某个冷门算子的适配问题上——“看起来支持的文档”和“实际支持”之间的距离可能是一个月。5.3 “兼容CUDA”不等于直接换卡把这条单独拿出来重点说各家宣传的“兼容CUDA”要分清楚程度。翻译层兼容、源码级兼容、二进制级兼容这三个级别完全不是一回事。翻译层兼容意味着你可以把CUDA源码拿来重新编译跑通概率还行但性能会有损耗而且某些底层库不支持源码级兼容其实就是有一套适配层但需要你修改代码重新编译二进制级兼容才是最理想的但实际产品里极其罕见。实测经验真到迁移那天百分之八十的坑都不在“能不能跑”而在“性能对不对”——同样的模型在N卡上量化后损失很小换成国产卡后同一套量化方案可能掉点严重。所以迁移评估时一定要带上精度验收环节。5.4 供货、价格与长期主义选型不只是选芯片最后聊一个产品经理和技术leader最关心的问题供货和成本。2024到2025年这段时间国产AI芯片的供应紧张程度比很多人想象的要严重尤其是性价比高的推理卡经常处于“测试机有货、量采需排队”的状态。做选型时一定要留出Plan B和Plan C别把宝押在一家供应商身上。成本也不能只看买卡的钱。一台8卡整机的功耗轻松到3000-4000瓦一年电费就是一笔不小的开销。如果是大规模部署推理卡的选择对运营成本的影响可能是决定性的——这就是为什么我说推理场景里“能效比”比“绝对算力”重要得多。更长期的视角是团队技术路线的锁定问题。选定一个芯片体系后整个软件栈、模型优化、人员技能都会围绕它积累。如果选错了一年后推倒重来的成本远高于当初做选型调研的成本。所以我现在最常挂在嘴边的一句话是选芯片不是选参数是在选你未来三年的技术底座。6. 一点个人建议做了这么多国产算力相关项目之后我内心其实有一个非常清晰的结论2025年之后推理侧的国产化会比训练侧更快变成主流。原因很简单——推理场景的成本结构天然适合国产芯片发挥性价比优势而AI Agent、端侧智能、私有化部署这些爆发中的需求又给了国产推理卡足够的用武之地。训练卡可以再等等生态成熟推理卡现在上车完全来得及。如果你是一个中小团队我的实操建议是别追新追大先从你最核心的推理场景出发拿真实模型、真实流量做一轮横向压测把四张表填出来。选型的结果大概率会指向某个主推卡一个备选卡的双栈组合。第一原则永远是“跑通你的业务验证你的需求”而不是被厂商的宣传册牵着走。踩过几次坑之后你就明白了芯片规格书上那些数字是给投资人看的真正能帮你省钱的是跑在你真实业务上稳定输出结果的那块板卡。
