最近这一年我身边越来越多做AI部署的同事和朋友开始把选型预算从云端GPU挪向国产AI算力芯片。核心原因就一句话模型越来越能落地但推理成本压不住了。训练是少数玩家的游戏推理和边端才是大多数工程团队每天都要面对的事。这篇文章想聊清楚三件事国产AI算力芯片到底有哪些品牌在打主力为什么说推理与边端是突破口真把模型放到这些芯片上跑指标怎么挑、坑怎么绕。内容偏工程视角适合做算法部署、边缘计算产品和AI基础设施选型的人参考。如果你刚接触这个领域可能觉得芯片品牌太多、参数太杂。没关系我尽量用选型和落地时会遇到的真实场景来讲不堆参数也不给PPT式的结论。1. 为什么说推理与边端才是真正的切入点1.1 训练与推理的算力需求是两套逻辑训练大模型的时候芯片要应付的是“大而全”的负载上百亿参数反复迭代张量并行、数据并行、流水线并行轮番上阵。这个场景对算力、显存容量、卡间通信带宽、集群稳定性都有极高要求而且通常要配合一套成熟的分布式训练框架才能用起来。训练跑一次成本很高但它是阶段性的训练完就可以把资源释放掉。推理不一样。模型部署之后是要长期在线跑的每个月、每一天都在产生算力开销。云端推理要同时服务大量并发请求单个token生成得快不快、显存里能塞进多少并发、单位请求的电力成本是多少直接决定项目的商业模式能不能成立。边端推理更狠它对时延、功耗、离线可用性和数据隐私都有硬约束模型往往还要跑在很小的盒子里。所以训练和推理是两套完全不同的选型逻辑。训练侧看重综合算力和生态完整性推理侧更看重性价比、时延和部署灵活性。国产芯片要同时在这两条战线上击败成熟方案很难但在推理和边端这条赛道上可以通过场景优化、软硬协同和差异化定价找到生存空间。1.2 推理市场的碎片化为新品牌提供了切入机会云端训练市场经过多年沉淀软硬件生态已经非常固化。工程师从小用惯了一套工具链换成新芯片的迁移成本不只是改几行代码那么简单还可能涉及分布式框架、存储、监控、运维体系的全链路适配。这个惯性非常强单靠更强算力很难撬动。推理市场不一样。它高度碎片化有跑大语言模型的私有化项目有跑Stable Diffusion的AIGC业务有跑十几个小模型的工业质检产线有把模型塞进摄像头的视觉场景。每个项目的模型不一样、并发量不一样、预算不一样很难用一套标准化方案通吃。客户更关心交货时间、单卡吞吐、功耗和本地化支持对品牌本身的忠诚度没那么高。只要你的芯片能把模型跑起来、性能达标、工具链别太反人类项目方就愿意试。这种碎片化恰好是国产AI算力芯片的切入点在特定模型、特定场景里做深度优化把几个常用模型的性能调到比通用方案更好就能拿到项目。逐步积累口碑后再往更多模型和场景扩展。1.3 边端靠“场景定义芯片”形成护城河边端和云端还有一个本质区别边端芯片往往不是一块单纯的算力卡而是把NPU、CPU、ISP、视频编解码、显示输出、车规接口等整合在一起的系统级芯片。这意味着芯片厂商不能只在算力上做文章还要理解目标行业的具体需求。比如做智能摄像头的芯片看的是能同时解码多少路视频流、ISP好不好、NPU能不能低功耗跑目标检测模型做机器人的芯片看的是算力实时性、接口丰富度、能不能在恶劣环境里稳定运行做人形机器人或智能座舱的芯片则要看工具链是否支持复杂模型快速迭代。这种“场景定义芯片”的模式决定了边端市场不是纯拼规模而是拼对场景的理解和工程化能力。今天看起来是安防芯片厂明天可能是机器人芯片厂产品定义能力比通用算力更重要。2. 品牌全景这些国产AI算力芯片玩家在做什么先放一张我梳理的主力玩家表后面再逐个讲逻辑。分类品牌代表产品线主力场景一句话备注云端华为昇腾Atlas系列、昇腾310/910云端训练、推理、边端产品线和工具链布局最全云端寒武纪思元MLU系列云端推理、训练在推理场景积累较早云端海光深算系列DCUAI加速、科学计算走通用加速路线生态兼容性较好云端燧原科技云燧训练、云燧i推理云端大模型训练/推理推理卡迭代速度快云端天数智芯天垓、智铠云端训练、推理产品线覆盖训练和推理云端沐曦曦思、曦云AI推理、高性能计算面向大模型和科学计算云端壁仞科技BR系列通用GPU通用计算、AI走通用GPU路线云端摩尔线程MTT S系列图形渲染、AI计算同时覆盖图形与AI边端地平线征程系列智能驾驶、机器人BPU架构场景定义清晰边端瑞芯微RK系列SoCAIoT、智能硬件生态成熟量产速度优势明显边端爱芯元智AX系列智能摄像头、视觉AI-ISP方案有特色边端黑芝麻智能华山系列智能驾驶侧重车规场景边端算能算丰系列边缘计算、服务器产品线跨度大覆盖偏广2.1 云端大卡目标是大模型推理与通用AI加速云端品牌里华为昇腾应该算目前能见度最高的。从板卡到服务器、从推理到训练、从底层编译到上层框架都有完整方案公开案例也最多。昇腾310系列用在中低功耗推理场景910系列面向数据中心产品定位非常清晰。如果你的项目需要快速验证遇到问题能找到参考项目昇腾生态是相对稳妥的选择。寒武纪在AI加速领域起步早思元系列从云端推理到训练都有覆盖。早期很多互联网公司和科研机构的AI推理试点用到它的产品积累了不少算子库和工程经验。这家公司的特点是比较专注AI加速通用计算能力不是重点适合纯AI负载。海光、燧原、天数智芯、沐曦、壁仞、摩尔线程这几家各有侧重。海光做的是类GPU通用加速路线如果团队有CUDA迁移经验在它的生态上迁移成本相对可控既能跑AI也能兼顾科学计算类负载。燧原在大模型训练卡和推理卡上布局比较激进和智算中心合作频繁。天数智芯、沐曦的云端加速卡主要瞄准AI训练和推理场景。壁仞和摩尔线程走的都是通用GPU方向除了AI计算还会覆盖图形渲染等通用计算场景。云端选品牌时有一个容易被忽略的点卡本身的性能只是起点服务器整机、配套运维、厂商响应能力才是决定项目能否按期交付的关键。部分品牌只提供板卡需要自己适配服务器和供电散热这会额外增加集成工作。2.2 边端SoC把NPU、ISP、编解码打包在一起边端品牌里地平线是绕不开的名字征程系列从智能驾驶起家现在已经延伸到机器人场景。它的BPU架构不是简单堆算力而是针对视觉感知和Transformer类模型做了专门优化。如果你做的是智能驾驶或移动机器人项目征程系列在各厂商里的量产案例相对丰富。瑞芯微则是AIoT领域的老面孔RK3588这类旗舰级SoC集成的NPU算力大概在6TOPS级别够跑一些轻量级视觉模型。它的价值在于生态特别成熟国际国内主流操作系统、开源AI框架、多媒体中间件都有适配做消费级或工业级智能硬件量产时能省去大量底层开发时间。爱芯元智比较有意思他们的AX系列主打AI-ISP把AI能力和图像信号处理结合起来在暗光、运动场景下能实现更好的成像效果。智能摄像头、扫地机器人这类产品就比较喜欢这种方案。黑芝麻智能主要做车规芯片华山系列面向智能驾驶场景和地平线形成直接竞争。算能的产品线跨度更大从边端小盒子到服务器都有布局适合做边缘计算网关类产品。2.3 先看生态成熟度再看纸面性能品牌再多落到选型上就一句话先看生态成熟度再看纸面性能。所谓生态成熟度包括几个具体问题官方有没有提供详细的模型移植文档社区里能不能搜到同类项目的踩坑记录该芯片是否支持主流推理引擎算子库是否覆盖你模型里用到的关键算子这些远比芯片的TOPS数字重要。一颗芯片标称64TOPS结果你的模型有一个关键算子不支持或者内存带宽喂不饱算力实际跑起来可能还不如一颗标称32TOPS但优化好的芯片。我建议的做法是接到项目后先圈定两三家候选芯片然后拿真实模型去跑一轮benchmark不要只看厂商提供的芯片白皮书。真实模型跑出来的性能、精度和功耗数据比任何宣传材料都靠谱。3. 推理部署的硬指标产品页写得再好也会骗人3.1 内存带宽决定token生成速度很多人选芯片时只会看TOPS每秒万亿次操作但对大模型推理来说内存带宽的重要性不亚于算力甚至在很多场景下比算力更关键。找进展大语言模型生成token时需要反复读取模型权重。以70B参数模型为例保留FP16精度的话权重体积大概是140GB。每当模型要生成一个token理论上都要把这140GB权重完整读一遍。如果芯片的内存带宽是1TB/s光读取权重就需要0.14秒也就是说理论最高只能达到每秒7个token左右的生成速度。实际还要叠加KV Cache读写、注意力计算等开销真实速度只会更低。这个计算虽然粗略但足以说明问题大模型推理是典型的“带宽敏感型”负载单纯堆算力效果有限。边端芯片如果有统一内存架构NPU和CPU共享内存带宽那大模型跑起来后系统其他任务很容易被拖慢这也是选型时需要考虑的。3.2 算力精度与量化支持要分清国产芯片宣传算力时经常用不同精度混着报有的标FP16有的标INT8有的干脆写“等效算力”。选型时一定要搞清楚两个精度指标各是多少因为不同业务吃的是不同算力。FP16/BF16算力决定FP16模型和混合精度推理的速度INT8/INT4算力决定量化模型的速度。一项典型的视觉模型量化成INT8后速度可能比FP16快两到三倍大语言模型量化到INT4后显存占用和带宽压力都会大幅下降。所以你要先想清楚自己的模型打算用哪种精度部署。如果团队没有量化经验优先选FP16算力高的芯片如果模型比较大、必须做INT8/INT4量化那要重点考察芯片的量化工具是否好用、量化后精度损失是否可控。3.3 算子覆盖、框架接入、推理引擎适配这是最容易被低估的隐性成本。芯片厂支持几个常见算子很容易难的是你的模型里有不常见算子以及周边配套工具是否好用。具体看三块第一算子覆盖PyTorch和ONNX里常用算子的支持率第二推理引擎适配厂商自带的推理运行时以及vLLM、OpenVINO、Triton等主流推理引擎对这颗芯片的支持状态第三调优工具有没有现成的性能分析工具、模型压缩工具能不能快速定位性能瓶颈。我见过太多项目卡在算子适配阶段模型本身推理很快但为了替换一个不支持的算子浪费一周时间。选型前最好把手头真实模型导出成ONNX格式去厂商工具链里跑一遍算子检查五分钟就能知道潜在问题。3.4 功耗与散热约束这个约束在云端看起来不严重放到边端就是生死线。工业现场的设备可能放在密闭电控柜里环境温度五六十度还没有空调车载和机器人场景则要过振动测试、老化测试、EMC测试。芯片标称功耗10W实际满负载能跑到20W散热设计就要按20W来配。边端选芯片时建议去查几个数据典型功耗、峰值功耗、允许的工作环境温度范围以及出厂前的可靠性测试标准。工业级和车规级的芯片可靠性要求和消费级完全不同。同一个型号如果有不同的温度等级版本优先选择符合目标场景工艺条件的版本。4. 边端落地场景解密哪些项目真的跑起来了4.1 工业视觉质检小模型多路并发工业质检是边端AI落地最成熟的场景之一。光源、相机、传感器都在产线上部署检测算法通常比较小比如分类模型、目标检测模型或者分割模型单路视频消耗的算力不大但对多路并发和稳定性有要求。这类场景对芯片最核心的诉求不是极限算力而是多路视频编解码能力和ISP能力。一颗能同时硬解十几路1080P视频流的SoC配合自带的NPU跑小模型就可以替代传统“工控机加GPU卡”的方案成本和功耗都大幅下降。瑞芯微、爱芯元智这类带视频处理能力的芯片在这种场景里很有优势。实际部署时还要算一路账单台设备接几路相机、每路相机的分辨率和帧率是多少、模型推理延时上限是多少。这些指标共同决定选哪颗芯片。只算模型推理时间不算编解码时间经常会导致实际系统跑到一半就掉链子。4.2 本地大模型私有化部署数据不出域的刚需最近一年我接触到的私有化大模型项目越来越多客户五花八门企业内部知识库、本地办公助手、客服问答系统、法律文书处理……核心诉求几乎都是同一个数据不能出域模型必须在本地运行。这种项目通常跑7B到14B的中小参数模型部署方式五花八门。如果预算充足可以用云端推理卡如果设备要放到分支机构的机柜里可能就需要边端盒子类产品。14B模型做INT4量化后权重体积大概在7GB左右对边端设备的内存要求不算离谱关键是内存带宽能不能支持可用的生成速度。我自己对私有化大模型项目的最低速度要求是每秒8到10个token低于这个速度用户体验会很差。要达到这个水平芯片的内存带宽至少要有几十GB/s以上单纯看TOPS是看不出来的。所以接这类项目时别只问芯片算力多少一定要问清楚内存带宽、内存容量以及是否能装下带KV Cache的完整部署模型。4.3 机器人、无人车与车载时延确定性优先机器人和智能驾驶场景与前面几个完全不同它们对时延的要求是“确定性”不是平均快就行。自动驾驶领域有句话叫“99.9%的时延才是真正的时延”偶尔一次卡顿可能就会造成安全事故。地平线的征程系列在这些场景里相对常见BPU架构对视觉模型的支持经过多年迭代车内配套的摄像头接入、视频解码、显示输出能力都比较成熟。黑芝麻智能的华山系列也覆盖类似场景。这类产品通常会提供功能安全相关的文档和接口对车规级项目来说这是硬指标。做机器人项目时还要考虑芯片的CPU算力。机器人系统的多传感器处理、SLAM、路径规划等算法对CPU的要求很高如果NPU算力很强但CPU太弱整体系统依然会卡顿。选型时要看芯片的总系统算力而不是只看NPU。下面整理一张边端场景和选型关注点的表供参考。场景典型模型核心诉求重点关注芯片能力参考品牌方向工业质检YOLO、小分类模型多路并发、7x24稳定视频编解码、ISP、功耗瑞芯微、爱芯元智私有化大模型7B~14B量化模型数据本地、token速度内存带宽、内存容量昇腾、算能、云端推理卡机器人与智能驾驶视觉Transformer时延确定、车规可靠CPUNPU均衡、接口丰富地平线、黑芝麻智能AIoT智能硬件轻量视觉模型成本敏感、快速量产生态成熟、开发效率瑞芯微、算能5. 部署实操把模型跑上国产芯片的完整路径5.1 从ONNX导出到离线模型转换不管选哪个品牌国产AI芯片部署模型的路径都大同小异模式基本是先在训练环境里把模型导出成ONNX或厂商支持的中间格式再用厂商提供的转换工具把ONNX转成芯片可执行的离线模型文件最后用厂商的推理运行时加载执行。以昇腾为例流程大致是PyTorch模型转ONNX再用ATC工具把ONNX转成OM格式部署阶段用ACLAscendCL接口加载OM文件执行推理。寒武纪的路线是PyTorch模型接入Neuware之后直接用推理接口执行或者导出为离线模型再部署。其他品牌也都有对应的“模型转换工具加推理运行时”。这里最关键的一点是不要在转换阶段才开始做算子兼容性检查要在模型训练阶段就提前介入。如果你的项目用了很新的Transformer结构或自定义算子先检查目标芯片工具链的上层框架版本是否适配很多算子问题可以通过升级PyTorch版本或修改模型代码来规避。转换工具通常会提供精度校验能力把转换后的模型与原始模型在同样的输入数据上跑一遍比较输出差异。不要跳过这一步特别是数值敏感型模型。转换工具报的精度误差指标达标不代表真实业务效果不受影响有条件的话用一批真实业务数据做端到端验证。5.2 是否需要上推理引擎推理引擎的选择取决于部署规模和并发要求。如果只是边端单路摄像头跑一个目标检测模型厂商自带推理运行时通常就够如果要做并发量比较大的云端推理服务就需要考虑上vLLM、Triton等通用推理引擎。现在部分国产云端芯片已经实现了对主流推理引擎的原生或半原生适配。以昇腾为例vLLM已经可以通过特定分支或插件在昇腾硬件上运行支持连续批处理、PagedAttention等关键特性。这对做私有化大模型项目来说非常有价值因为能显著提升并发吞吐和显存利用率。但如果芯片厂商的推理引擎适配还不成熟我的建议是“两条腿走路”先用厂商的自带运行时把单卡性能摸清楚再根据封装好的推理框架设计服务接口不要一上来就在通用推理引擎上死磕。很多时候厂商自带运行时在特定模型上的性能反而不输通用引擎只是并发管理能力弱一些。单路模型部署用自带运行时多路模型部署再考虑通用引擎是更稳妥的组合。5.3 我在实际项目中踩过的三个坑第一个坑算子不支持而且报错信息非常不明显。我在一个视觉模型里用了较新的注意力模块导出阶段没报错转换阶段也没有异常直到离线模型跑到一半才出现精度异常。花了两天时间定位最后发现是某个算子被转换工具悄悄替换成了低精度实现。从那以后我养成了一个习惯转换结束后先从模型结构文件里检查关键层有没有被替换或融合再跑精度校验。第二个坑量化精度陷阱。模型原本用FP16部署为了提速换成INT8量化离线评测精度掉了0.3个点看起来似乎不大。结果放到真实业务数据上跑直接出现了一批误检因为线上数据分布和测试集差异较大量化误差被放大了。后来换了支持混合量化的方案对敏感层保留FP16这才把精度拉回来。做量化前一定要用真实业务数据验证不要只信离线评测集。第三个坑驱动和工具链版本的强绑定。某次升级推理库之后原有的离线模型全部加载失败排查了一圈才发现是新版本推理库和当前固件版本不兼容需要同步升级固件才能继续用。那次之后我部署国产芯片时都会用容器镜像把版本环境固化下来升级时先在测试环境完整回归再考虑应用到生产。千万别小看环境管理对国产芯片尤为重要因为工具链迭代快版本之间兼容性未必做得很完善。6. 我个人做选型和落地时的体会现在国产AI算力芯片的选择已经不少但每个品牌之间的成熟度差距很大。我的个人判断是如果团队里没有专门的AI工程化人员项目周期又比较紧优先选工具链成熟、公开案例多的品牌哪怕单位算力价格贵一点也值如果团队有较强的算法工程能力愿意承担适配工作可以选性价比更有优势的新品牌在项目里积累自己的适配经验。实操层面我会始终坚持三个习惯第一选型期至少留出一到两周的真实模型benchmark窗口用项目真实模型和数据跑一轮第二部署前先和厂商技术支持确认两个问题——我的模型里有没有已知不支持的算子以及当前推荐使用的工具链版本号是什么第三生产环境统一用容器或镜像固化软件栈避免版本漂移导致线上模型失效。芯片迭代很快今天觉得冷门的品牌可能过两个版本之后生态就完善起来了。做技术选型时不要一锤子定死在架构设计上预留好抽象层让推理后端可以切换会从容很多。国内做AI部署的人这两年都会面对“算力从哪里来”的问题。掰开看推理和边端不是退而求其次的选择而是这个阶段更务实、更容易做出成绩的方向。希望这篇文章能把你的选型思路理清楚少走我走过的弯路。
