前两天跟几个做工业视觉检测的朋友吃饭聊到一个很有意思的问题市面上所谓“AI芯片”这么多到底怎么选有人上来就问“你们家用的是不是英伟达”有人直接问“能不能在设备里跑大模型”还有人纠结“要不要把摄像头画面全部传回云端”。其实这个问题的根子在于AI芯片压根不是一个东西。同样是AI芯片放在数据中心、放在边缘网关、放在手机SoC里考量的维度完全不同玩家格局也完全不一样。今天这篇内容我就把云端、边缘、端侧这三个场景一次讲清楚讲讲每个场景的核心需求、主流玩家、技术关键也聊聊我自己在项目选型中踩过的一些坑。适合正在做AI方案选型的产品经理、算法工程师以及想了解AI硬件格局的从业者参考。1. 云边端为什么值得拆开看算力分层背后的三个逻辑1.1 按数据流位置划分场景而不是按设备大小很多人第一反应是“云端就是大服务器端侧就是小手机边缘就是中间那个盒子”。这个说法容易理解但不够准确。更合理的划分方式是看数据在哪里产生、在哪里被处理、在哪里被消费。云端场景的数据从四面八方汇聚到数据中心由大规模计算集群统一处理典型代表是模型训练、大规模推理服务、大数据分析边缘场景的数据在靠近数据源的位置产生比如工厂产线摄像头、变电站巡检机器人、智慧零售门店计算设备就部署在现场或现场附近先把数据算完再把结果传回中心端侧场景的数据直接在用户的设备上产生也在设备上完成处理比如手机相册分类、语音助手离线唤醒、PC端本地文档摘要。这三个场景对应的是完全不同的数据流路径。云端的核心是“把数据搬过来算”端侧的核心是“把算力送过去”边缘则夹在中间既要处理实时性要求高的任务又要承担汇聚和预处理的工作。理解了这条数据流再看芯片选型就不会被参数表带着走。1.2 三座大山延迟、功耗、带宽决定云边端格局的归根到底是三个硬约束延迟、功耗、带宽。延迟方面云端推理受网络环境影响往返时延通常在几十毫秒甚至更高很多场景根本等不起。工业设备控制要求毫秒级响应自动驾驶要求更低这些任务只能放在边缘或者端侧完成。功耗方面云端数据中心单卡可以做到几百瓦散热和供电都有配套方案边缘设备往往部署在无空调机柜或者户外环境整机功耗可能只有十几瓦到几十瓦端侧更严苛手机、耳机、手表里的AI加速单元通常只有几百毫瓦到几瓦的预算。带宽方面则是另一笔账一路1080p摄像头24小时不间断回传视频一个月会产生几个TB的数据量如果只在本地或者边缘算完传结果带宽成本能降一个数量级。可以把这三个约束理解成一道必须同时满足的方程。哪头松哪头紧直接决定了芯片该往哪个方向设计。云端芯片堆算力和显存不在乎功耗端侧芯片死抠能效比每一毫瓦都要花在刀刃上边缘芯片则是两边都要兼顾既要够快又不能用不起电。1.3 边界模糊化单一芯片已经不能解决问题过去几年云边端的边界还比较清晰训练在云端大家在终端跑的都是轻量级模型。但大模型出来之后情况变了。端侧设备开始跑几B参数的量化模型边缘服务器开始承担大模型的分布式推理云端则同时承担训练和超大模型的推理。像手机上的AI助手往往是端侧先做意图理解和语音识别把精简后的请求发给云端再由云端大模型生成答案最后返回给端侧。这种“端侧初步处理云端深度推理”的混合架构已经成为很多应用的标配。这也意味着只盯着某一个场景做芯片已经很难满足真实需求。芯片厂商、设备厂商、云厂商都在试图把方案扩展到全场景形成所谓的“三端协同”。对做应用的人来说这反而是一件好事——不用再纠结“到底放哪边跑”而是看任务本身对延迟、隐私、成本的要求灵活地拆到不同的算力层。2. 云端AI芯片算力基建的主战场生态比算力更值钱2.1 云端芯片的真实工作负载与关键指标云端AI芯片主要干两类活训练和推理。训练任务的特点是计算量巨大、并行度高、对精度敏感模型参数动辄千亿级需要数千张卡组成集群协同计算推理任务则更看重吞吐量、时延和成本同一个模型可能要同时服务成千上万的用户请求。这两个场景对芯片的诉求不完全一样所以现在不少厂商专门推出了训练芯片和推理芯片两条产品线。评估云端芯片不能只看宣传的峰值算力。真正要看的指标包括实际利用率一个训练任务跑下来能不能稳定达到芯片标称算力的百分之七八十而不只是跑benchmark时好看显存容量和带宽大模型训练和长上下文推理对显存的需求近乎贪婪互联能力千卡集群里卡与卡之间的通信速度往往决定了整个集群的扩展效率还有TCO也就是总算力成本包括采购、电力、散热、机房空间和维护费用。很多团队选型时只看单卡性价比结果一算集群总账发现成本完全失控。2.2 主流玩家盘点谁在提供云端算力目前云端AI芯片的格局用一句话概括就是“英伟达吃肉其他玩家喝汤但汤也在变浓”。英伟达依然是云端AI芯片的绝对主力。从A100到H100、H200再到最新的Blackwell架构B200英伟达的优势不只是单卡性能更重要的是CUDA生态。经过十几年的积累PyTorch、TensorFlow、DeepSpeed等主流框架对CUDA的支持最完善算法工程师拿到卡就能跑不用改一行代码。这种生态粘性非常可怕甚至比硬件本身的领先更难被翻盘。AMD的MI300系列是当前最被看好的挑战者优势在于大显存和相对激进的内存带宽策略在部分大模型推理场景能打出不错的性价比。ROCm软件栈这些年进步明显但和CUDA比还是有差距很多算法库需要自己适配团队需要付出额外的工程成本。谷歌TPU则是少数真正自成体系的玩家从TPU v4到v5到v6谷歌内部大量业务跑在TPU上外部通过谷歌云对外提供服务。TPU的优势是其特有的互联架构在大规模训练时表现稳定但绑定谷歌云这一点让不少企业望而却步。亚马逊自研的Trainium和Inferentia主打云端算力的性价比AWS通过定制服务的方式提供给开发者走的是云厂商自研芯片这条路。国内的华为昇腾、寒武纪思元同样在行业里有不少落地案例昇腾910B系列在部分大模型训练场景已经具备主流竞争力CANN工具链也在快速补齐。云端AI芯片的竞争已经从单一算力指标转向了“芯片互联框架云服务”的综合较量。2.3 云GPU租赁兴起便宜云端算力带来的行业变化云计算时代催生了一个很有意思的现象——算法团队不一定需要自己买卡。市面上出现了大量提供GPU实例的云平台按小时计费便宜的时候一张消费级显卡的云端租用价格可以做到几块钱一小时。很多做中小模型微调、跑推理服务的团队已经开始这样起步。这里不得不提“便宜的4090云端”这类方案。RTX 4090本来是消费级显卡但被云平台整合成GPU实例后反而成了不少算法玩家的“性价比神卡”。它的FP16算力比专业卡低一截但价格只有专业卡的一个零头跑中小规模微调、跑百亿参数以下模型的推理服务完全够用。这种方案的兴起让很多个人开发者和中小团队能低成本验证想法不用一上来就投入几十万买卡。不过这里面有个坑需要提醒消费级显卡和专业级显卡的设计目标是完全不同的。消费级显卡驱动对长时间满载运行的稳定性要求低一些虚拟化功能也有限制专业卡则针对7x24小时机房环境优化显存容量和企业级特性更完善。如果你只是做实验、跑短任务4090云实例很划算如果是长期生产环境或者需要高可靠性保障还是要考虑专业卡或者更完整的云算力方案。2.4 云端选型中的高频误区这些年看过不少团队在云端选型上走弯路比较典型的有这么几个误区。第一个误区是只看峰值算力不看生态。有一家团队买了一批非主流架构的加速卡峰值算力很漂亮结果算法工程师发现PyTorch里很多算子不支持折腾了两个月才把模型跑起来算下来成本反而比用英伟达贵得多。第二个误区是只看单卡指标不看集群互联。在这个模型动辄需要几十张卡并行训练的时代单卡再强互联不行扩展效率上不去集群越大浪费越严重。真正决定千卡集群效率的是通信拓扑、互联带宽和调度软件的水平。第三个误区是只算采购价不算运营成本。云端GPU采购便宜但功耗、散热和机房租金可能让三年总成本翻倍计算TCO时要把这些都摊进去。如果只是短期项目我更建议直接租云GPU按量付费用完就释放比自建机房灵活得多。3. 边缘AI芯片把算力放到离数据最近的地方3.1 边缘计算凭什么自成一体边缘计算在过去几年从“概念”变成了“基础设施”核心驱动力有三个。第一个驱动力是实时性。工业质检的缺陷检测、变电站的仪表识别、矿山的车辆调度这些场景一旦把数据传到云端再等结果几十毫秒到几百毫秒的延迟很可能就错过了最佳动作窗口。现场计算才能保证及时响应。第二个驱动力是数据隐私与合规。医疗影像、工厂工艺参数、政务数据很多数据并不被允许直接传出本地在边缘完成处理只输出结构化结果是合规上的必然选择。第三个驱动力是带宽成本。前文提到的那笔账几路高清视频源源不断传回云端月流量成本高得离谱在边缘把关键帧筛出来只传结果带宽成本能省一个量级。边缘不是“低配版云端”。边缘设备的运行环境往往是户外、高温、无空调、供电不稳定它的可靠性要求甚至比数据中心更苛刻。这也是为什么边缘AI芯片需要单独设计而不是直接把云端的型号降频使用。3.2 边缘AI芯片的主流平台与选型参考目前边缘AI芯片的可选范围已经很宽了。英伟达Jetson系列是目前生态最成熟的边缘平台从JetPack到TensorRT算法工程师可以用几乎和云端一样的开发方式来写边缘程序部署迁移成本极低。其中AGX Orin适合算力要求高的场景比如多路视频结构化分析Orin Nano则适合做一些功耗敏感的轻量任务。其他玩家也不少。英特尔通过酷睿处理器加独立NPU的方式布局边缘高通有Cloud AI 100系列偏推理加速国内厂商里地平线征程系列在车载和机器人领域落地比较多瑞芯微的RK3588和算能的虎贲系列以性价比见长配合瑞芯微自研的NPU工具链在智慧安防和工业视觉项目里很常见。此外Hailo-8这种独立加速棒也很有意思可以直接挂到树莓派或者工控机上无需更换原有主板灵活度很高。选边缘芯片时我会建议先想清楚四个问题算法模型多大、需要处理几路数据、设备装在什么环境里、团队的软件栈习惯。模型量和路数决定算力档位环境决定散热和防护等级软件栈习惯很大程度上决定了工具链的学习成本。这些比纠结某一项跑分指标更重要。3.3 开源平台让边缘部署不再是“手工活”边缘计算早期最大的痛点是部署太零散。每台设备都要单独配环境、装依赖、校准参数设备一多运维就是灾难。现在开源生态已经把这块打磨得相当成熟了。KubeEdge是把Kubernetes的容器编排能力延伸到边缘的开源方案云端可以通过统一的管理面控制边缘节点上的容器应用实现OTA式的应用推送和更新。我在一个工厂视觉项目里就用过KubeEdge管理几十个边缘盒子算法模型更新只需要打一个镜像推送到节点几台设备同时在几分钟内完成升级不用再一台一台ssh上去改代码。EdgeX Foundry则是偏物联网设备接入的中间件框架它把摄像头、PLC、传感器这些五花八门的设备协议统一抽象成标准接口上层应用不用关心底层设备是什么品牌什么协议。这类平台的核心价值是“解耦”业务代码和设备管理分开团队分工更清晰后续维护压力也小很多。对于中小团队来说引进一套开源边缘管理平台几乎是必做的基础功课。3.4 边缘节点去重算法被低估的带宽杀手在边缘场景里有一个常被忽略但实际价值极高的技术方向——数据去重。举个例子一个工厂有几十路摄像头盯着产线大部分时间里画面几乎静止不变如果每一帧都回传云端带宽和存储成本会很夸张。边缘节点完全可以先“看一眼”画面有没有变化只在画面发生实质性变化时把关键帧传回去。实现方式并不神秘常见的有三种思路。背景建模法对固定场景建立背景模型当前帧和背景差异超过阈值就判定为有效帧结构相似度法计算前后两帧的SSIM值低于阈值说明画面变化足够大感知哈希法提取图像的pH Ash特征比较相邻帧的汉明距离。这些算法计算量都不大跑在边缘芯片的CPU甚至NPU上都很轻松。我用感知哈希法做过一次实验场景是仓库监控原始视频流每天大约产生40GB数据引入去重算法后实际需要上传的只有不到5GB带宽成本下降了接近90%。这对于运营商流量昂贵或者网络不稳定的边缘场景来说效果立竿见影。如果你正在做一个多路视频的边缘项目这个方向值得认真考虑。4. 端侧AI芯片人人手边都有一个“小算力”4.1 端侧AI的驱动力隐私、实时与离线端侧AI指直接在手机、PC、平板、耳机、智能摄像头等终端设备上运行模型推理过程不依赖网络也不离开设备。它解决的是云端和边缘都无法完美覆盖的痛点。隐私是最直接的原因。用户相册里的人脸、语音助手的录音、输入法的输入习惯这些敏感数据如果全部上传云端处理用户不放心法律法规也越来越不答应。在端侧跑模型数据不出设备只输出本地结果这是隐私保护的最优解。实时性是第二个原因端侧推理不需要网络通信响应时间能做到几十毫秒以内体验上远比“先上传再等结果”流畅。离线可用则决定了服务的天花板比如在电梯、地铁、隧道这些没有信号的场景里端侧AI是唯一可行的方案。大模型的到来进一步抬高了端侧AI的天花板。以前端侧只能跑几MB的人脸识别模型现在通过量化技术几B参数的小语言模型已经能在手机上以可用的速度运行。比如离线翻译、文档摘要、会议内容提取这些曾经需要联网调API的功能如今在端侧就能完成。4.2 各终端SoC的AI算力竞赛端侧AI芯片绝大多数是集成在SoC里的NPU或AI加速单元各厂商的军备竞赛非常激烈。苹果的Neural Engine从A11时代就开始布局目前A系列和M系列芯片的AI算力依然在移动端处于第一梯队加上Core ML框架和完整开发者生态在端侧推理体验和工具链成熟度上都有明显优势。高通的Hexagon NPU集成在骁龙系列里凭借庞大的Android市场份额成为大多数安卓端侧AI应用的默认目标联发科天玑系列的APU近年进步迅速尤其在能效比上很有竞争力三星Exynos的NPU重量级也在增强。国内厂商中华为麒麟芯片的达芬奇NPU方案在端侧大模型部署上有不少落地经验。还有一个值得关注的现象是AI算力正在成为衡量旗舰SoC的核心指标甚至比CPU性能更能决定一款芯片的“档次”。各家的TOPS数据逐年攀升但看这个数字要留个心眼——不同架构在不同精度下的TOPS差异很大INT8算力和FP16算力能差好几倍跑实际模型的速度比纸面TOPS更值得参考。4.3 端侧AI硬件部署的关键步骤量化、转换与编译把训练好的模型搬到端侧NPU上跑从来不是“复制粘贴”那么简单。我在做端侧部署时一般会走这样一条流水线。首先是模型转换。原始模型可能是PyTorch或TensorFlow格式先要转成ONNX这种中间格式再用芯片厂商的转换工具转成目标NPU的格式。以瑞芯微平台为例rknn-toolkit2可以将ONNX模型转成RKNN格式。命令行大概长这样# 安装rknn-toolkit2后执行转换 python convert.py \ --model_path ./yolov8s.onnx \ --output_path ./yolov8s.rknn \ --target_platform rk3588 \ --dataset ./dataset.txt \ --quantize True其中dataset.txt里的图片是量化校准用的认真挑选几百张有代表性的真实场景图片比随便找几张网图的效果好得多。量化几乎是端侧部署绕不开的一步模型从FP32压缩到INT8体积减小到四分之一推理速度大幅提升但精度会有一定损失。这里的关键是对损失可接受程度的验证而不是抱着一味追求零损失的心态。转换完之后还要做NPU算子适配。有些模型里的算子在目标NPU上不支持需要重写或者替换成等价操作。这个过程最磨人我遇到过模型里用了一个自定义算子厂商工具链不支持最后花了一个下午手动改写才跑通。所以在设计模型结构时就要考虑目标芯片的算子支持情况否则后面全是坑。最后是端侧推理实现。NPU的驱动接口各有差异有的提供Python接口有的只支持C开发时要把预处理、推理、后处理都串起来做成一个稳定的服务模块。这个环节建议尽早让嵌入式或者客户端工程师参与进来算法工程师和硬件团队的协作往往在这个阶段最能看出项目管理水平。4.4 端侧部署带来的开发者角色转变端侧AI的普及对开发者的角色定位影响很大。以前很多团队做AI应用思路是“训练一个模型然后在云端开一个接口客户端调用”。现在端侧AI的思路变成“训练模型、压缩优化、部署到用户设备里模型就在用户手里跑”。这种转变带来几个现实变化。第一开发者需要懂更多硬件知识比如NPU的内存管理、算子约束、功耗控制纯算法背景已经不够第二模型压缩和优化成为核心技能同样一个模型A团队能压到几十MB还保持精度B团队压完直接掉点差距就出来了第三端云协同的架构能力变得重要什么任务在端侧做、什么任务传给云端这个拆分逻辑直接决定了用户体验和成本。按我个人的经验这种“端侧为主、云端兜底”的协同模式会在未来很长一段时间里成为AI应用的主流形态。5. 选型决策与行业观察没有最好的芯片只有最适合的场景5.1 一个面向项目的决策框架做了几年AI芯片相关项目我总结了一套选型决策框架其实很简单就是按顺序回答几个问题。第一实时性要求有多高响应要求低于几十毫秒的直接考虑端侧或者边缘别琢磨云端的延迟。第二数据能不能出场地不能的话边缘网关是底线云端方案直接排除。第三能接受多少功耗电池供电的设备大概率是端侧芯片企业级设备的功耗余量较大可以考虑更高性能的边缘盒子。第四数据量多大如果一天几十个GB的视频流优先考虑在边缘或端侧做预处理和去重再决定是否回传云端。第五团队的软件栈在哪个生态里如果团队全是PyTorchCUDA栈硬要用国产NPU工具链就要做好多投入一到两个月工程时间的准备。这套框架的逻辑是“反着来”先看约束条件再看性能指标。绝大多数选型错误都是因为一开始就陷入了参数对比把真正决定成败的场景约束放在了后面。5.2 我在AI芯片项目里踩过的坑有几个坑是我真实经历过的写出来给各位提个醒。第一个坑是轻视工具链学习成本最后项目延期。当时有一个工业质检项目为了省硬件成本选了某款高性价比的芯片单片价格确实低很多。但团队算法同事过去一直用TensorRT换到新平台的工具链后算子适配、模型转换、性能调优全部从零开始整个过程比预想的多花了将近两个月最后省下的硬件成本全变成了人力成本得不偿失。第二个坑是忽略运行时环境的恶劣程度。一批边缘盒子部署在户外场景夏天机柜温度能到五十多度原本选用的某款被动散热设备频繁降频推理速度掉了一半。后来换成了主动散热的版本才稳住。选芯片看功耗时要考虑散热设计尤其是户外和密闭机柜场景性能再好温度压不住等于零。第三个坑是边缘去重算法写得过重反而拖垮了主任务。为了追求极致的去重率我把去重算法做得很复杂结果在CPU上跑的时候占用了太多资源主检测任务的帧率掉下来了。后来换成轻量级的感知哈希去重率稍微降了一点点但主任务帧率恢复正常整体收益反而更高。算力分配要讲究适度。5.3 三端协同才是未来如果非要用一句话总结我对AI芯片产业走向的判断我会说单点算力之争会继续但真正的竞争焦点会转向“三端协同的能力”。云端还是承担重型训练和超大模型推理但会越来越像“水电煤”一样基础化按需取用边缘会成为数据密集型场景的算力枢纽承接实时分析、预处理和隐私敏感任务端侧则会因为大模型小型化技术而越来越强离线智能和个性化体验会成为端侧芯片的核心卖点。三者不是替代关系而是分工关系。最后分享一个个人习惯做芯片选型时我从来不看厂商发布会上的数据只做两类验证。一类是拿自己的真实模型和真数据跑一遍看在目标精度要求下能达到多快的推理速度另一类是长期压力测试跑三天以上看有没有掉帧、崩溃、内存泄漏。参数可以美化真机测试不会说谎。这个习惯帮我避开了好几次看似高性能、实则不靠谱的方案也推荐给所有正在选型的朋友。
