聊到“AI Inside”很多人第一反应是英特尔当年的那四个字但放在今天再看到它语境已经完全变了。最近新智元那篇关于地平线创始人余凯的文章标题里又出现了这个词后面还跟着一句“再获Yuri Milner注资”信息量其实相当大。人工智能正在从“尝鲜工具”变成“日常帮手”而地平线走的路子恰好就是把这股智能从云端往设备里塞让AI不再是一个需要联网才能用的功能而是像水电一样藏在设备内部无处不在。这篇我来拆一拆这个标题背后的技术逻辑、商业信号以及对我们这些做端侧AI落地的人有什么实际参考如果你在做嵌入式AI、智能硬件或者自动驾驶相关的事情应该能从里面挖到一些有用的东西。1. 一个标题里藏着的三重信号1.1 “AI Inside”不是复古口号是行业分工的一次换挡英特尔当年喊“Intel Inside”本质上是把计算能力标准化让任何一台PC都能拥有可预期的性能底座。今天地平线和余凯把“AI Inside”这个词捡起来背后的思路其实很像把人工智能从“一个产品卖点”变成“一种基础设施能力”让芯片、算法、工具链组合起来藏在设备里面用户不需要知道它怎么工作只需要感受到“这东西变聪明了”。区别在哪儿英特尔卖的是通用计算AI Inside卖的是专用智能。通用计算只要算得快就行AI还要考虑你的模型能不能跑得动、功耗会不会爆炸、时延能不能跟上。所以“AI Inside”落到地平线这种公司身上就不是贴个标的事而是要把算法压缩到极致把芯片设计成和算法互相配合的形态把工具链做到让客户愿意用。这一步要是成了AI就像电力一样你开灯的时候不会想着发电厂在哪但每个开关背后都有完整的系统在支撑。对我来说这个信号最值钱的地方在于行业正在从“我有一个AI算法”往“我的产品里住了个AI”迁移。前者是项目制后者是产品制。项目制做完一个算一个产品制则需要芯片、编译器、运行时、应用SDK一整条链路的稳定输出。地平线选择的是后面这条更难但天花板更高的路。1.2 Yuri Milner的加注意味着资本开始为“地面部队”买单Yuri Milner是DST Global的创始人投过一批全球知名的互联网和科技公司之前也参与过地平线的融资。这次“再获注资”关键词是“再”说明不是一次性下注而是持续跟进。投资圈有个常识第一轮看PPT第二轮看产品第三轮看收入连续加注通常意味着这家公司在前一轮承诺的事情上兑现了。地平线做的事情恰好是投资人最喜欢看的那类“地面部队”——有量产、有营收、有真实客户在跑。AI创业最怕什么怕模型Demo惊艳但落不了地怕算法很强但供应链跟不上怕方向是对的但商业化周期太长。地平线选择的自动驾驶和泛机器人赛道虽然不是最快回血的行业但一旦芯片方案被车厂、机器人公司采用替换成本极高客户粘性会随时间越来越强。Yuri Milner的注资本质上是在告诉市场这套慢生意开始结硬果子了。我在之前的文章里说过AI行业真正值钱的公司只有两类一类卖工具给做AI的人一类卖智能给最终用户。地平线卡在中间偏后的位置——它不直接造车但车厂需要它才能造出“聪明”的车。这种卡位看着两头受累实际上两头受益。资本看中的就是这种“行业空气压缩机”的角色。1.3 余凯的路线算法人做芯片是逆流还是捷径余凯本人的背景很有意思学术出身做过深度学习研究后来创业选择做AI芯片和软硬一体方案。这个路径在很多纯算法团队看来是“硬碰硬”但在真正落过地的人眼里反而是最合理的选择。道理很简单端侧AI的瓶颈从来不是“模型精度不够”而是“模型在特定硬件上跑得不够快、功耗不够低”。算法再好没有一个专用的计算单元去承接它就像写了再好的剧没有合适的演员和舞台始终不能变成观众看到的作品。余凯把算法团队和芯片团队放在同一个公司里目的就是让舞台和剧本从一开始就一起写。这一步走下来地平线的护城河就不再是某颗芯片的峰值算力而是“算法-编译器-芯片”三者的协同深度。这个东西外人很难复制因为每一层都需要上千次实车、实机调出来的经验。标题里“无处不在”四个字说的就是这个协同能力向各个场景复制时的覆盖度。2. 重新理解AI Inside为什么“无处不在”是必然趋势2.1 云端的归云端设备的归设备过去十年AI的典型用法是“上云”——把数据传到服务器模型算完再传回来。这种方式适合离线处理大批量数据但对实时交互、边缘设备来说体验并不好。举个例子你开车时遇到一个突然横穿的行人如果感知要靠云端返回一来一回几百毫秒车早就撞上了。再比如家里的智能门锁如果每次人脸识别都要联网断网就等于锁失效谁还敢用所以AI往设备端迁移不是哪家公司的选择而是场景需求逼出来的必然。时延要低、隐私要留在本地、带宽和电费要省这三条加起来让端侧AI成了唯一解。我把这个趋势概括成一句话云端的AI负责“思考”端侧的AI负责“本能”。地平线做的是“本能”这一层而且是覆盖不同设备大小的“本能”。2.2 端侧AI的三个硬指标算力、功耗、带宽的平衡很多刚接触端侧AI的朋友容易只看一个指标算力有多少TOPS。真实情况远没那么简单。芯片的算力再高如果内存带宽不够数据喂不进去算力就是空转功耗如果压不下来设备发热、续航崩掉用户照样不买账。我自己的经验是评估一款端侧AI平台应该同时看三件事能效比也就是每瓦性能。车规芯片尤其看重这个因为车里没有大电池给芯片挥霍。内存带宽决定了你在芯片上能不能跑大模型、能不能同时处理多路传感器数据。工具链成熟度也就是从PyTorch模型到芯片可执行程序的转化是否顺畅这一步卡住的话再强的算力也白搭。地平线做征程系列芯片从早期版本到后面一路迭代本质上就是在这三个指标之间找平衡点。这也是为什么他们强调“软硬结合”因为光有芯片不够还得有一套成熟的工具链让车厂和Tier1能快速把模型部署上去。2.3 离线可用才是AI“日常帮手”的真正门槛“人工智能正从尝鲜工具变日常帮手”这句热词点到了一个容易被忽略的关键日常帮手的第一要求是稳定随时在而不是偶尔惊艳。你家里的小爱同学如果十次有三次要转圈等网络你很快就懒得用了。但如果你家的设备在断网状态下照样能完成对话、识别、控制你会不知不觉地依赖它。这就是AI Inside和普通AI功能的本质区别。普通AI是一个联网功能断网即失效AI Inside是一种内置能力就算没有网络设备也能依靠本地计算完成核心智能任务。地平线要做的“无处不在”其实是在构建这种离线可用的底层能力。它不炫技但它让很多原来不敢做智能化的设备比如割草机、配送机器人、工业巡检设备敢把“智能”当标配了。3. 从地平线看AI Inside的落地路径3.1 算法定义芯片芯片反过来喂算法AI Inside的技术实现不是“买一颗通用CPU跑深度学习”这种玩法而是算法和芯片高度协同。地平线内部的做法在我看来可以归纳成一句话用算法需求去定义芯片架构再用芯片能力去约束算法设计。具体怎么理解拿自动驾驶举例。车载场景需要同时处理摄像头、毫米波雷达等多路感知数据而且必须做到低时延、高可靠。通用芯片也能跑但功耗和成本都压不住。专用AI芯片的做法是把神经网络里最常见、最耗时的算子比如卷积、矩阵乘、激活函数做成硬件加速单元。这样一来模型里90%的运算都走专用通路速度自然上去。同时算法团队也会针对芯片特性做适配。比如把一个大的神经网络拆成几个子网络分别跑在不同计算单元上又比如调整网络结构让它更贴合芯片的算子库。常说“算法定义芯片”实际上还有后半段“芯片也喂养算法”。这两者来回调试的过程就是软硬结合最耗功夫的地方也是别人最难抄的部分。3.2 从辅助驾驶到行泊一体先易后难的量产路线地平线最经典的落地场景是智能驾驶。他们的路线很有意思不是一上来就做L4无人驾驶而是先做辅助驾驶和泊车这类相对容易量化、安全边界更清晰的场景。辅助驾驶的要求是什么车道保持、自适应巡航、自动变道这些功能对算法和算力的要求远低于全无人驾驶但覆盖率可以很高。只要芯片能在车里稳定跑几千小时不出问题车厂就愿意批量装。等积累了足够多的实测数据再往城市NOA、行泊一体这些更复杂的场景爬升。这个节奏很像软件行业的“先上MVP再快速迭代”对创业者来说先让自己活下来再谈远大目标才是最务实的策略。我在做嵌入式AI项目时也经常提醒自己不要一开始就想着做一个全能产品先把一个高频场景做到“用户离不开”然后逐步扩展。地平线的征程系列就是从辅助驾驶切入慢慢把覆盖范围扩大这套打法普通人也能迁移到自己的项目里。3.3 从汽车到泛机器人AI Inside的平台化想象力汽车只是AI Inside的第一个宿主。车载场景里积累的感知、规划、控制能力本质上和机器人是通用的。割草机器人要知道边界在哪里、有没有障碍物配送机器人要识别红绿灯和行人工业机械臂要实时检测抓取目标的位置和姿态——这些都需要一个低时延、低功耗的端侧AI大脑。地平线把在汽车上打磨好的芯片和工具链往机器人场景复制其实是顺理成章。之前跑在车上的感知模型经过裁剪和微调就可能跑在机器人的主控板上。这里面真正的价值是平台化同一个工具链多个场景复用。这也是“AI Inside”最性感的未来——不是哪一台车跑得聪明而是你会看到越来越多设备扫地机、服务机器人、智能摄像头、巡检无人机内部都藏着同一个生态的AI引擎。4. 给端侧AI项目落地者的实操参考4.1 模型部署的四板斧量化、蒸馏、剪枝、算子融合如果你也正在做端侧AI不管是跑在ARM CPU上还是NPU上有四件事一定会遇到模型太大、跑得太慢、功耗太高、内存不够用。针对这四个问题工程界的标准答案基本可以归纳成一套组合拳。量化把FP32的权重转成INT8甚至INT4模型大小直接砍掉一大截推理速度也能成倍提升。代价是精度会有轻微损失需要用校准数据集去调。蒸馏用一个大的教师模型去教一个小学生模型让小模型尽可能模仿大模型的输出。这样模型参数量下来了但精度能保留七八成。剪枝把网络里那些接近零的权重或者不重要的通道删掉模型结构变得更稀疏计算量自然下降。算子融合把多个计算步骤合并成一个比如把卷积后的激活函数并进卷积算子减少数据搬移的次数。端侧芯片上数据搬移往往是最大的瓶颈比计算本身还耗时间和能量。这四招不是选一个用而是搭配着用。我见过最好的实践是先做剪枝和蒸馏把模型瘦身再做量化把位宽降下来最后在目标芯片上做算子融合和内存复用。每一步都要反复验证精度不能拍脑袋。4.2 精度、性能、功耗的三角博弈做端侧AI项目几乎每一个决策都在精度、性能、功耗这个三角里面折中。精度不够用户觉得傻性能跟不上交互卡顿功耗压不住续航和发热都遭殃。关键在于先定约束条件再谈怎么调。比如你做的是智能门锁约束条件是“单次识别必须在200毫秒内完成而且电池得撑半年”那你首先要满足时延和功耗精度只要达到安全阈值就可以接受。反过来如果你做的是工业质检设备设备插电运行对功耗不敏感但对漏检率极其苛刻那就应该优先保精度哪怕跑慢一点。我习惯的做法是先把目标硬件定下来然后跑一遍基准测试拿到“当前模型在设备上的性能底数”。这一步非常重要很多项目都是因为一开始没跑基准拿到真机才发现差了好几倍前期方案推倒重来。有了底线再决定往哪个方向优化是换更小的模型、加量化还是改网络结构。4.3 端侧AI项目的典型坑以及排查思路这行踩坑几乎是必然的我整理几个高频问题以及我自己常用的排查思路现象常见原因排查方法模型在PC上跑得好上板子精度暴跌量化校准不到位或预处理不一致检查输入图像的归一化、数据布局是否一致重新用真实场景数据做校准推理速度远低于理论算力内存带宽瓶颈或算子未完全走加速单元用Profiler看算子耗时分布找有没有“塌陷算子”在CPU上兜底整机功耗超标多个核心同时满负荷运行或频繁唤醒做任务流水线排布把AI推理和通信、感知错峰执行偶发性卡顿复现难内存碎片、Cache miss或中断抢占借助Trace工具抓现场关注内存分配路径和调度优先级有一条我反复体会端侧AI的问题往往不是算法问题而是系统问题。模型再漂亮部署环境和调度策略不对照样出不了活。所以做这行不能只盯着网络结构还得懂点编译器、操作系统和设备驱动的门道。5. 什么团队才能做真正的“AI Inside”5.1 软硬一体的复杂度不是谁都能扛“AI Inside”听着很酷但对团队要求极其苛刻。纯软件团队做不出来因为你不懂芯片的脾气纯芯片团队也做不出来因为你不清楚模型要什么。这个领域需要的是横跨算法、编译器、芯片架构、系统软件的复合型团队而且每个人都要有“端到端”思维。地平线这么多年攒下的核心资产除了那些芯片和软硬一体的解决方案更关键的是团队里跨层协作的默契。算法工程师能理解芯片的微架构芯片工程师知道算法在真实场景里怎么跑这种默契是拿一个又一个量产项目磨出来的不是招几个大牛就能拼出来的。如果你也想走这条路我给一个实在的建议先别急着搭大班子选一个具体场景用一个成熟硬件平台把完整链路跑通先把工具链和流程建立起来。等链路稳定了再逐步把硬件替换成定制方案形成自己的软硬协同。5.2 商业化要从场景倒推别为“平台”做平台很多技术团队做产品容易掉进“我先做平台再接客户”的陷阱。AI Inside这种模式最忌讳的就是这种思维。道理不复杂平台是抽象出来的东西如果背后没有几个具体的、被验证过的场景你根本不知道该抽象什么。地平线的路径是先啃汽车这块硬骨头车规要求严、周期长、容错率低但一旦啃下来能力和信任度都会建立起标杆效应。之后切机器人、切智能家电都是在同一个内核上延伸。这个逻辑跟盖房子一样先打好地基再砌墙最后才是装门窗、做装修。反过来搞房子会塌。我给想复制这种模式的人一个参考先找到十个愿意付钱的客户了解他们用AI时最痛的一件事然后把手里的AI能力打磨成能解决这个痛点的完整产品哪怕丑一点、窄一点没关系。有了这十个客户背书再做平台化你会发现抽象出来的每一层都有人替你验证过。5.3 别让“参数”成为KPI让“体验”成为标尺聊到地平线媒体总喜欢比较芯片的算力、跑分、参数但余凯反复强调反而是场景和体验。这一点我非常有感触。做端侧AI的团队很容易陷入参数竞争的泥潭觉得算力高就牛、精度高就厉害但用户不关心这些用户只关心他的车能不能稳稳地自动泊车他的机器人会不会撞墙他的门锁能不能一刷就开。AI Inside的本质是优质体验的规模化复制。衡量它的标准不是单点指标有多漂亮而是它能不能在不同设备、不同环境下稳定提供“刚好够用”的智能。从这个角度看做AI产品的人KPI应该少看跑分多看这些用户在真实场景里的任务成功率设备从启动到就绪的时间长时间运行的稳定性离线场景下的可用性软硬件升级后的体验兼容性。这五条是我自己评估端侧AI项目的习惯维度不一定适合所有人但每次按这个思路复盘基本都能发现真正需要优化的地方而不是被参数带偏。最后再分享一点个人体会。做端侧AI这几年我最大的感受是这个领域跟做云端AI完全是两种节奏云端你可以靠堆算力解决问题端侧你必须在螺丝壳里做道场用一套极致的软硬协作出活。“AI Inside”能从一个概念变成地平线手里的量产能力靠的不是某一个模型有多优秀而是把整个系统打磨到了让人“用起来没有存在感”的程度。对还在路上的工程师和创业者来说这种思路其实比技术参数更有价值——真正的智能从来不是喊出来的是藏在每个安静的响应背后。
