最近圈子里议论最多的不再是某个大模型又刷了多少分而是那些能把模型装进小盒子里、陪你说话的小玩意。先是AI小鸭一个巴掌大的毛绒鸭子捏一下会聊天摇一下能背诗接着AI拓麻歌子也杀回来了把当年那个电子蛋孵化的玩法翻新蛋里的宠物能认人、能学你说话、甚至一天没见还会生气。AI硬件这条赛道终于从“智能音箱的大而全”转向了“小而灵的陪伴物”而且背后隐隐出现了一个可以复制的公式。我上手拆了几台类似的设备也和做方案的朋友聊了很久发现它们并没有走云端大模型这条路而是普遍选择了端侧AI硬件部署模型直接跑在设备本地电路板上一颗主控芯片扛起全部推理。叠加上成熟的小型化硬件电路设计才有了几十块物料成本、几天开发周期就能出货的“AI小玩意”。这篇文章就围绕“AI硬件新公式”拆给你看从产品形态、端侧部署到用Altium Designer画板子、调电路把我踩过的坑和用着顺手的做法都摆出来。1. 从AI小鸭到AI拓麻歌子AI硬件正在发生什么转变1.1 为什么是这两个小东西先跑出来AI小鸭和AI拓麻歌子看着是两类产品一个主打毛绒陪伴一个主打养成游戏但它们撞上了同一条技术路径低功耗、低成本、离线优先。先说AI小鸭。它本质上是一颗带MIC和喇叭的玩具里面塞了一个几亿参数的语音模型。用户对它说话它不需要把音频传上云端再等回复而是本地完成唤醒、识别、生成、播放。唤醒延迟控制在300毫秒左右离线状态也能聊天讲故事。这样设计的理由很现实玩具的使用者是儿童和宠物式陪伴场景网络不稳定、隐私要求高、不能让家长担心录音被上传。再看AI拓麻歌子。老玩家都知道拓麻歌子原本就是一颗蛋形LCD机交互极其简单喂食、清洁、玩耍。AI化的新版本把原来的“脚本事件驱动”换成了“模型行为驱动”。它有一颗几十MB的语音和决策模型机器里的虚拟宠物会根据你的语气、互动频率和时间段生成不同的情绪反应。没有云没有数据上报所有状态都保存在本地Flash里。这两个案例有一个共同特征端侧AI不是“小一号的云端AI”而是把体验定义在产品本地。云端AI擅长处理复杂知识问答但玩具需要的是即时反馈、可预测的行为和离线可用。AI硬件新公式的第一条就是把“模型适合产品”而不是“产品迁就模型”。1.2 “AI硬件新公式”到底是什么我拆过不少设备再结合市面上的方案可以把AI硬件新公式总结成一句话端侧小模型 低功耗主控 高度集成的模拟器件 紧凑PCB设计 可量产、有体验的AI小硬件这看起来简单实际每一环都有讲究。端侧小模型一般是30M到1B参数范围经过量化后能在几十到几百毫秒内完成单次推理覆盖关键词唤醒、命令词识别、TTS、简单多轮对话。低功耗主控要么是带NPU的SoC要么是MCUDSP组合。目前流行的有国产带NPU的Wi-Fi/蓝牙SoC也有低成本Linux SoC。主控决定了AI上限和整机功耗。高度集成的模拟器件麦克风放大CODEC、音频功放Class-D、锂电池充电管理、电源路径管理。这些芯片选得好原理图和PCB就能做得非常小。紧凑PCB设计两层板是主流少数需要四层板。天线、音频、电源、数字电路要在巴掌大小甚至更小的面积上和平共处。这个公式最值钱的地方是“可量产”。样品机谁都能焊量产要考虑的是物料成本可控、生产良率稳定、烧录测试方便。AI拓麻歌子之所以能做出来不是因为算法有多前沿而是因为把算法、硬件和供应链锁在了一起。2. 端侧AI硬件部署把大模型塞进小电池设备的关键2.1 模型选型参数量到底怎么定很多第一次做AI硬件的朋友最容易犯的错是一上来就选一个大模型觉得参数越多越聪明。结果跑起来之后发现Flash不够、内存溢出、电池十分钟报销。个人经验是先定交互任务再反推参数规模。以AI小鸭这类语音陪伴设备为例可以把任务拆成三层任务层级常见模型规模运行内存要求说明关键词唤醒10M ~ 50M 参数低于5MB只识别“小鸭小鸭”等唤醒词命令词识别/意图分类100M ~ 200M 参数10 ~ 30MB识别“开关灯”“讲个笑话”等意图对话生成0.3B ~ 1B 参数64 ~ 256MB轻量对话通常要求量化后小于Flash容量一个经验公式设备可用RAM ≈ 模型权重 激活值 系统常驻内存。比如选择0.5B量化模型权重约300MB激活值按输入长度可能要20MB再给RTOS或Linux留出50MB以上那这颗芯片至少要512MB内存。如果目标成本在30元以内基本不要考虑超过0.3B的对话模型。等到AI拓麻歌子这类设备因为交互更轻甚至可以只跑一个几十MB的行为决策模型再加一个固定的TTS音库不需要真正意义上的“大模型生成”。所以设计第一步是“把任务砍小”砍到什么程度砍到用户感知不到累赘为止。2.2 量化、剪枝与蒸馏模型瘦身三板斧模型在服务器上训练时通常是FP32或FP16精度直接塞给低功耗主控是不现实的。常用做法是依次做量化、剪枝和蒸馏。量化把32位浮点权重转成INT8体积缩小4倍推理速度在多数NPU上能提升2到5倍。目前最成熟的是训练后量化PTQ少量校准集calibration data。校准集最好覆盖实际使用场景的音频或文本片段不然精度掉得厉害。剪枝把权重矩阵里接近零的连接删掉稀疏度控制不好会影响硬件访问连续性所以端侧产品反而用得少。蒸馏用大模型生成语料训练一个小模型去拟合大模型的输出。AI小鸭的对白能力明显是蒸馏出来的因为1B不到的小模型如果没经过蒸馏回答会很容易跑偏。实操中我建议先量化后剪枝。剪枝很多时候在真实硬件上没有收益而量化几乎稳赚不赔。注意别一上来就用INT4虽然体积更小但很多NPU对INT4的算子支持不完整跑起来反而更慢。2.3 端侧推理框架与性能调优选好模型后要用推理框架跑起来。不同主控对应不同加速方案ARM CPU可以用ONNX Runtime、TensorFlow Lite Micro前者对算子覆盖更全后者更适合MCU级芯片。带NPU的瑞芯微、安谋等SoC一般用厂商自带的RKNN、SNPE、NNAPI这类工具链。模型需要先转成厂商格式再走一次精度验证。MCUDSP比如乐鑫带Espressif AFE或者部分蓝牙SoC集成语音前端直接调用官方库即可。调试阶段我最看重三个数字唤醒延迟、识别准确率、单轮对话耗时。AI拓麻歌子这类设备对话耗时可放宽到2至3秒因为用户本来就在和一个“慢吞吞的小家伙”互动但AI小鸭要求响应快超过1.2秒孩子会以为没听见又喊了一遍。性能调优有一个容易忽略的点推理框架的线程数和CPU绑核。同类芯片四线程跑起来和单线程可能差3倍但功耗也会翻倍。对于电池设备不一定要追求最大吞吐而要在吞吐和功耗之间找平衡点。我习惯把单轮推理耗时目标定为“用户体验能接受的最慢值”然后往回压功耗而不是一昧拉频率。3. 用AD设计AI玩具核心板从原理图到PCB的实战要点3.1 核心芯片选型算力、外设与供货稳定性AI硬件新公式落地电子设计逃不开ADAltium Designer这一套流程。现在很多朋友会用AI工具辅助选型比如让大模型帮忙查芯片手册、对比参数、生成物料清单但最终画原理图的还是人。选型要同时看三样东西算力是否满足端侧部署、外设是否够用、供货是否稳定。以“做一个AI玩具核心板”为例子最常用的方案有两种方案典型芯片优点缺点低成本MCU方案ESP32-S3 / 带AI扩展的MCU价格低生态好音频算法库成熟无法跑大对话模型只适合唤醒命令Linux SoC方案瑞芯微RV1103/RV1106、全志V853等能跑0.3B~1B模型接口丰富外围电路复杂成本高电源树麻烦如果做AI小鸭的验证板我会先用MCU方案跑唤醒和简单对话如果做完整版AI拓麻歌子要上Linux SoC。别贪心主控芯片决定项目的等级用MCU硬扛大模型只会消耗整个团队的时间。此外Flash选型也很关键。0.5B量化模型常有400MB以上主控芯片的片内Flash可能只有8MB必须外挂SPI NOR或eMMC。AI小鸭用SPI NAND的成本比较低AI拓麻歌子如果还要存音频和动画资源可能得上eMMC。选外挂Flash时要确认主控的启动引脚、电压和速度等级别等到画原理图的时候才发现需要额外电平转换器。3.2 原理图设计的关键连线与接口用AD画这种板子原理图阶段最花时间的是接口规划。我习惯先把整个信号流画出来麦克风进音频编码编码输出I2S给主控主控生成音频给Class-D功放功放驱动喇叭电池充电前端进PMICPMIC输出多路电源。工程注意点麦克风走线模拟MIC信号很弱AB面要尽量短旁边不要走开关电源的高频振铃线。推荐用驻极体麦克风加偏置电阻的电路注意RC滤波时间常数设置别把语音高频吃掉。I2S信号I2S主时钟通常几十MHz如果走线太长会和电源产生串扰。AD里给I2S走等长差分不太现实但至少保证MCLK不要环绕整板。Class-D功放喇叭输出会产生较大的突变电流必须在功放电源引脚旁放足够容量的陶瓷电容和钽电容。我一般放4.7uF0.1uF一组并用磁珠把功放电源和主控电源隔离。充电电路锂电池充电IC的输入电压、涓流和预充电流要按电池规格书设置。很多AI小鸭子设备用400mAh左右的电池充电电流设到0.5A以下不然电池过热。AD原理图库里我强烈建议维护一个“已验证物料库”把每个器件的封装、厂商、价格、典型应用电路都记录进去。AI工具可以自动生成一些原理图但封装容易错尤其是麦克风焊盘、耳机座这种非标封装建议人眼再核对一遍。3.3 PCB布局布线与射频/音频/电源的三件套PCB阶段是AI硬件最容易“在实验室里跑通、市场上翻车”的环节。三层风险射频、音频、电源一板牵涉三者。射频方面AI小鸭和AI拓麻歌子通常默认带蓝牙或Wi-Fi。天线区域要放在板边下方所有层都不能有铜皮净空至少3到5mm。旁边不要放喇叭磁路、金属支架这类能吸收射频能量的东西。如果板子实在小天线不匹配就必须加π型匹配网络并在调试时拿网分看S11我要求回波损耗至少低于-10dB。音频方面功放输出到喇叭的两根线要短而粗并且远离模拟MIC。喇叭是强磁场源如果和麦克风距离小于1厘米开最大音量时录进去的就不是用户的话而是嗡鸣。最粗暴的解决办法是把喇叭和麦克风分别放在板子的上下两端中间用地打一排过孔。电源方面典型做法是DC-DC降压给数字域LDO给模拟域。数字域和模拟域的地在AD里分区后单点汇接到电池负极附近。如果铺铜被信号线切成碎块会导致地阻抗不连续SD卡或Flash可能随机报错。我实测这类两层板的AI玩具PCB如果够干净音频底噪能控制在-70dBV以下如果铺地偷懒底噪可能会窜到-50dBV用户稍微调大音量就会听到“沙沙声”。所以别小看铺地。3.4 投板前的自检清单每次投板前我会过一遍AD自检清单基本能拦住80%的返工DRC设置最小线宽、线距不低于厂商工艺能力过孔孔径至少0.3mm焊盘到丝印距离留够。ERC检查逐个电源引脚确认去耦电容数量确认I2C上拉电阻接在正确的电源域确认RESET脚没有被浮空。电源树核对从输入到每一路LDO/DC-DC用表格列出输入电压、输出电压、最大电流逐一在原理图上勾选。丝印关键器件位号不要压在焊盘上测试点建议露铜并标注信号名。BOM汇总检查所有料是否可替代尤其注意晶振、功放、Flash这三大件的交期。现在不少AI工具也能辅助查错比如自动检查网络连接和PDF原理图一致性但工具只能当助理最终拍板还得自己过一遍。我见过最离谱的一次同事用AI自动生成原理图麦克风正负极接反拍板板后测了两天才发现方向性问题。所以自检环节一定不要跳过。4. 常见问题与排查技巧端侧AI与电路联调实录4.1 模型跑不动算力不够还是内存不足联调时最常听到的一句话“模型放进去一上电就崩。”请先分清是内存不足还是算子不支持。内存不足的好理解看日志里malloc失败或卡死在启动阶段。处理思路是降低输入分辨率、缩短音频窗口、换量化精度更低的模型。AI拓麻歌子设备我遇到过一次模型跑起来后整机可用内存只剩10%导致Wi-Fi连接建立失败最后把对话模型从0.5B降到0.3B才缓解。算子不支持更隐蔽表现为运行到某个算子时直接重启或者推理结果全为零。排查方式是在PC上把同一模型用ONNX Runtime跑一遍记录算子列表再对照端侧工具的算子支持文档把不支持的算子替换掉。常见“坑”算子是Attention的Softmax某些NPU只有定点实现精度差一截建议用厂商提供的融合算子。4.2 语音唤醒不稳定硬件和算法要一起调很多朋友以为唤醒不准是算法问题实际上有一半出在硬件。麦克风增益调太高底噪和电噪声一起被放大模型在嘈杂环境里很难分辨。靠近喇叭设备自己播放音频时喇叭声直接串到MIC导致唤醒被吞掉。解决方法是加回声消除AEC或者从结构上把MIC做成一个独立的软硅胶导管和喇叭隔开。供电纹波耦合到MIC参考地数字电路高频噪声通过地平面串进模拟地。检查LDO输出纹波最好在MIC偏置脚加RC滤波。我调AI小鸭时遇到过这种怪现象在办公室一喊就醒带回家怎么喊都不醒。后来发现不是家里噪音大而是家里电源质量差充电器给设备充电时纹波飙升整机底噪从-70dBV涨到-55dBV。最后把MIC参考地单独隔离加了一颗小磁珠问题才解决。4.3 电池续航短与发热先量电流再动软件端侧AI硬件最怕的不是性能差而是“温热”。AI拓麻歌子这类小体积设备内部没有主动散热如果外壳用手摸超过40℃用户大概率退货。先做整机电流分解待机电流、唤醒后推理电流、播放音频电流、充电状态电流。把电流表串到电池负极分别记录各模式下的平均电流。如果待机电流大查MCU睡眠模式关掉外设和debug接口。如果推理电流大查NPU频率适当限频到“刚好满足延迟”的水平能省下一大截电。如果播放音频电流大查功放型号很多时候D类功放比AB类省电一半以上。实测经验0.5B模型在低端NPU上满载推理电流能达到500mA以上而唤醒后正常对话平均只有200mA。所以系统设计不应该让模型“一直满载跑”而是用事件驱动平时深度睡眠只让麦克风阵列待机。4.4 AD工程管理最容易踩的三个坑画板子这件事模电和电源经验可以慢慢补但AD工程管理问题才是新人最容易反复受挫的地方。封装不统一同一个型号的电容在库里被存成0402和0603两个版本投板出来才发现贴片机贴不上。建议给库文件命名加上“_C0603”这类后缀并在BOM导出时强制校验封装。位号重复AD工程的位号快速标注后如果不做“部分更新”很可能两个电阻都叫R1。投板后手工维修找不到原件。养成习惯每次生成BOM前运行一遍“Reset Designators”。版本覆盖用AD多人协作时最怕一个人另存为“v2_final_really”另一个人还在旧版上改。推荐直接接入Git做版本管理原理图、PCB、文档都进库提交信息写清楚改动点。我在一个开发周期内用AI工具辅助做了很多重复工作自动生成BOM对比表、检查器件库存、快速生成电源树但工程管理底子还是靠AD的规范操作。工具省时间规范保安全。最后分享一点个人心得AI硬件这个“新公式”说到底是把大模型从云端拉回到桌面上再塞进一个手感好的小壳子里。它既不追求算力的极值也不追求功能的大而全而是追求“刚好够用、一直在线、离线也安心”。从AI小鸭到AI拓麻歌子产品形态在变底层的端侧部署和硬件设计方法却没变。以我个人的经验做这类项目最稳妥的顺序是先用开发板验证模型效果再写第一版原理图打样后先测电源和音频再跑整体AI链路。千万不要一上来就把全部功能铺满AI硬件的调试变量比纯软件多得多变量越多越难定位。把每一层拆开测稳再合起来整个过程最多两个月就能出一台能摆上桌的AI小硬件。
