“模型跑在端侧”的意思就是把人工智能AI模型直接放在你的本地设备如手机、电脑、智能音箱、车载芯片等上运行而不是放在云端服务器上。要理解这句话可以拆解为两个部分1. 什么是“端侧”“端”指的是终端设备即你手上能直接接触到的硬件比如智能手机笔记本电脑/台式机智能手表物联网设备如智能摄像头、空调汽车的车机系统2. 什么是“跑在端侧”“跑”指的是模型的推理计算过程。当模型“跑在端侧”时所有的计算都在设备本地完成不需要联网把数据发送到远处的云端数据中心去处理。为了更直观对比一下“云端”和“端侧”云端跑模型传统方式你在手机上和AI对话手机把你的问题传到云端的超级计算机算完再把结果传回来。依赖网络有延迟端侧跑模型现在趋势你把AI模型下载到手机里手机自带的芯片CPU/GPU/NPU直接计算给出回答。不联网也能用极速响应端侧跑模型的核心优缺点优点缺点隐私安全你的数据照片、语音、文件不出设备不会被上传不怕泄露。算力受限手机芯片不如云端超级计算机强无法跑太大的模型比如千亿参数通常只能跑小模型几十亿参数。无需网络在飞机、地下室、没信号的地方照样能用。存储和内存占用大一个大模型可能占几个GB的内存和存储空间。零延迟没有网络传输的等待响应速度极快毫秒级。功耗和发热运行大模型会让手机发烫、耗电变快。成本低不需要向云端付费买算力用本地电量就行。举个生活中的例子云端跑模型 叫外卖后厨云端给你做做好送过来有等待时间和配送费。端侧跑模型 自家厨房端侧自己做食材数据不出家门想吃就吃不用等外卖员但家里灶台火力算力有限做不了满汉全席超大模型。目前很多手机厂商如苹果、华为、小米都在大力推广端侧AI把大模型塞进手机系统里用来做相册修图、实时翻译、语音助手等功能。你最开始问的存储大小336MB刚好就很适合用来装一个端侧的小模型。
