10-具身智能陪伴机器人的路线图-从桌面玩偶到家庭成员开篇那句项目定位再说一遍把 AI Agent 装进物理实体的具身智能陪伴机器人。这句话里藏着一条成长线——今天它可能是你桌上一个会聊天的桌面玩偶未来它该是家里真正的一员知道你身体怎样、主动扶你一把、在你难过时递上恰到好处的一句话。AI 伙伴AI-Partner官网把路线图画成四阶段时间轴本篇不只复述还把每阶段的目标、技术挑战、学习路径拆开给想入行或想二开的人指条路。下文每阶段都附了最小可跑验证和常见坑方便你边读边动手而不是听完一圈还是不会跑。阶段一 ──→ 阶段二 ──→ 阶段三 ──→ 阶段四 核心对话 健康与安全 具身硬件 多模态主动 Agent 守护 一体化 陪伴 (已完成) (开发中) (规划中) (展望)一、阶段一核心对话 Agent已完成目标一个用户过来能聊天、能记记忆、能设提醒、能记录情绪与健康。这是灵魂先就位。已实现CompanionAssistant 单方法chat短期窗口 12 长期记忆 MySQL6 工具 13 方法人设动态注入统一 API 与 8 张表。技术挑战当时已啃下的让大模型会自己调工具——Tool Calling 的 schema 生成与参数回填。多用户隔离——MemoryId / ToolMemoryId 把每个用户圈在自己的记忆与数据里。人设一致性——固定性格 个性化记忆的拼装。学习路径建议Java 基础扎实JDK 17 的 record/注解/Lambda。Spring Boot 3 入门依赖、REST、JPA、定时任务。LangChain4j 概念ChatLanguageModel / AiServices / Tool / ChatMemory。动手照着把一个会记笔记的聊天机器人跑起来先不管硬件。这是门槛最低、收获最稳的一段建议所有人从这里进。本阶段最小可跑验证MVP本地起 MySQL 后端先POST /api/users建个用户再POST /api/chat让它记住你爱喝绿茶然后换一轮新对话问我平时喝什么——看长期记忆有没有被注入回复。能跑通阶段一的骨架你就真懂了而不是只看懂。常见坑没配LLM_API_KEY时启动不报错、对话才 401这是设计上的友好降级先去配 key短期记忆窗口只有 12 条聊太远的事它会忘真正跨会话靠的是长期记忆落库两者别混。二、阶段二健康与安全守护开发中目标从陪你聊升级到护你安。跌倒检测、健康阈值告警、紧急触达让机器人对老人和独居者真正有用。当前进度视觉跌倒告警链路已通vision 上行 → Alert(fall, critical)健康阈值判定已通心率/血压异常建工单。但如前篇所述告警只落库不触达人、健康异常被错归为设备故障、紧急呼叫无入口——这些都还在路上。技术挑战告警可靠性从写库到人收到。要补短信/推送/紧急联系人、重试与升级escalation。误报成本控制跌倒误报一次家属白跑漏报一次出人命阈值与多帧确认是硬功夫。设备在线真实判定靠心跳超时而非仅靠上报否则以为在线其实早断了。合规健康数据授权、医疗免责、隐私最小化这是产品能不能合法上线的前提。学习路径建议MQTT 深入QoS、遗嘱消息LWT、ACL、TLS。规则引擎与定时调度cron 重复提醒、补偿重试。计算机视觉入门YOLO 目标检测、姿态关键点、规则法跌倒判定。合规意识个人信息保护法基础、医疗器械软件边界知道提醒和诊断的分界。面向老人/儿童的产品这一段不是锦上添花是责任所在。任何真实部署都必须把告警触达和授权合规补齐否则宁可别上。本阶段最小可跑验证MVP起视觉服务调POST /api/vision/fall传一张摔倒姿态图看是否建了Alert(fall, critical)再POST /api/health传心率 145看是否建了异常工单。两个告警都能落库阶段二的数据闭环就通了。常见坑告警目前只落库不通知demo 跑着没感觉、上线就出事——这是最坏的一种看起来能用健康异常被归到TYPE_DEVICE_FAULT做统计时得自己再区分cron 重复提醒当前不触发别指望每天21点这类能自动响。三、阶段三具身硬件一体化规划中目标让灵魂真正住进身体。摄像头看见你、舵机挥手、屏幕做表情、喇叭出声、麦克风听你说话——软硬一体不再是后端和硬件各跑各的。当前进度RK3566 端侧有 MQTT 客户端、摄像头抽帧推理、RKNN 量化上 NPU6 TOPSyolo11n 25~40 FPS但端侧speak/gesture还是print占位、断线无真重连、电量硬编码、关键点解析有风险——硬件执行层还没真闭环。技术挑战端侧推理落地模型量化精度损失、NPU 版本匹配、多路摄像头进程隔离。动作执行舵机驱动挥手/点头、屏幕表情、TTS 真出声——硬件接口与控制协议。端云协同哪些在端实时、隐私哪些在云重模型、记忆边界设计。稳定性断电恢复、网络抖动、OTA 升级。学习路径建议嵌入式 LinuxRK3566/树莓派一类开发板Debian 基础。Python 硬件编程paho-mqtt、opencv、GPIO/舵机驱动。模型量化rknn-toolkit2、INT8 校准集、精度-速度权衡。实时系统思维帧率预算、冷却去抖、故障兜底。这一段门槛明显抬高建议先在前两段把云和视觉吃透再下场碰板子。软硬联调的坑比纯软件深一个量级。本阶段最小可跑验证MVPRK3566 上跑mqtt_client.py报状态看后端日志有没有收到device/RK001/status再跑camera_loop.py模拟一次跌倒看vision/RK001/alert有没有上行。端云主题对齐、消息跑通阶段三就成功了最关键的一半。常见坑paho 1.x 的mqtt.Client(client_id...)构造在 2.x 环境会直接TypeError注意客户端版本端侧上报的battery96、firmwareVersion1.0.0是硬编码别当真数据用关键点切片布局必须和模型实际输出[1,56,8400]对齐否则跌倒判定会错位——这俩坑在硬件里最隐蔽。四、阶段四多模态主动陪伴展望目标从你问它答到它主动关心你。融合语音、视觉、文本、情绪在你低落时主动来聊在你久未活动时温柔提醒像一个真家庭成员那样有存在感。技术挑战最难的一段主动触发什么信号久无活动/情绪连续低落/到点未吃药该主动介入频率怎么控——太烦是骚扰太疏是冷漠。多模态融合ASR 听清、TTS 说顺、视觉看懂、文本记牢四流合一且低延迟。情感计算从语气、表情、用词推断情绪而非只靠显式我不开心。个性化演进陪伴越久越懂你画像与记忆持续沉淀。安全与边界主动介入的分寸、紧急情形的正确升级路径。学习路径建议语音全链路ASRparaformer 一类 TTScosyvoice 一类 流式对话。多模态模型视觉-语言联合、情绪识别。主动 Agent 设计事件驱动调度、用户建模、干预策略。产品与伦理陪伴机器人的边界设计、依赖风险尤其对儿童/独居老人。这一段是展望不是因为不想做是因为它站在前三段肩膀上。没有可靠的对话、守护、硬件主动陪伴就是空中楼阁。本阶段最小可跑验证MVP先把 ASR/TTS 从占位换成真实现qwen 路径让说话→理解→出声闭环再基于阶段二的触发信号做一个最简单的主动介入用户超过 24 小时无对话且无健康上报主动发一句问候。能让它主动开口你就摸到阶段四的门了。常见坑主动频率最难调太勤是骚扰、太疏是摆设建议做成可配置而非写死情感误判成本不低别把语气平淡直接当抑郁去升级面向儿童别设计过度依赖的互动陪伴不是替代真实关系。跨阶段一句话顺序先让它能聊一再让它能护二然后让它有身体三最后才谈有灵性四。跳过任何一段去追家庭成员的体验都会得到一个四面漏风的半成品。阶段之外的共同地基四阶段讲的是功能长高但有个东西不管走到哪阶段都得垫在脚下工程基本功。可观测性actuator 的 health/info 只是起点真上线要日志分级、告警自身也可监控别告警系统自己挂了没人知道。守护类产品最怕以为在守护其实早停了。测试占位项ASR/TTS/端侧执行最该先补单测避免换真实现时把接口契约改崩。视觉关键点切片那种隐藏坑没单测根本发现不了。文档即产物AI 伙伴AI-Partner的 deployment / development / promotion 三件套已经是好榜样——能让人照着跑起来的文档价值不亚于代码本身。优雅降级每个阶段的新能力都要先想关掉会怎样。这也是为什么 MQTT 默认 false、TTS 有 mock——任何高级能力都该能关掉也不崩主流程而不是一挂全挂。这四点是玩偶和家庭成员在工程质量上的真正分野功能可以一步一步长地基松了长越高塌越快。五、给不同起点的你一条路线纯 Java 后端 ──→ 阶段一Agent记忆API ──→ 阶段二MQTT健康合规 纯算法/CV ──→ 视觉服务跌倒规则 ──→ 阶段三RKNN端侧 ──→ 阶段四 硬件爱好者 ──→ 阶段三板子MQTT ──→ 阶段一/二接云端灵魂 产品/学生 ──→ 阶段一吃透骨架 ──→ 挑占位项当练手TTS/ASR/重复提醒一句话别一上来就想造家庭成员。先让它会聊阶段一再让它会护阶段二然后让它有身体阶段三最后才谈有灵性阶段四。每一步都有明确的工程交付和学习材料AI 伙伴AI-Partner的开源骨架正好让你边读边做。六、合规收尾提醒涉及老人跌倒、儿童陪伴、健康数据的任何一阶段上线前都必须守住三条取得本人/监护人明确授权、健康信息只提醒不诊断、端侧尽量只传结构化结果保护隐私。技术能让你跑多快合规决定你能跑多远。七、小结从桌面玩偶到家庭成员不是一句口号是四段可拆解、可学习、可交付的工程进阶。AI 伙伴AI-Partner现在站在阶段一尾部、阶段二中途骨架已经能让人看清全貌。对读者来说价值不在它现在多完美而在这条路怎么走、每一步学什么已经被画清楚了——剩下的是动手。
