你跟着屏幕上的教练做深蹲膝盖开始内扣还没等你意识到动作变形旁边一个声音已经响起来膝盖收一收对准脚尖方向别过度前冲。你调整了一下姿态继续下蹲这次到位了。这不是请了一位真人私教站在旁边。屏幕上的这位动知是由端到端具身交互智能驱动的具身交互智能体——他能看你的骨骼点、能算你的关节角度、能在你动作变形的瞬间喊停纠正还能在你完成第 10 个标准深蹲时亲口给你报里程碑。本文以动知这个 AI 运动私教应用为实战样本拆解一个骨骼追踪跟练间如何基于魔珐星云端到端具身交互智能平台用一个 SDK 把姿态评估、实时计数与具身表达全链路打通让每一次跟练都有角度数据和即时口令兜底。热身区为什么运动跟练特别需要端到端具身交互智能健身 App 上的教学视频用了很多年体验却始终停留在照着做。视频不会看你做得对不对不会在你膝盖内扣时喊停不会在你完成第 10 个标准动作时给你报数。真实的私教不是这样。一位好的私教在你做动作的同时一直在观察你的关节角度、判断你的身体线条是否走形、决定要不要立刻纠正、在你快力竭时用一个鼓励把你拉回来。这种持续感知 → 持续评估 → 持续决策 → 持续表达与行动的闭环正是魔珐星云提出的端到端具身交互智能要解决的核心问题。动知要做的就是把这种能力搬进一个 Web 端的跟练间里——用户打开浏览器面对的不是一段循环播放的教学视频而是一位能实时追踪骨骼点、评估关节角度、在错误出现的瞬间喊停纠正的 AI 私教。前台一个 SDK 撑起一间训练间传统方案的拼接困境如果按传统思路搭建一个AI 私教至少要对接三套服务骨骼追踪Pose Estimation接一家大模型推理LLM接一家语音合成 形象驱动TTS Avatar再接一家三套服务各自工作中间需要自己写胶水层做状态同步、角度传递、口令编排。代码量 2000 行起步首字响应 1.5 到 3 秒用户做完一组动作才等到私教开口。更要命的是——私教说到一半用户想打断问个问题做不到因为 ASR 和 TTS 的状态是割裂的。这就是典型的不是端到端。端到端方案一行 agent.ask() 打通全链路动知基于魔珐星云端到端 SDK XingyunAvatarAgent 构建核心服务层代码不到 200 行。整个前端对接只需要三步提供一个 DOM 容器、注册一组回调、调用 agent.ask() 发送消息。// src/services/avatar.ts — 连接具身交互智能体真实代码candidatenewwindow.XingyunAvatarAgent!({container,appId:appId.trim(),appSecret:appSecret.trim(),gatewayServer:https://nebula-agent.xingyun3d.com/user/v1/ttsa_v2/session,onMessage:(error:{message?:string}){if(tokengenerationerror?.message)avatarState.error私教渲染暂不可用请重连},agentCallbacks:{/* 感知/对话/错误回调详见训练场章节 */},})端到端具身交互智能和模块拼接的本质区别感知、理解、决策、表达不再是前后两个独立阶段而是在同一次交互中持续并行运行。私教一边说一边听用户有没有插话一边判断接下来的训练数据该怎么回应。备训间在魔珐星云控制台配置一位 AI 私教动知的具身交互智能体并不是从零搭建的它的能力底座来自魔珐星云控制台的完整配置体系。1. 创建具身交互智能应用在魔珐星云控制台创建一个新的端到端应用作为动知的具身交互智能体运行载体。2. 形象配置为动知选择一位活力干练的具身交互智能体形象。端到端 SDK 会自动处理形象的实时渲染——口型、表情、手势和身体动作全部由平台统一驱动无需前端手动编排。3. 场景配置设定智能体的交互场景参数包括背景、镜头角度等确保具身交互智能体在屏幕端呈现出专业私教的气质。4. 音色配置选择沉稳有力的语音音色。端到端 SDK 内部集成了参数流 TTS语音合成与具身表达在同一次交互中统一生成不需要单独对接 TTS 服务。5. 表演配置调整智能体的表达风格——语速、表情幅度、手势频率等让动知的具身表达与运动私教的专业调性一致。6. 服务配置ASR 与大脑为当前应用配置语音识别和大模型服务。这一步体现了星云的可插拔架构——星云的模块化设计让语音识别和推理引擎各自独立ASR 支持 Xmov 自研、豆包、腾讯等多家供应商大脑支持魔珐自研、豆包、OpenAI 兼容协议等多种接入模式换供应商不需要重写业务逻辑。这些配置完成后保存即生效。前端只需要拿着 App ID 和 App Secret通过 SDK 一行代码就能连上整套能力。一套运动知识库不绑死在一种载体上。今天她是 Web 端的运动私教明天可以换一套形象变成线下健身房的驻场教练身份、知识和运动业务能力持续复用载体随场景切换——这是端到端具身交互智能平台赋予的灵活性。训练场五项核心能力的跟练间实战魔珐星云定义了五项核心能力。在动知这间骨骼追踪跟练间里它们不是抽象概念——每一个深蹲、每一次纠错背后都是真实可感的交互体验。多模态感知私教一直在听、一直在看SDK 内置的 ASR 持续运行支持 Barge-in 智能打断——私教正在讲解深蹲要领用户随时可以开口追问膝盖该对准哪个方向系统自动识别真实用户声音、去除本体回声、检测有效打断然后暂停当前讲解进入新一轮问答。在代码层面这体现为一组实时回调// src/services/avatar.ts — 感知层回调真实代码agentCallbacks:{onAgentStateChange:(state:string|{type?:string}){if(token!generation)returnconstvaluetypeofstatestring?state:state?.type??avatarState.speakingvaluespeak||valuespeaking},onASRResult:(result:{text?:string;isFinal?:boolean}){if(token!generation)returnavatarState.subtitleresult.text??},onConversationChange:(event:{state?:string;text?:string}){if(token!generation)returnif(event.stateidle)avatarState.speakingfalse},onError:(){if(token!generation)returnavatarState.error私教连接异常请检查网络、应用配置或平台额度后重连avatarState.statuserrorvoiddisconnectAvatar(true)},},前端监听这些回调实现实时字幕和智能打断。ASR 回调持续运行私教说话的同时也能接收用户输入这就是持续感知的工程实现。专属智脑知道自己是运动私教动知的人设提示词注入每次 ask() 调用确保智能体始终以热情而克制的 AI 私教身份回应// src/services/avatar.ts — 私教人设提示词真实代码exportconstCOACH_ROLE你是动知一位热情而克制的 AI 私教。 ## 你的身份 - 名称动知 - 身份私人教练熟悉深蹲、俯卧撑、平板支撑、开合跳等基础动作的生物力学要点负责动作讲解、姿态纠错、计数鼓励与节奏引导 - 风格像带过很多新手的私教指令短促明确先说哪里错了再给一个立刻能做到的修正动作 ## 你的行为准则 1. 讲动作先给一句话要领再拆两三个关键点关节角度、身体线条、发力顺序 2. 纠错按「现象 → 原因 → 怎么改」三步说每次只纠正一个问题别一次抛一串 3. 计数与鼓励简洁有力别每句话都夸里程碑式的完成才值得庆祝 4. 安全第一提醒循序渐进、不适即停你不提供医疗诊断与康复处方有伤病史先咨询医生 5. 每次回应控制在 3-5 句涉及关节角度的关键数字可以重复一遍 6. 遇到训练台数据之外的提问用通用训练常识回答并提醒量力而行这不是一个通用的你是一个助手提示词而是针对运动私教场景精心设计的六条准则——先给要领、按三步纠错、里程碑才庆祝、安全第一、控制篇幅、常识兜底。大脑支持按需选择。星云控制台的服务配置中大脑一栏提供豆包、OpenAI 兼容协议等多种第三方大模型接入——已有习惯使用的大模型可以直接接入身份、人设和运动知识无缝迁移。无论选择哪种大脑前端代码完全一致。多模态表达语气、表情、手势统一生成私教在讲解深蹲要领时语气短促明确在你完成第 10 个标准深蹲时语气里带着鼓励——这些表达形式由 SDK 内部统一生成并同步驱动而非各模块独立播放。前端通过状态回调感知当前表达阶段// src/services/avatar.ts — 表达层状态流转真实代码onAgentStateChange:(state:string|{type?:string}){if(token!generation)returnconstvaluetypeofstatestring?state:state?.type??avatarState.speakingvaluespeak||valuespeaking},语音、口型、表情和手势在同一次交互中统一生成前端只需监听 onAgentStateChange 即可同步 UI。表达过程中onASRResult 和 onConversationChange 照常运行用户随时可以打断追问——感知与表达并行这是端到端架构相比传统管线在交互体验上的核心差异。AI 端渲训练间里也能低延迟动知通过星云的端侧实时渲染能力将私教形象直接在前端浏览器中渲染不需要持续依赖云端 GPU 和视频流传输。整个 SDK 的加载过程就是动态注入一个脚本之后所有渲染都在客户端完成// src/services/avatar.ts — SDK 动态加载真实代码functionloadSDK(){if(window.XingyunAvatarAgent)returnPromise.resolve()if(sdkPromise)returnsdkPromise sdkPromisenewPromisevoid((resolve,reject){sdkScript?.remove()constscriptdocument.createElement(script)sdkScriptscript script.srchttps://media.xingyun3d.com/xingyun3d/general/litesdk/xmovAvatar_e2elatest.jsscript.asynctrueconsttimersetTimeout((){script.remove();reject(newError(私教 SDK 加载超时可继续使用训练台跟练与计数))},15000)script.onload(){clearTimeout(timer);window.XingyunAvatarAgent?resolve():reject(newError(私教 SDK 不可用))}script.onerror(){clearTimeout(timer);reject(newError(私教 SDK 加载失败请检查网络))}document.head.append(script)}).catch(error{sdkPromiseundefined;throwerror})returnsdkPromise}脚本加载完成后window.XingyunAvatarAgent 即可使用所有 3D 渲染、语音合成、口型驱动都在浏览器内完成。15 秒超时兜底确保弱网环境下不会无限等待。对于运动跟练这种需要即时反馈的场景低延迟就是安全本身——用户膝盖内扣后等 3 秒才听到纠正和 500ms 内就响应的纠正受伤风险完全不同。数字行动与物理行动从文字回复到具身交互传统智能体的输出停留在文字层面。动知在屏幕端通过语音、口型、表情、手势和身体动作完成动作讲解与纠错这些表达形式在 SDK 内部统一生成前端一行代码即可触发完整链路// src/services/avatar.ts — 数据到讲解的核心调用真实代码exportasyncfunctionaskAvatar(text:string,context:string){if(!agent||avatarState.status!online)returnavatarState.subtitletextawaitagent.ask(${COACH_ROLE}\n当前训练台数据${context}\n用户问题${text})}智能体收到的不是孤零零的一句话而是一份带着完整训练台上下文的分析请求——当前动作、关节角度、计数、姿态得分、正在纠正的错误加上私教的行为准则一并提供给大模型推理。打断也是即时的// src/services/avatar.ts — 语音交互即时启停真实代码exportasyncfunctiontoggleAvatarVoice(){constactiveagentif(!active||voiceStarting)returnif(avatarState.listening){awaitinterruptAvatar();return}consttokenvoiceGeneration voiceStartingtruetry{awaitactive.startASR()if(token!voiceGeneration||agent!active){awaitactive.stopASR();return}avatarState.listeningtrue}finally{if(tokenvoiceGeneration)voiceStartingfalse}}这就是数字行动智能体以具身交互智能体的形式在终端上与用户自然互动。SDK 内部将感知、理解、表达和行动连接在同一套状态管理体系中前端通过 agent.ask() 触发全链路通过 onAgentStateChange 感知表达状态通过 interrupt() 即时打断——三个接口覆盖完整的交互生命周期。当同一个智能体进入人形机器人或线下实体设备时同样的感知—理解—决策—表达链路延伸为物理行动在健身房的真实空间中与用户交互。智能体的身份、知识和运动业务能力在不同身体形态间持续复用。休息区暖纸主题之间的产品设计技术底座之上动知在视觉和交互设计上也形成了自己的气质。暖纸主题暖纸底色#f5f4f0搭配活力橙强调色#ff5a2d和深蓝数据色#2f6bff数字统一使用等宽字体传达运动数据的专业感/* src/style.css — 暖纸主题色真实代码 */:root{--bg:#f5f4f0;--paper:#fffdf9;--ink:#1a1b1e;--accent:#ff5a2d;--accent-deep:#d9431a;--accent-soft:#fff0ea;--stage:#101216;--data:#2f6bff;--ok:#18a06c;--warn:#e8930c;--mono:Consolas,SF Mono,Menlo,Roboto Mono,monospace;}双栏训练布局顶部动作条4 个基础动作卡片→ 动作要领摘要 → 左栏骨骼追踪舞台Canvas 实时渲染 HUD 数据叠层 右栏私教教练台数字人 口令流 对话区→ 训练数据仪表带 → 介绍长页。骨骼追踪舞台Canvas 绘制 14 个骨骼点和 13 根骨骼连线激活规则的骨骼段自动高亮为橙红色。HUD 四角分别显示 LIVE 状态、实时关节角度、计数和目标、姿态得分。底部 5 格关节角读数膝/髋/肩/肘/躯干倾角实时刷新。错误剧本注入这是动知最独特的设计——用户可以勾选预设的错误模式如深蹲的弓背塌腰“膝盖过脚尖”“蹲得过浅”骨骼即刻出现对应偏差规则引擎当场检测并给出口令。这让纠错链路完整可见// src/engine/trainer.ts — 姿态规则评估真实代码constfired:string[][]for(construleofthis.move.rules)if(rule.test(ctx))fired.push(rule.id)for(constidoffired){if(this.firedRules.has(id))continueconstlastthis.cueCooldown.get(id)??-99if(this.clock-last9)continuethis.cueCooldown.set(id,this.clock)construlethis.move.rules.find(rr.idid)if(rule)this.emitCue(rule.label,correct)}每条规则按 9 秒冷却播纠正口令避免同一错误反复刷屏。计数状态机用滞回阈值过滤抖动——真正到位才计 1 次带着错误的次数会被标记为待改进// src/engine/trainer.ts — 计数状态机真实代码if(away)this.counterStateawayif(homethis.counterStateaway){this.counterStatehomethis.stats.reps1constquality:RepSummary[quality]this.faultDuringRep?poor:goodif(qualitygood)this.stats.goodReps1this.stats.lastQualityqualitythis.faultDuringRepfalsethis.stats.formScoreMath.round((this.stats.goodReps/this.stats.reps)*100)每 10 次标准动作或平板每 10 秒里程碑事件触发私教亲口播报——训练台数据通过 buildContext 函数随问附带给大模型// src/App.vue — 训练台上下文构建真实代码functionbuildContext():string{constmmove.valueconstdonem.countModereps?已完成${live.reps}次其中标准${live.goodReps}次上次完成质量${live.lastQuality??尚未完成}:有效保持${Math.floor(live.holdSec)}秒累计${Math.floor(live.holdTotal)}秒constfixinglive.activeRuleIds.length?正在纠正${live.activeRuleIds.map(idm.rules.find(rr.idid)?.label??id).join(、)}:当前姿态无告警return当前动作${m.name}${m.viewLabel}${m.focus}目标${m.goalLabel}${m.tempoLabel}${done}姿态得分${live.formScore}%节奏${tempo.value.toFixed(1)}倍速${fixing}}这些设计选择服务于同一个目标让具身交互智能体成为跟练体验的核心——练得多不如练得对每一次下蹲、每一次撑起都有角度数据和即时口令兜底。收操端到端具身交互智能让每一次跟练都有私教兜底动知的实战把端到端具身交互智能的核心理念落到了代码里围绕一次完整的运动交互把骨骼追踪、姿态评估、智能纠错和具身表达连接成一套持续运行的系统——核心服务层从传统管线的 2000 行缩减到不到 200 行首字响应从 1.5~3 秒降到约 500ms打断即时生效状态全链路统一流转部署从三套服务分别对接收敛为一个 SDK 全链路打通。对比维度传统管线端到端具身交互智能姿态评估需要额外对接骨骼追踪 SDK规则引擎内嵌 训练台数据自动附带纠错能力通用大模型缺乏运动学约束六条行为准则的专属私教人设 9 秒冷却口令交互方式纯文字问答语音 文字双通道 训练台数据实时附带首字响应1.5 ~ 3 秒~500ms表达方式纯文字气泡语音 口型 表情 手势 身体动作部署复杂度多套服务分别对接一个 SDK 全链路打通同一个智能体今天可以是 Web 端的运动私教明天可以出现在健身房的线下大屏、体育院校的互动终端、甚至人形机器人上——身体可以变化但专业运动能力持续存在。魔珐星云是一套端到端具身交互智能平台让 AI 通过屏幕和机器人进入真实世界成为能够感知、理解、表达并行动的智能体。说到底动知做的事情只有一件让每一个做错的动作都被实时发现、被当场纠正。
