最近读 GE-Act 2.0 这篇论文最让我停下来反复琢磨的不是某个机械臂操作视频有多惊艳而是它把世界模型和机器人控制之间的接口重新设计了一遍。当前聊世界模型的声音很多能生成连贯视频的模型也越来越多但真正愿意回答“世界模型怎样真正接入机器人控制”的工作其实很少。这篇论文的核心恰好就是这个问题它适合两类人一类是做具身智能算法、正被“视觉语言模型直接出动作”的方案搞得焦头烂额的团队另一类是刚接触世界模型、想知道它除了预测下一帧画面到底还能干什么的读者。我按十分钟读论文的思路把架构、训练细节、实验解读和部署工程坑全部梳理到这里尽量不省略关键中间量。1. 这篇论文在解决什么世界模型和机器人控制的“错位”1.1 为什么世界模型看起来很强却轮不到机器人用“世界模型”在大众讨论里几乎等同于视频生成给它一段开头画面它就能像模像样地把后面几秒的内容推出来。“像模像样”是关键在生成场景里画面上有几块模糊、杯子形状轻微走形观众是能接受的因为感官上足够震撼。机器人控制却完全不同控制是一个逐误差累积的系统开环预测第 5 帧的小偏差到第 50 帧就可能变成一个完全错误的场景。把像素预测结果直接当作状态的代理控制器看到的东西在快速失真策略再强也白搭。这是一个根本矛盾视频生成追求的是视觉合理性机器人控制追求的是状态可决策性。就算一个世界模型把未来图像预测得很准控制器依然不知道该从这么多像素里提取哪一部分来决定下一步动作。于是很多工程团队对世界模型的实际用法只剩两条路要么拿它做离线数据增强要么拿它做预训练特征提供者真正在线控制时还是回到老旧的感知-规划-执行管线。GE-Act 2.0 等于是把第三条路做出来了——让世界模型以一个可微动态函数的形式直接参与每个时刻的动作选择。1.2 控制真正需要的是“决策导向的预测”GE-Act 2.0 里最核心的立场是不要把世界模型写成“视频生成器”而要写成“环境动态模型”。环境动态模型的输出不是下一帧图像而是下一时刻的隐状态分布。隐状态不需要包含桌面的木纹、灯光的反光、背景物体的纹理只需要包含机械臂、操作对象和关键障碍物的位置、速度以及足够支撑动作判断的高层特征。丢掉像素空间的冗余计算只是第一个好处第二个好处更重要动态模型可以直接变成规划器的可微函数。从控制视角看策略不再问“这个场景长什么样”而是问“如果我现在执行这条动作隐空间里的物体关系会怎么变化”。整个问题就从“预测未来”变成了“在潜在状态空间里做决策”复杂度完全降了一个量级。这篇论文后续所有设计——潜变量规划、动作扩散头、损失函数配比——实际上都在给这个“决策导向预测”铺路包括它和 1.0 版本的差异也是围绕这个核心展开的。2. GE-Act 2.0 核心架构把“录像机”改成“模拟器”2.1 输入输出和整体路线按照论文里的系统图GE-Act 2.0 的输入是语言指令、一个或多个相机视角的图像、机械臂的关节或末端状态输出是一段长度为 T 的动作序列。这个 T 通常取 24 到 32可以理解成机器人未来一到两秒的运动计划。整体链路是观测编码器把多视角图像压成隐状态序列世界模型在隐空间里维护一个动态状态潜变量规划器在隐状态序列上搜索动作候选扩散动作头把候选轨迹解码成关节空间指令。这条链路和常见的“图像到动作”模型最不一样的地方在中间层。它不是把图像特征直接送进一个大模型然后映射成动作因为那样模型对“动作之后的后果”毫无感知而是先让世界模型在隐空间里把“执行某个动作后会发生什么”推演出来再基于推演结果做动作选择。用一句话概括动作不是从视觉里“翻译”出来的而是从对未来的“想象”中选出来的。2.2 隐状态表示固定维度的 token 流承担时序记忆隐状态不是简单地把一帧图像编码成一个向量那样会丢掉时间上的连续性。GE-Act 2.0 的做法是让编码器为当前观测生成特征再用一组可学习的 query 把特征聚合成固定维度的 token 流。每一帧都做同样处理但在时间轴上保留一个长度有限的历史队列。这样做的好处是世界模型维护的状态既包括当前观测信息也带有最近几帧的运动趋势比如物体正在朝哪个方向滑动、机械臂末端速度大概是多少。这里我读到论文实验部分时特别注意了一点隐状态并不完整保存环境的一切信息。任务敏感的压缩表达意味着模型有权忽略和控制无关的物体比如桌面上一只永远不会被用到的马克杯。如果世界模型被迫把所有视觉内容都塞进固定维度它很快就会为“记忆容量”发愁动态预测能力也会被稀释。这种“有损压缩”不是一个缺陷而是把世界模型接进控制链路的必要代价。2.3 三层控制接口观测编码器、动态模型、规划动作头我把这篇论文的架构拆成三层接口便于理解梯度到底怎么流动模块职责输入输出观测编码器从像素到隐状态多视角图像 本体状态隐状态序列动态模型预测环境状态变化隐状态 动作序列未来隐状态分布规划器与动作头生成并选优动作隐状态轨迹 语言指令低层控制动作序列动态模型在这一层接口里的角色非常关键。它接收当前隐状态和一段候选动作给出下一时刻隐状态的预测分布。因为整个过程可微规划器可以沿着时间轴展开用一个代价函数去评估每条动作候选的后果。动作头则负责把规划器选中的隐空间决策最终转换成真实的关节速度、位置增量或末端位姿增量。这样分层之后视觉、动态、控制三个问题被解耦了但它们依然在同一个损失函数里端到端优化。2.4 相比 GE-Act 1.0 的迭代点论文里有和上一代 GE-Act 1.0 的对比实验。1.0 的思路更像“世界模型做预训练冻结后给策略用”先把模型在视频预测或状态预测任务上训练好然后策略只把世界模型当成固定的特征提取器。这个做法的问题在于预训练目标关心的信息和控制目标关心的信息并不完全一致冻结之后策略无法让模型表达朝向控制任务调整。2.0 最大的迭代就是把动态模型和策略头放到同一个训练图里端到端更新推理时直接用隐状态展开做闭环规划。另一个迭代点是隐空间的建模粒度。1.0 试图让隐状态尽可能重构完整的物理场景2.0 则主动放弃重构只保留与决策和任务达成直接相关的信息。这听起来像退步实际是在解决控制问题上的进步。世界模型接入机器人控制最怕的就是“懂的事情太多但关键的事情没抓住”2.0 把这个取舍做得非常明确。3. 我读论文时最花时间琢磨的部分规划器和动作头怎样协作3.1 潜变量规划器在隐空间里“试错”潜变量规划器在执行前会生成一堆动作候选然后让每个候选动作从当前隐状态出发交给动态模型展开若干步得到一条未来的隐状态轨迹再由代价函数判断这条轨迹质量如何。因为动态模型可微梯度可以一路反传到动作候选上所以它可以不断修正候选动作而不是生成一次就交差。这种“在想象里试错”的思路并不算新强化学习里的 model-based 方法早就这么做了但 GE-Act 2.0 把搜索的位置从像素空间挪到隐空间规划器面对的目标函数更平滑搜索效率高很多。代价函数需要任务化。夹取任务的代价里要有“夹爪与目标之间距离”的项倒水任务的代价里要有“杯口相对目标容器的姿态差异”的项。语言指令可以给这些代价函数提供目标先验这样可以减少很多人工设计规则的负担。但另一方面任务代价也不能过度强否则规划器会在代价函数上钻空子比如夹爪不闭合、直接把目标推过去也算“距离下降”。代价项和任务约束要一起设计这是让世界模型真正为控制服务的关键细节。3.2 扩散动作头到底解决了什么问题我看到不少技术分析把扩散动作头简单理解为“生成动作更平滑”其实它最核心的价值是多模态轨迹建模。如果只用一层 MLP 去回归动作它会把多条同样正确的轨迹平均成一条不存在的中间轨迹。典型的例子是同一个桌面场景从左边接近杯子和从右边接近杯子都是成功轨迹两条动作的平均却是穿过杯子的轨迹。扩散模型天生擅长处理多模态分布它可以在条件信息语言指令和隐状态轨迹下多次采样得到多条合理的动作序列再由代价函数挑选最优的那一条。训练动作头用的是扩散模型的标准去噪目标给定真实动作序列在预定的噪声调度表上预测噪声推理时从随机噪声出发迭代去噪。这个动作头是在世界模型逐步稳定的过程中训练的不能一开始就随机初始化并行训练。我复现类似架构时踩过坑动态模型还没收敛就把动作头接上去扩散头会试图补偿动态模型的错误最后生成的动作在像素上看着丰富实际控制效果一塌糊涂。训练顺序很关键。3.3 闭环重规划每步都做多少“想象”真机场景里最容易被论文图表掩盖掉的是实时性问题。如果一次规划要在隐空间展开 20 步每步动态模型推理要花 50 毫秒一次规划耗时就到一秒控制周期完全跟不上。GE-Act 2.0 采用的方式是闭环重规划并不把一整段动作序列全部执行而是每执行一小段就根据最新观测重新规划。控制频率拆成两层看观测编码器跑在低频大约 10 到 15 赫兹规划器和动作头跑在相对高频比如 30 赫兹左右。这种设计下想象步数反而可以缩短因为短视窗的预测误差更小真实控制容错更高。这里有一个工程上的直觉不要迷信“长时程预测更准”就能带来更高成功率实际真机上往往发现只要重规划够快短视窗已经足够完成任务。世界模型接入机器人控制最大的工程约束不是预测精度而是延迟预算。谁能在延迟预算内拿到更高任务成功率谁才是真正把世界模型用起来的团队。4. 训练策略与数据配比世界模型最容易被低估的部分4.1 两阶段训练先学会环境动态再学会动作偏好论文实验设置里非常明显的一个特点是 GE-Act 2.0 不是一次性把所有模块端到端训练起来的。它先做自监督预训练让编码器和动态模型具备对环境的预测能力然后再把规划器、动作头接上去做端到端微调同时解冻一部分编码器。两阶段训练的核心原因是稳定性。如果一开始就让随机初始化的规划器通过动态模型反传梯度编码器很容易学到“作弊”的表达把所有不可预测的信息一律忽略损失函数数值上很好看但实际学到的东西严重缺乏物理意义。完全冻结动态模型也不行。因为预训练阶段没有任务目标隐状态表达是通用的进入控制任务之后策略需要分辨的信息和预训练阶段重点保留的信息不完全重合。论文实验里最稳的做法是预训练结束后动态模型的大部分参数冻结或只做低学习率微调观测编码器部分解冻规划器和动作头从头训练。这个取舍表达了一条重要经验模块之间要“部分耦合”不能让所有模块同时在悬崖边上更新。4.2 成功演示、探索数据和语言标注的配比要训练一个对“失败”有感知的世界模型不能只用成功演示数据。如果所有数据都是成功轨迹模型会以为动作之后的物理永远是理想物理杯子永远不被碰倒夹爪永远能抓住目标。为了让动态模型真的见过碰撞、滑动、抓空这些情况数据里必须混入随机探索数据和失败尝试数据。我按论文实验部分整理了一个常见配比成功演示数据占 60% 左右随机探索和失败数据占 25% 到 30%其余是带噪声的无监督交互或历史重放数据。这个配比背后的道理是动态模型对“异常事件”的建模能力来自它见过多少异常。成功演示只能告诉它正常动作的结果探索数据才能告诉它如果动作偏了、推力大了、速度快了环境会怎样响应。语言标注不需要每条都加但一组操作配上不同语言指令可以让模型区分“找杯子”和“把杯子放到盘子里”之间的意图差异。语言标注对世界模型构建高层状态表示有帮助但数量要求不高过度标注反而可能让模型过度关注词汇到动作的映射忽略底层物理。4.3 损失函数预测误差、动作生成、任务代价三者的平衡GE-Act 2.0 的训练损失可以拆成三大块隐空间动态预测损失、动作生成扩散损失、任务代价损失。动态预测损失让模型具备“如果执行某条动作隐状态会怎么变”的能力动作损失让生成的动作接近专家分布任务代价让规划器偏好在动态上合理的动作。三者的权重不能拍脑袋定。如果动态预测损失太大模型会把全部精力花在预测隐状态上输出动作多样性不足如果任务代价太大规划器容易走极端。实操里会用不确定度加权或者每隔一定步数动态调整损失权重而不是一开始锁死。我特别想提一个容易被新手忽略的点任务代价并不是越精确越好。给抓取任务设计一个到目标的欧氏距离项模型会学出“用夹爪把目标推到目标点”的行为因为目标点在不断下降。必须补充任务约束项比如夹爪闭合状态、末端姿态接近垂直、不能触碰桌面等结构化条件。这样世界模型才能学到“执行正确动作”而不是“在代价函数上打补丁”。这也是让世界模型学会控制语义而不仅仅是学会动力学的关键。5. 实验结果怎么看别被平均成功率骗了5.1 仿真基准里值得注意的相对差距先给出一张按论文报告趋势整理的量级对比表主要用来体会相对差异不是精确成绩——不同随机种子、不同任务变体下数值会有波动方法单臂抓取双臂协同开门操作直接行为克隆68%41%65%真值状态 MPC74%55%70%GE-Act 2.083%68%78%从相对差异看GE-Act 2.0 的提升不是来自某一个模块的魔法而是把动态预测和动作生成接在一起之后多步协调类任务获得了更大收益。单臂抓取任务里平均成功率本来就高优势反而不明显双臂协同和开门这类需要理解物体之间关系的任务提升非常显著。原因也好解释有了隐空间动态规划器能提前预料到“另一只手伸过去会不会把物体挡跑”或者“门把手转动后门的开度会怎样变化”。5.2 真机测试重规划频率对成功率的实际影响真机实验里有一点很值得注意任务成功率高不代表动作干净。把动作序列全部开环执行时成功率下降明显切换到闭环重规划之后成功率回升但机械臂会频繁出现小幅停顿看起来不那么顺滑。这在操作任务里非常典型模型是在“边看边做”每执行一小段都要根据实际画面重新调整一次。评价一个控制方案时不能拿离线动作流畅度当第一标准要看它对现场扰动的反应能力。另一个细节是长时程世界模型预测误差依然存在。闭环重规划可以补偿短时预测误差但无法凭空解决物体长期移动趋势的错误估计。真机实验中如果物体被外部碰了一下传感器能观察到位置变了重规划就能救回来但如果观测频率太低模型没有及时看到变化它只能在错误的隐状态上继续“想象”。这再次说明要把世界模型接入控制感知反馈频率和动态预测质量同等重要。5.3 消融实验说明什么两个关键模块缺一不可消融实验通常是最能说明设计合理性的部分。第一条结论去掉隐空间世界模型、只保留扩散动作头成功率会明显掉一截。这证明世界模型提供的动态先验不是摆设规划器确实用上了“动作后的结果”。第二条结论去掉扩散动作头、改成用 MLP 回归动作成功率均值可能不会瞬间崩掉但方差会变大因为多模态轨迹被平均掉之后动作离最优解时近时远。最值得深思的是把动态模型改回像素空间预测的消融。训练代价和推理延迟同时上升长时程预测依旧不稳定但成功率没有因此更高。这其实在提醒做机器人学习的团队像素级视频预测固然能让人觉得“模型很懂物理”但对控制任务来说边际收益真的没有想象中大。炫酷的能力如果无法变成可微的决策信号它在机器人控制里的价值就被高估了。6. 复现 GE-Act 2.0 时容易踩的工程坑6.1 多视角输入处理和编码器选择多视角图像不是简单拼在一起就能用的。如果两个相机存在严重的视角重叠编码器容易对同一个物体重复计数如果相机没有标定动态模型很难学到稳定的空间位置关系。GE-Act 2.0 的隐状态设计对相机标定的要求其实比许多三维重建方法低但仍要求相对位姿保持一致。复现时最稳妥的做法是先用预训练视觉编码器冻结它只训练后端的融合层和动态模型。等隐状态表达稳定之后再小学习率放开部分参数。直接全部端到端放开很常见的结果是训练 loss 前期下降非常漂亮验证和真机测试却突然崩掉。多视角融合的顺序也是经验问题。我见过的设计里把多视角图像的 token 按视角顺序拼接再送入动态模型比把所有视角直接平均要稳得多。平均操作会丢失视差信息模型很难判断哪个物体离机械臂更近隐空间动态预测会变得模棱两可。6.2 世界模型崩坏的保护机制训练隐空间动态模型有一个非常典型的现象动态预测 loss 很低控制成功率却很低。原因是编码器学到了把不可预测信息丢掉动态模型也学会了直接“填平”所有不确定性。对这个问题最常用的保护机制是 stop-gradient 技巧也叫梯度截断。具体做法是隐状态预测损失的反传梯度在某个位置截断让编码器更新时只看动作生成和任务代价不看动态预测任务。这会迫使编码器保留对决策有用的信息而不是为了一时的预测误差把某些特征直接丢弃。数据增强也要延伸到动作域。除了常见的图像随机裁剪、亮度扰动之外给动作加上小噪声再让模型预测未来隐状态会非常有效。这能让世界模型意识到“控制器执行动作可能存在误差”从而学到更真实的动态响应。如果只在图像域做增强模型会过度适应“执行器绝对精准”的假设真机部署时才暴露预测不准。6.3 推理时延迟预算怎么分配部署时可以把模型拆成两个频率运行感知编码器以 10 到 15 赫兹刷新隐状态规划器和动作头在隐状态之上以 30 赫兹左右做重规划。真正决定推理延迟的大头是动作头采样步数和候选数量。减少候选轨迹数量、减少去噪步数成功率下降通常远小于延迟收益。合理配置一般是 32 到 64 个候选动作、去噪步数取 8 到 16 步这样每轮规划可以控制在几十毫秒级别。还有一个安全层面的建议上线前一定要给机械臂加限位保护、碰撞检测和力控阈值。隐空间世界模型一旦预测错误生成的动作很可能偏离正常范围如果没有任何底层保护后果会很难处理。世界模型接入控制之后模型错误不再是离线指标问题而是直接影响真实执行器所以安全兜底不是可选项。7. 我的整体判断世界模型接入机器人控制的难点不在模型在接口7.1 论文对我的最大启发GE-Act 2.0 里的很多组件其实不是第一次出现隐空间预测、扩散动作生成、MPC 式重规划单独拿出来都有成熟的工作。但它的贡献在于把这些组件用“接口方式”重新组织了一遍让世界模型从一个独立预测模块变成一个可微控制组件。这件事说起来简单做起来要同时解决数据配比、损失平衡、实时性预算、梯度截断等一连串工程问题。它不是一次理论突破更像一次把理论拆成可用产品的系统集成。对做机器人应用的人来说这类系统集成的参考价值往往比刷排行榜的模型更大。7.2 如果按这个思路往下做我会关注什么接下来我会重点关注三个扩展方向。第一语言条件世界模型把自然语言作为动态模型的额外条件让世界模型可以区分高层任务意图而不是完全依赖任务代价函数来把目标告诉机器人。第二跨机械臂迁移当前隐状态表达仍然和机械臂结构有一定绑定换到不同型号的机械臂需要重新适配或微调。第三多智能体协同同时建模两个机械臂之间相互影响的世界模型目前更多停留在仿真阶段真机部署还需要更稳的代价函数和更精细的时序设计。如果有人在复现过程中遇到别的坑欢迎一起交流。
