人搬一个大箱子不会只用手掌。他会先用胸口把箱子顶住找一下重心再让箱角贴着前臂滑过去最后用另一只手补位——整个上半身都在参与手只是其中一个接触点。而今天的人形机器人做同一件事基本还是「用手抓住、搬过去、放下」这一套图 1。这个差距不是硬件差距。Unitree G1 有两条七自由度的臂、一个大面积的躯干物理上完全可以像人那样把物体抵在身上。真正缺的是把「身体」当成可用操作面来建模和训练的方法如果训练目标只说「用夹爪抓住物体」那躯干和前臂就永远只是被闲置的连杆。arXiv 2610.22184《Whole-Body Dexterity》做的正是这件事。作者来自 Amazon、UC San Diego 与 University of Michigan他们提出 **WBDWhole-Body Dexterity**框架先把躯干按区域拆开用能量优化批量生成「哪里都能抓」的全身抓取再让强化学习专家学会在身体任意两个抓取之间来回搬家最后蒸馏成一个只用本体感知和物体几何的控制器零样本搬到真机 G1 上。真机端的结果是50 次试验完成 45 次90%而直接重定向只有 9/5018%通用全身控制器 SONIC 只有 2/504%。图 1人形机器人把操作面从手扩展到整个身体用胸口顶住、前臂承托箱角完成抬起、夹在腋下、行走搬运与放下只用末端到底限制了什么先把问题说清楚。人形机器人目前的操作研究接触面几乎只出现在两处末端执行器或者躯干正前方的一小块区域。这个限制会同时压住三件事。第一是力矩。手抓一个 30 厘米的箱子重力的力臂等于掌心到质心的距离腕关节要一直扛着这个扭矩。把箱子抵在胸口力臂被摊到整个接触面上关节力矩被分散到躯干——这也是人搬重物时的本能动作。第二是可操作空间。只用手物体的可达位置就是以肩为球心的一层壳允许用腋下、肩部、后背物体可以出现在躯干的六个方向上。第三是稳定性。抓取一旦滑脱就失败而身体顶住时短暂失去手臂接触往往还能靠摩擦撑住。论文里有一句话我觉得概括得很准现有的全身操作工作要么把「全身」理解为「多条臂协同控制手」要么是持续把重物抱在胸前没有把接触当作一种可以用任意连杆建立和释放的通用能力。把「全身操作」做出来并不是新目标但已有工作的边界相当清楚。一类做法是用双臂和躯干抱住超过手部尺寸与负载的笨重物体把接触分散到身体上也有工作在上半身装上触觉让真机把箱子抵在臂与胸前。离本文最近的一条是在大型软体躯干上做强化学习能抬起不同尺寸和质量的方块并做前胸区域的恢复性重抓取——但它不站立、不行走也不把物体移动到身体的其他区域。经典模型派的做法把问题写成「在整个身体表面上的接触优化」或者把持物操作规划成物体运动与接触状态的转移图但通常带平面、准静态或箱体形状的假设。近期也有学习派把全身接触暴露成一个显式、可命令的接口或者从动捕演示里模仿全身人—物交互。遥操作是另一条直通全身操作的路。实时人—人形重定向与影子跟随已经相当成熟跟踪控制器也能跟全身目标。但论文指出了一个很实际的瓶颈没有力或触觉反馈时操作员很难判断物体是被压住了还是在打滑这基本把遥操作限制在了「只用手做取放」的行为范围里。本文的位置因此可以这样概括它不引入新的硬件接口也不假设物体是箱体或接触是准静态的而是把灵巧手领域已经被验证过的「重抓取」原则抬升到整个人形——接触可以用任意连杆建立和释放物体可以在身体各区域之间被传递。这是我认为它跟前面这些工作最本质的区分。图 2WBD 流水线四步生成体素化全身抓取数据集预训练球体专家热启动其他物体专家蒸馏成通用灵巧控制器把身体写成操作面模式约束的重抓取WBD 的核心概念借自灵巧手。手内操作可以看成「重抓取」re-grasping物体在一串抓取之间被传递靠反复断开和重建手指接触完成转向也就是 finger gaiting。手有很多根手指可以一边换支撑一边保持物体人形机器人只有两条臂挪开一条臂时另一条必须把物体抵在躯干上——这正是难点所在。所以作者提出了mode-constrained re-grasping给每个抓取打上「模式」标签模式集合是{L, B, R}分别代表左臂、双臂、右臂抓取。转移的合法性由模式决定L 和 R 各自可以连到自己、也可以连到 B但L 和 R 之间永不直接相连。任何一次左右手交接都必须经过一次双臂抱持。这条约束非常工程化——它把「先抱稳、再换手」写成了一条图上的连通规则而不是留给策略去碰运气。下游的仿真也印证了这个设计的必要性论文观察到的失败模式高度一致都是交接中途失去支撑接触、随后掉件。臂到臂的切换确实是瓶颈图 2。图 3全身抓取生成按指定的臂、腿、躯干接触连杆做能量优化得到候选再在仿真中做扰动校验腿部抓取被排除第一步251 万条全身抓取是怎么筛出来的训练要有数据。作者的抓取生成方法定义在「接触配置」上给定机器人模型、物体网格和一组接触连杆用基于能量的优化求解。这里有个我认为很关键的工程细节——大块连杆必须拆开。G1 的躯干从任何一侧都能接触如果把它当成一个接触目标去优化优化器会集中选择最容易接触到的方向把「从背后顶住」「从侧面夹住」这些方向全部塌缩掉。作者因此把躯干细分成分区图 3每个分区独立生成抓取让结果铺满整个身体。优化目标是最小化可微的力闭合残差单位法向接触力的净力和净力矩平方和除以接触点数平方。接触点定义在物体网格的有符号距离场上同时用碰撞球体约束连杆不穿透物体、不自碰、不越关节限位。批量设置在附录里写得很具体一张 GPU 上并行4096 个候选、4000 次迭代AdamW学习率 1e-3权重衰减 1e-4配余弦退火到 1e-4。接触点候选集共 626 个点、覆盖 34 个连杆双臂配置下启用 347 个点、25 个连杆。但静态优化只是代理目标真正的筛选在仿真里做两轮。候选物体先被压入接触然后在4 倍重力下沿六个轴向依次扫过持续 10 N 力与 0.5 N·m 力矩的扰动接触不失才过关幸存者再在标准重力、无扰动下复测要求漂移小于10 cm、转动小于45°。最后还有安全过滤物体网格离躯干表面超过 5 mm 的抓取被丢弃。经过这一整套流程服务于 WBD-EX 训练的数据集里留下251 万条仿真稳定抓取。论文报告按物体中心采样的平均覆盖率是 90.1%合并统计为 98.4%。第二步WBD-EX——把身体当成一张可滑动的接触面有了抓取语料下一步是让专家学会在它们之间搬家。作者把每个抓取按「稳定后的物体中心」按 2 cm 体素离散化同一体素内再按模式分组每个被占据的体素模式对就是目标图上的一个节点。一次转移是否合法就查上一节的那条模式规则。训练用的是目标条件 MDP 加 PPO。回合初始状态直接从数据集里采样先均匀采一个模式再采该模式下的一个体素最后在体素内均匀采一条抓取。目标先抽一个远处的 far goal再在当前节点附近按距离d ~ U(0.02, d_max)生成一个中间目标走到之后再抽新的 far goal。另有0.2 的概率命令是 hold要求策略把物体保持在原位原模式。我认为这里最有意思的一个取舍是成功判据只看物体的位置、抓取模式和物体是否静止完全不含目标的关节构型和物体朝向。作者明确写了这一点与 DexterityGen 的差别。这直接决定了策略可以「滑」和「滚」——物体怎么到那儿的不重要重要的是它稳稳停在哪儿、用的是哪种模式。对全身操作来说这正是需要的自由度躯干表面不是夹爪物体在上面滚动和滑动才是常态。为了让策略不要退化成纯准静态作者在接触要求上开了一个0.48 秒24 个控制步的宽限窗口允许短暂失去所需的臂接触只要交接动作做得快。没有这个窗口策略会被迫一直保持最保守的抱持姿态。目标只给位置和模式奖励与课程的设计奖励是一个加权和可以分成两组。目标组包含四项进度项按到命令位置的距离缩减给分并且被±2 cm 裁剪防止单步主导到达项要求物体在 2 cm 的目标区域内以正确模式静止成功项是稀疏的重置完成奖励保持质量项在 hold 目标上用 exp(−e/2.5 cm) 奖励「保持在原地」。其他的还包括手臂中立项、失败惩罚与五个正则项。目标组和手臂中立项都乘了一个保留因子 ρ物体一掉或必需接触丢失这些奖励立刻归零。这个写法很干净它把「先拿稳」变成所有其他奖励的前置条件而不是靠一个大的失败惩罚去吓阻。两个课程都在改环境而不是改目标函数。一个是目标距离课程把 d_max 从 2 cm 线性升到 8 cm让策略同时见到近距的精细调整和远距的大幅搬运。另一个是两阶段训练小球、形状规则的物体专家学得快所以先训200–220 mm 球体专家再把完整的训练状态actor、critic、优化器、观测归一化器、课程进度热启动给其他物体。论文报告在匹配 50000 次迭代的预算下六个对比物体全部获得更高的区域路线完成率棱柱从 23.30% 提到 50.12%而总迭代数从 300000 降到 240000省下 20%。网络接口这一层也值得记一笔。策略的 actor 在当前时刻收到 89 维观测分成几组14 维臂关节位置减去默认构型、14 维臂关节速度、14 维伺服误差、14 维上一步动作命令组里有 hold 标志与最大目标距离共 3 维目标相对物体的位置 3 维物体组里有物体位置与 6 维旋转共 9 维、躯干系下的线速度与角速度共 6 维接触组里有左臂、右臂、躯干的接触连杆占比 3 维接触连杆与受监控连杆之比 1 维保留标志 1 维以及按 80 N 归一并封顶到 2 的净接触力大小 1 维最后是源模式与目标模式的 one-hot 共 6 维。critic 在此基础上多拿 6 维特权信息——物体质量、质心偏移、按组统计的平均滑动摩擦合计 95 维。动作是 14 维的臂关节目标增量。原始动作先过 tanh 压缩再按每控制步 0.025 rad缩放累加到一个跨步保持的伺服设定值上设定值被夹在实测位置的 ±0.35 rad 内并遵守关节限位再在四个物理子步之间线性插值。这种「增量式伺服」的写法让策略的输出天然受限于执行器的跟随能力也解释了为什么蒸馏出的控制器在真机上不需要额外的动作平滑。训练时 actor 观测还会被注入加性均匀噪声关节位置 ±0.005 rad、目标偏移与物体位置 ±0.003 m、旋转项 ±0.01critic 拿到的则是不加噪的同一批量。图 4十五种物体的抓取可逃逸度分布细长棱柱与圆柱接近平坦球体随直径增大越来越集中在高分位第三步把专家蒸馏成一个能上真机的控制器专家只在仿真里存在而且每个物体一个。作者把 15 个物体专家的轨迹收集起来过滤掉无效段用跨身体镜像做平衡然后蒸馏成一个共享控制器。数据集是27.4 万条轨迹、8.73 亿帧。有一个细节我读的时候多停了一下抓取仿真校验只证明「这条抓取能稳住物体」不证明专家能从这条抓取出发把物体搬走。作者定义了一个叫**可逃逸度escapability**的指标——从某条抓取出发尝试单目标转移能成功的比例。他们对全部2,510,864 条抓取、每条采样 128 个目标做了评估合计3.2 亿次单目标转移试验。结果分布的形状强烈依赖几何最细长的圆柱与棱柱分布接近平坦、平均可逃逸度约 40%而球体的抓取随直径增大越来越集中在高分位从 ∅120 的 28% 提升到 ∅220 的 62%。基于这个分数他们在每个 2 cm 体素内裁掉分数最低的一批抓取采用的上限从 10% 到 60% 不等图 4。效果是每个物体的平均区域路线完成率提升1.2 到 13.3 个百分点同时保留全部体素–模式对用于轨迹采集时可用轨迹产出率从约 29.0% 升到 32.5%每次尝试的可用帧数从约 938 升到 105312%。控制器本身是「条件扩散模型 逆动力学网络」的结构输入是本体感知历史加一个五维几何描述子按对数排序的包围盒边长、对数体积、球度输出关键点位移再由逆动力学转成关节目标增量。真机上这个描述子用实测尺寸算。推理时用梯度引导把生成拉向粗命令引导权重可调权重越大越跟命令越小越依赖学到的运动先验。硬件上推理跑在操作台的 RTX 5090 上限速 50 Hz。图 5六个评估区域前胸与后背要求双臂抓取左右腋下与左右肩要求对应的单臂抓取仿真对照噪声命令下它比干净专家还稳第一组实验刻意复现真机的失败来源。作者取 15 个物体的 WBD-EX 专家作为教师把它们的动作降级成粗命令流——给全部 14 个臂关节命令加上独立均匀噪声U(−α, α)α 取 2.5 和 4然后对比「只用降级后的专家」和「WBD 精修降级命令」。评测在躯干的六个区域之间做连续转移前胸、左右腋下、左右肩、后背图 5。每个条件每个物体 256 条匹配初始抓取试验封顶 600 秒。结果在论文的图 4 里尽管命令带噪WBD 基本恢复了干净专家的平均目标达成水平。在两个噪声水平、五个引导权重的平均上平均失效时间相对噪声专家提升70%训练物体在留出的 ∅180 球体与立方体上分别提升158%与71%。更值得看的是低噪声、引导权重 1–20 的区间WBD 的失效时间超过了干净专家 25–35%训练物体留出球体与立方体上分别是 109–120% 和 25–47%。也就是说精修器不只是把噪声抹平它在维持稳定抱持上比未被破坏的专家更耐久。还有一个必须提的对照。作者另外做了时间平滑的基线对降级命令做指数滑动平均β 从 {0.05, 0.1, 0.25, 0.5} 里在验证集上选最终选到 0.5。结果是 EMA 的每回合目标数与失效时间都不比噪声专家好α2.5 时 7.82 个目标、20.5 秒噪声专家 8.47 个、29.1 秒而 WBD 是23.79 个目标、86.1 秒。这个对照我认为很有价值——它说明增益来自学到的运动先验而不是「把命令变平滑」这种通用后处理。图 6真机全身灵巧操作下方是躯干区域搬运上方是货架取箱、腋下收纳与行走搬运右侧为操作员动作捕捉真机 90% / 18% / 4%差在哪真机实验用完整 15 个物体轨迹训练出的控制器做两个躯干区域搬运任务和一个长程货架任务图 6。搬运任务里一个 3 号篮球或一个 15 cm 纸箱从前胸双臂抱持出发肩部贴靠要求物体接触到肩部连杆腋下收纳要求物体稳定夹在一侧腋下而完整往返还要求回到稳定的双臂前胸抱持。对比对象是直接 GMR 重定向和 SONIC跑公开 checkpointVR 三点模式。所有试验由一位在这三个任务上训练了 8 小时以上的熟练操作员执行用 Xsens 动捕服跟踪。任务控制器区域到达完整往返肩部贴靠SONIC2/100/10肩部贴靠GMR3/101/10肩部贴靠WBD10/109/10腋下收纳SONIC1/100/10腋下收纳GMR4/102/10腋下收纳WBD10/109/10上表是篮球、每个控制器 10 次试验每侧 5 次的数字。纸箱一侧 WBD 更好肩部贴靠与腋下收纳都是 10/10 完整往返。论文对纸箱更容易给了一个物理解释——纸箱摩擦系数更低更容易滑到肩部篮球摩擦更高需要沿躯干滚动对臂部操作要求更精细。这个解释与「WBD 和 GMR 的纸箱试验更快成功」是一致的GMR 纸箱肩部贴靠平均 8.5 秒篮球 30.1 秒。长程任务把技能串了起来从货架取箱、收纳到一侧腋下、行走搬运、取出、放到桌上。取箱一步三种方法都是 10/10但后续步骤拉开了差距。控制器收纳携行放下SONIC0/100/100/10GMR3/102/101/10WBD9/109/107/10汇总三个任务、两个物体、完整往返与完整货架序列WBD 完成 45/5090%GMR 9/5018%SONIC 2/504%。论文也如实写了尽管明显更好WBD 仍有少数试验掉了件。长程任务里操作员会切换引导权重——躯干搬运用 10取放用 100在稳定支撑和跟随命令之间做取舍。我认为最有价值的发现如果只能带走一条我会带走这个把「成功」的定义从关节构型松绑到「物体的位置 接触模式」全身灵巧操作才真正变得可学。传统抓取与放置要求末端位姿人形操作里也常常把目标写成一整套参考动作。WBD 只要求三件事——物体在哪个体素、用哪个模式抱持、是否静止——然后让策略自由选择怎么到那儿。滑、滚、短暂脱手、经双臂交接换手全都被合法化了。第二条值得记的是它对「数据够不够好」的重新定义。抓取数据集的质量通常用「能不能稳住」来衡量。这篇论文指出了一个更贴近下游的问题能稳住的抓取未必是专家能从中出发并完成转移的抓取。可逃逸度这个指标正是为这件事设计的而且它有一个非常干净的性质——分数依赖于冻结的专家所以可以在训练完之后再筛不需要改训练目标。作者还验证了一个反直觉的选择在训练中给低质量抓取降权不如训练后在采集初始状态时过滤因为降权会破坏体素–模式对的覆盖。第三条是那个 0.48 秒宽限窗口。全身重抓取的动态性来自物理本身——两条臂要交接物体要在躯干表面滚动。如果判据只承认准静态的稳定抱持策略会被推到一个保守但不适用的解。给一个明确的短时脱手许可等于告诉策略「快速重配是被允许的」。这是我认为全文最有工程价值的一处设计。适用边界与作者自己指出的开放问题先说实验边界。所有真机试验由同一位操作员完成作者明确写了这一点控制器是交互式的靠人的粗运动参考引导不是自主规划。动捕用的是 Xsens 服因为站在操作员侧面和背后时 VR 头显的跟踪覆盖有限论文也说明控制器可以接受 VR 头显与 tracker 的命令但跟踪覆盖受限会限制灵巧度。真机任务的样本量是每个控制器每个物体每个任务 10 次试验论文没有报告统计显著性检验。再说训练边界。WBD-EX不训练下半身平衡与行走躯干在仿真里被焊接固定只有 14 个臂关节被驱动这也是专家能大规模并行训练的前提。蒸馏出的控制器则部署在一台站立并行走的 G1 上靠它的下层控制器提供支撑。腿部抓取在数据生成阶段被展示过但被排除在训练之外因为那需要把操作与平衡、行走联合起来学。物体层面论文的对象集是 15 种基元6 球、4 立方体、3 长方体、2 圆柱边长与直径在 80–240 mm 之间。专家的熟练度随几何变化很明显球体专家最好∅220 球体的 14 条路线平均完成率是 88.14%而 80×160×220 的长方体只有 25.05%200 mm 立方体和两个较大长方体的四目标环路完成率接近零。作者把这一点归因于物体相对 G1 肢体的尺寸并明确把「让所有形状与尺寸的专家都持续变好」留给未来工作。还可以延伸的方向作者写得也很直接把同一套形式化推广到腿部接触——生成臂与腿的抓取组合把 WBD-EX 与全身控制器在扩展后的抓取数据集上联合训练再蒸馏成策略从而支持「把重箱子抵在膝盖上、同时腾出手来重新调整」这类行为。另一个方向是从真机采集数据减少对仿真数据的依赖论文未给出这部分的具体方案。论文没有给出的量我也如实记在这里真机任务的单次试验时长分布、操作员之间的差异、以及掉件时的具体恢复策略论文未给出专家评估只报告了 14 条路线上的完成率与置信区间没有报告训练曲线的方差分解。附录里说明专家评估每个检查点跑 2048 次试验、每条路线固定种子、每个试验 1500 步预算退出条件为首次终止这些设置让数字可比但也意味着它衡量的是「给定预算下的稳态表现」而不是收敛速度。另外一处值得注意的自述是所有专家都参与蒸馏但熟练度差异很大所以熟练度较低的专家更不容易产出合格演示需要更多采集尝试才能攒够一条被质量过滤接受的轨迹。论文用可逃逸度筛选来提升单位尝试的可用数据量并说明这个提升「一致但幅度有限」。这是一句很有分寸的自我描述。我读完之后的几点提炼**一、先把「接触面」的枚举做对再谈策略。**把大块连杆拆成有名字的分区、每个分区独立生成抓取这个动作看起来只是数据生成的一步实际上决定了整个数据集的空间分布。如果躯干是一个整体目标优化会塌缩到一两个方向后面再好的策略也学不到「从背后顶住」。做全身操作时我建议把这一步当成架构决策而不是预处理。二、把交接的合法性写成图上的约束而不是奖励里的软偏好。「L 和 R 只能通过 B 相连」是一条硬约束保证任何左右手交接都要经过一次双臂抱持。相比在奖励里加一项「鼓励双臂抱持」硬约束更可验证、也更难被策略绕过。凡是流程里有「必须经过某个中间状态」的环节都值得先想想能不能写成合法性规则。**三、目标定义要留出执行自由度判据要留出动力学空间。**只给位置和模式、不约束关节构型让滑与滚成为合法解0.48 秒的接触宽限窗口让快速重配成为合法解。这两处是同一件事的两面不要让判据比物理更严格。**四、数据质量指标要贴着下游任务来设计。**可逃逸度之所以有用是因为它衡量的是「从这里出发能不能走掉」而不是「这里稳不稳」。在训练之后做筛除还避开了破坏覆盖的风险。如果手头有一个冻结的中间策略用它给数据打分再重采样往往比在训练里给数据加权更稳。结语这篇论文把「人手 末端执行器」这个默认前提拆掉了。它给出的不是某一个新策略而是一条完整可跑的路径把躯干分区、批量生成全身抓取、用模式约束的重抓取定义转移、再把专家蒸馏成一个只用本体感知与物体几何的控制器。真机上 90% 对 18% 与 4% 的差距说明解放身体带来的不只是更好看的动作而是任务本身变得可完成。
