Google DeepMind 的 RT-2 论文发出来那天我们实验室群里直接炸了。不是因为模型规模有多大——55B 在这个年代早就不是什么新鲜事而是因为它的做法极简到让人怀疑把机器人末端执行器的连续动作直接离散成文本词表里的 token然后让视觉语言模型像预测下一个单词一样去预测动作。第一次读的时候我觉得这只是工程上的偷懒可后来反复精读了很久才发现动作即 token这个看似朴素的选择等于把整个机器人决策问题重构成了自回归模型最擅长的问题类型。这也是我想认真写一篇精读笔记的原因。RT-2 的论文全称是《RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control》从标题就能看出它想做两件事第一让 VLM 直接输出动作第二让互联网上积累的视觉语言知识能迁移到机器人控制中。这两个目标放在一起听起来很宏大但实现路径却简单得不像顶会论文——把动作写进 token 词表然后联合微调。这篇文章不打算翻译论文我想把动作 token 化背后的原理、256 个 bin 的粒度取舍、Co-Fine-Tuning 的数据配方以及这套方案在真实机器人上表现出的语义涌现能力全部掰开揉碎讲一遍。适合正在读 VLAVision-Language-Action方向论文的学生也适合想在机器人或多模态大模型领域找切入点的研究工程师。1. 为什么是动作即 tokenRT-2 的语言化决策革命1.1 RT-1 已经把动作变成了 token但还不够很多人以为动作 token 化是 RT-2 首创的其实不是。RT-1 在 2022 年就做过类似的事它会把一个 7 自由度的机械臂动作表示成几个离散 token然后用一个 Transformer 来预测。区别在于RT-1 是从零开始训练的一个专用策略模型它的参数规模、训练数据都来自 Google 自家机器人采集的 episode 数据模型本身对什么是猫、什么是饮料、颜色是什么这类世界常识一无所知。所以 RT-1 的泛化能力非常有限它可以把见过的物体抓得很好但一旦遇到训练数据里没见过的物体成功率就会掉得很难看。我印象很深的是 RT-1 论文里那个 32% 的未见过物体成功率。当时这个数字在圈内引发了讨论——大家开始意识到机器人模型如果只靠机器人数据喂泛化天花板就摆在那里。可问题也很明显机器人数据的采集成本远比互联网文本和图片高得多一台机械臂一天能采多少条有效 episode就算开源社区使劲贡献规模也远不足以训练出强泛化模型。于是思路自然转向了另一个方向能不能把互联网上已经有的海量视觉语言知识搬到机器人身上1.2 VLM 和机械臂之间缺的不是接口而是语言在 RT-2 之前VLM 和机器人策略之间通常是两套系统VLM 负责理解场景、给出高层规划比如把香蕉放到红色碗里底层再用一个单独训练的模仿学习或强化学习策略去执行。这种两段式方案的问题是误差在中间层会被放大而且底层策略如果没见过某个物体就算 VLM 已经告诉它目标它也抓不起来。RT-2 的思路是为什么不让 VLM 直接输出动作要做到这一点关键是让 VLM 和机器人动作之间有一种共同语言。对 VLM 来说输出文本是天然的能力但机械臂动作是一个 7 维的连续向量。要想让自回归模型直接生成它最自然的操作就是把它离散化然后塞进词表。这正是 RT-2 做的把连续动作变成词表里的一条条词语让 VLM 用预测下一个单词的方式去预测动作。从抽象角度看RT-2 把语言翻译和机器人控制统一成了同一类问题——都是给定一段上下文序列预测下一个 token。这种统一的诱惑力非常大。一旦动作是 tokenVLM 训练时学到的所有关于物体、颜色、空间关系、甚至物理常识的知识都有机会在输出动作 token 时被调动起来。机器人不再是一个需要单独培养的专项学生而是 VLM 这项通识教育的延伸应用。1.3 这个极简设计为什么能成立我第一次读完 RT-2 的模型设计心里其实冒出一个怀疑就这么简单没有复杂的动作头、没有专门的策略网络、没有分层强化学习仅仅是把动作加到词表里然后拿混合数据去微调一个大 VLM按理说一个自回归模型在预测文本时它并不会有意识地规划物理世界的行动可 RT-2 的实验结果确确实实表明它能学会。后来我想明白了这套设计能成立的关键在于预训练 VLM 本身已经具备了强大的视觉语义理解能力Co-Fine-Tuning 只是把这些能力嫁接到动作输出上。VLM 不需要从零学习红色碗在哪里它只需要学习看到了红色碗之后我应该输出哪个动作 token。这种理解归理解、动作归动作的分离正好避开了机器人数据不足的问题。当然这也带来一个隐患如果动作 token 的学习本身需要大量机器人数据那 VLM 的语义优势就发挥不出来。RT-2 用 50% 的机器人数据配 50% 的 Web 数据去微调就是在最大程度保留语义知识的同时用有限的数据教会模型动作语言。2. 动作空间离散化从连续控制到词表映射2.1 7 维动作向量末端位置、欧拉角和夹爪开合要理解动作 token 化先得清楚 RT-2 操作的动作空间是什么。它面向的是 Everyday Robots 的固定基座单臂机器人7 个自由度分别包括末端执行器的 3D 位置x, y, z末端执行器绕三个轴的旋转roll, pitch, yaw夹爪的开合宽度连续值在 RT-1 里这个 7 维向量会被编码成 8 个动作 token多出来的是一个 base 动作RT-2 因为固定基座不需要底座运动所以直接落到 7 个 token 上。这里有一个很值得注意的细节旋转部分用的是欧拉角而不是四元数。四元数在机器人运动学里没有奇异性问题但它是一个单位四元数四个分量之间有限制关系离散化时很容易产生无效组合欧拉角在关节运动范围受限的机械臂上使用反而是更直观、也更容易学习的表示。这也符合 RT-2 一贯的能用简单就用简单的调性。2.2 为什么是 256 个 bin控制精度与学习难度的平衡每个动作维度被离散化成多少份这是个非常关键的设计参数。RT-2 选择了 256 个 bin也就是每个维度用一个落在 0~255 之间的整数 token 表示。这个数字显然不是随便拍的——256 介于够用和好学好训之间。如果 bin 数太少比如 64 个动作量化误差会大得离谱机械臂末端定位可能偏差好几厘米面对精细抓取任务基本没法用如果 bin 数太多比如 2048模型需要区分的动作类别暴增学习难度和过拟合风险也会明显上升而实际控制精度的收益却不一定明显。256 个 bin 的另一个好处是与模型词表的设计兼容。VLM 的 tokenizer 词表一般都有几万个词把 256 个动作类别挂到词表里无论从 embedding 矩阵的维度还是从输出分类头的数量来看都是一个小数目不会因为加上动作而把模型结构改得乱七八糟。具体映射方式上每个连续值会先根据该维度的实际运动范围做归一化然后落到最近的离散 bin推理时再用 bin 的中心值映射回连续空间去控制机器人。这个离散入、离散出的过程本质上就是在自回归模型和连续控制之间做一层有损压缩损失的大小就取决于 bin 的粒度。2.3 动作 token 的推理与反离散化推理阶段RT-2 会接收一张或多张机器人视角的图片工作台摄像头、腕部摄像头等以及一条自然语言指令。模型把这些信息编码成序列后开始自回归地生成 7 个动作 token。第一个生成的 token 对应 x 位置第二个对应 y 位置依此类推直到最后一个夹爪开合 token。这些 token 再通过查表映射回连续值就得到一组可以直接执行的动作指令。这里有个容易忽略的工程细节动作 token 并不是孤立生成的它们是和文本 token 在同一个序列上下文里由模型一起预测的。也就是说模型在预测下一个动作时不仅能看当前的图像和指令还能看已经生成的前一个动作 token。这相当于隐式地在动作序列内部建立了时序依赖比如当模型输出了 x 方向的一个较大位移后续的 y 方向预测也会被这个上下文影响。虽然每次闭环控制只会执行这 7 个离散 token 构成的一步动作这种动作内部的自回归相关性仍然显著降低了生成不连贯动作的概率。我在复现一些简化版 VLA 模型时也明显感觉得到这种序列化输出的纠错效果——它比一次性独立预测 7 个维度要稳得多。3. Co-Fine-Tuning 数据配方一半机器人一半 Web 的秘诀3.1 数据全家桶13 台机器人的 episode 与 Web 任务混训RT-2 的训练数据来自两个差异极大的世界。一边是机器人学数据来自 Google 内部 13 台 Everyday Robots 机械臂采集的大量 episode包含约 13 万个可执行轨迹覆盖一千多种任务另一边是 Web 数据包括 VQA、图像描述、OCR、物体检测等视觉语言任务的数据。这两类数据在分布、格式、甚至语义空间上都隔着十万八千里RT-2 却把它们直接倒在一起做联合微调这就是论文中所谓的 Co-Fine-Tuning。一开始我觉得这做法太粗糙了——机器人数据和 Web 数据放在同一个 batch 里模型会不会学着学着就人格分裂后来看论文的实验才发现这正是它的精妙之处。纯粹的机器人数据微调会让模型逐渐忘记在预训练阶段学到的 web 知识比如它可能仍然会抓取指令中的物体但对健康危险最重这类抽象语义的联系越来越弱而保留足够的 web 数据参与训练就能持续不断提醒模型你不仅是个机械臂控制器你还是个懂世界的视觉语言模型。3.2 混合比例 50/50防止灾难性遗忘的取舍论文里最值得关注的一个实验细节是数据混合比例。RT-2 团队发现如果微调时把机器人数据比例抬得太高模型在 web 任务上的性能会急剧下降视觉语义理解能力被灾难性遗忘反过来如果 web 数据比例太高动作 token 学不充分机器人控制成功率又会掉。最终他们采用了大约 1:1 的混合比例50% 机器人数据 50% web 数据把两种能力都保住了。这段描述让我联想到大模型微调时的通用经验任何在下游任务上的继续训练本质上都在和预训练分布抢地盘。机器人数据的特点是任务明确但量少web 数据的特点是量大但和动作控制关系松散。比例一旦失衡模型就会倾向一边。如果你自己在做类似项目我的建议是在训练过程中持续监控两侧的验证集指标而不是机械照搬 50/50——在不同的 base 模型、不同数据集规模下最优比例一定会有浮动。RT-2 的优势在于它给出的是一个经过实战检验的起点而不是一个必须严格遵守的铁律。3.3 输入输出序列怎么拼图像、指令、动作 token 的位置安排Co-Fine-Tuning 不只是把数据倒在一起就行还有一个很关键的序列拼接问题。RT-2 在训练时输入序列大致是这样组织的先是图像 token由视觉编码器产生的视觉特征再接一段指令文本 token最后是待预测的动作 token。对纯 web 数据来说序列结构和普通 VLM 训练一样输出的是答案文本对机器人数据来说模型要预测的不只是动作 token有时还包括任务是否完成的标志。这种拼接方式有一个潜台词动作 token 必须放在上下文最末端让模型可以利用前面所有视觉和语言信息来做最后一公里决策。如果你把动作 token 放在中途模型在预测后面的 token 时就会受到动作信息的污染学到的条件分布就会变得很奇怪。我在自己的小规模实验里踩过这个坑一开始为了训练效率把动作 token 插在指令后面结果模型严重过拟合到固定动作换了个场景就完全失灵。RT-2 的排列方式虽然简单但背后自回归因果关系的逻辑必须严格遵守。4. 模型架构与训练细节把 PaLI-X 改造成动作模型4.1 为什么选 PaLI-X多图像、长序列与已有的 web 知识RT-2 没有从头设计一个新模型而是直接站在 PaLI-X 的肩膀上。PaLI-X 是 Google 此前训练的一个大规模视觉语言模型亮点包括一个 22B 参数的 ViT 视觉编码器以及一个基于 UL2 的编码器-解码器 Transformer。选择 PaLI-X 不是因为它参数多而是因为它的几个特性恰好是机器人控制需要的支持多图像输入可以同时吃进工作台视角和腕部视角的画面序列长度足够长能容纳视觉 token、指令 token 和动作 token预训练阶段见过了海量 web 数据具备扎实的物体识别、属性判断、空间关系推理能力。可以说PaLI-X 的物理世界理解能力是 RT-2 泛化表现的地基。如果换一个规模较小、预训练数据较少的 VLM即便把动作写进词表也很难复现 RT-2 那种语义涌现效果。这也是为什么我建议在复现 VLA 模型时第一优先级是选一个预训练得足够充分的 base 模型而不是在结构上做太多花活。4.2 训练目标与文本 token 无差别的交叉熵RT-2 的训练目标非常干净对整个序列包括图像 token、文本 token 和动作 token做标准的交叉熵最大似然。动作 token 没有额外的损失加权也没有单独的动作分支——它就是词表里普通的一员。这种一视同仁的做法背后有一个重要假设动作预测和语言预测同样可以受益于大规模自回归训练的信号。从实际效果来看这个假设是成立的。VLM 在预训练时已经学会了看到某种视觉场景后该输出什么文本的映射Co-Fine-Tuning 只需要把这种映射关系平移到看到某种视觉场景后该输出什么动作 token。视觉特征提取的梯度信号在微调阶段依然主要来自文本损失动作损失则像是一根细线把视觉语义和动作空间拉到了一起。训练过程中模型并没有分裂成语言部分和动作部分而是共享同一套视觉语义表示这也是它能实现跨任务语义迁移的根本原因。4.3 三个模型变体55B、5B 与 BEV论文实际上发布了三个版本的 RT-2分别是 RT-2-PaLI-X整体参数 55B、RT-2-PaLI-X-5B5B 小模型和 RT-2-BEV5B 但输入改用鸟瞰视角特征。55B 版本在语义理解和动作控制上表现最好但推理慢、部署成本高5B 版本速度快得多控制精度略低但整体泛化能力依然明显优于 RT-1BEV 版本则尝试用鸟瞰视角表示来加强空间几何理解让模型更容易感知物体的绝对位置。这三组变体其实回答了一个工程问题如果你要部署一套 VLA 模型应该选多大规模RT-2 团队没有给出标准答案但从实测来看5B 已经能在一些简单任务上稳定运行而 55B 更适合作为离线研究和能力上限的参考。后面很多开源 VLA 项目比如用 7B~13B 的 VLM 做动作预测也多多少少沿用了这个思路模型不需要做到最大关键是视觉语义理解能力要强。5. RT-2 的实证表现从 32% 到 62% 的泛化跃升5.1 量化对比未见物体上的成功率翻倍先说硬指标。RT-2 论文里最常被引用的一个对比是在未见过的物体任务集上RT-1 的成功率只有 32%而 RT-2-PaLI-X 直接翻倍到 62%RT-2-PaLI-X-5B 也达到约 50% 左右。这个差距说明了一件事当机器人遇到训练数据里从没见过的物体时RT-1 基本靠猜而 RT-2 可以调用它对世界是怎么运作的的泛化理解去完成抓取任务。比如它可能没见过某个特定造型的杯子但它见过无数种杯子、知道杯子的把手在哪、知道抓取应该作用在物体的哪个区域。除了未见过物体RT-2 在未见过环境上也取得了类似的提升。换一个背景、换一个摆放布局、换一组干扰物体模型仍然能保持相对稳定的控制能力。这是传统行为克隆方法很难做到的——大多数模仿学习方法对场景变动极度敏感小到光照变化都可能让成功率崩盘。5.2 语义涌现符号理解、物理推理与视觉干扰真正让 RT-2 出圈的其实是它表现出的几类语义涌现能力。论文里展示了很多令人印象深刻的例子符号理解机器人面前的杯子贴着可乐和水的标签指令是把可乐推过去RT-2 能通过识别文字符号来决定推哪个物体常识推理让它在几个物体中选最重的或者选唯一一个不适合当早餐的东西RT-2 能结合视觉特征和物理常识做出动作多步骤逻辑给定一组带颜色的积木指令是把和香蕉颜色一样的物体拿起来模型需要首先识别出香蕉的颜色再把这个颜色映射到积木上最后执行抓取。这些能力并不是训练数据里直接标注过的而是在 Co-Fine-Tuning 之后涌现出来的。为什么会出现这种现象我的理解是动作 token 化之后模型在推理动作时其实在做一种隐式的语义匹配——图像特征和指令文本特征在注意力层里交互最后落到动作 token 上时模型已经在语义层面想清楚了要抓什么、往哪里放。VLM 预训练阶段积累的庞大视觉语言关联被动作 token 这个接口顺利导流到了物理操作上。5.3 成功率的另一种解读语义关联如何帮助机器人决策我个人的观点是RT-2 的泛化能力升级本质上来源于它学会了用语义理解来缩小动作搜索空间。传统策略网络在做抓取时往往把图像像素直接映射到动作分布缺少一个这是什么物体、应该抓哪个部位的中间语义抽象层。RT-2 的 VLM 骨架天然提供了这个抽象层它对图像的理解已经以文本语义的形式存在比如红色的杯子桌上的香蕉动作 token 的预测则建立在这些语义之上。所以 62% 和 32% 的最大差距不是网络容量而是中间有没有一层语义理解。这也解释了为什么 RT-2 在干扰物较多的场景里依然能保持不错的表现——它知道指令说的是哪个物体不会被无关物体带偏。6. 精度、速度与数据代价RT-2 的局限与后续方向6.1 推理延迟55B 模型做闭环控制的困局RT-2 最大的硬伤是推理速度。一个 55B 的自回归模型每次生成 7 个动作 token 都需要跑一次完整的前向推理这比 RT-1 那种轻量 Transformer 慢了不止一个量级。而真实机器人控制是闭环的每一步动作后都要重新观测、重新决策如果模型刷新太慢机械臂只能以很低频率更新控制信号遇到动态场景就反应不过来。论文里也承认了这一点所以给了 5B 的轻量版本但轻量化又会牺牲一部分语义理解能力。这是 VLA 路线的普遍矛盾模型太强则太慢模型太弱则不够聪明。后来的工作倾向于用更高效的 decoder-only 架构、KV Cache 优化、量化推理等手段来缓解实在不行就用蒸馏把 55B 的能力浓缩到小模型上。我觉得这会是 VLA 从论文走向产品的关键一战。6.2 动作精度与轨迹平滑的妥协另一个容易被忽略的问题是动作 token 的量化精度。256 个 bin 可以满足抓取、推、放这类宏观操作但做不了毫米级的精细操作更别提单步动作之间的轨迹平滑了。RT-2 输出的只是末端位姿和夹爪开合没有力矩控制、没有阻抗控制也没有对动作轨迹的显式优化。这意味着它擅长的是完成任务而不是完成动作的质量。这点在真实场景里很致命。比如倒水的时候如果末端轨迹不平滑很容易洒出来拧瓶盖这种需要连续力矩调整的动作RT-2 这种稀疏离散的 action token 基本无能为力。所以我现在看 VLA 方向的论文会更关注它们有没有在离散动作之外做低层运动学的补充。动作 token 化是一种很优雅的接口但它不可能替代传统控制层。6.3 RT-2-X 与 Open X-Embodiment跨机构数据能否破除数据墙RT-2 的数据困境依然存在它需要机器人数据来学习动作 token而这些数据主要来自 Google 内部实验室。一个很自然的疑问是如果换一个机器人形态、换一套相机标定RT-2 还能直接用吗答案是否定的。这是个很大的局限也是后续 Open X-Embodiment 数据集和 RT-2-X 模型想要解决的问题。RT-2-X 的思路是把来自 22 个不同机构、多种机器人形态的数据聚合起来训练一个跨本体cross-embodiment的动作模型。实验表明在混合了多机器人数据后模型在未见过的机器人上也能获得一定的 zero-shot 操作能力。这个结果说明动作 token 化这个接口本身并不绑定某种具体机器人只要数据足够多样模型学到的语义到动作映射就能在一定程度上跨本体迁移。它让我相信动作 token 这个设计不是谷歌的专属玩具而是一个有着通用前景的方向。6.4 从 VLA 到 World-Action Model动作 token 的后续生命力RT-2 之后关于动作 token 的讨论越来越多。一个值得关注的新动向是World-Action ModelWAM这类概念它试图在 VLM 中同时构建对世界状态的预测和对动作的规划。WAM 里一个很核心的组件依然是动作 token——模型需要先理解当前世界状态再根据目标生成动作序列。这和 RT-2 的范式一脉相承只是把单步动作扩展成了更长时间的规划。我在精读 RT-2 时的一个体会是它的最大贡献不是某个具体数字而是验证了把连续控制空间映射到 token 词表这条路能走通。只要这条路是通的后面无论换成多大的模型、多宽的数据集都是在同一套语法体系里做扩展。现在很多开源社区也在做类似方向比如用 7B 级别的 VLM 加上离散动作头在开源机器人数据集上复现 VLA。需要注意的是光有动作 token 还不够base 模型的语义能力和数据配方的质量才是决定天花板的因素。最后再分享一个我复现这类模型时的实操心得动作 token 化看起来简单但做的时候有一个细节特别容易翻车——离散化 bin 的范围一定要根据真实机器人执行器的运动范围来定不要直接照搬论文里的归一化参数。每个机械臂的关节限位不同相机外参不同同一个 bin 索引对应的物理位置可能有很大差异。我当时为了省事直接用论文里的范围结果机械臂在仿真环境里疯狂抖动查了半天才发现是动作归一化范围设错了。做这类工作把数据侧的基础打牢比急着上大模型重要得多。
