1. 从“看懂”到“做到”具身智能与VLA到底在解决什么问题聊具身智能之前先得把过去十年机器人领域最尴尬的一件事摆到台面上我们让机器“看懂”世界这件事做得相当不错了ImageNet那一波把视觉识别推到了超越人类的水平大语言模型又把语义理解和任务拆解推到了一个新高度。但你把一个摄像头、一个机械臂、一个语言模型拼在一起对它说“把桌上那个红色杯子拿给我”它大概率会愣住——不是听不懂而是不知道“拿”这个动作在三维空间里到底对应哪一串关节角度、多大的力、多快的速度。这就是具身智能Embodied AI要啃的硬骨头。它要的不是让机器在屏幕里识别猫狗而是让一个物理实体在真实世界里完成感知、推理、决策、执行的完整闭环。而VLAVision-Language-Action模型正是当下这条路上最被寄予厚望的一条技术路线。它做的事情说白了就一句话把视觉输入、语言指令、动作输出统一到一个模型框架里让机器人能“看着画面、听着人话、直接出动作”。我接触这条线大概是从Diffusion Policy那波论文火起来的时候开始的。当时最直观的感受是传统模仿学习Behavior Cloning那套东西在精细操作上实在太脆了——示教数据稍微偏一点策略就崩。而扩散模型Diffusion Model引入到动作生成之后动作的多样性和鲁棒性肉眼可见地好了起来。再往后动作分块Action Chunking这个技巧一加推理频率和动作平滑度的问题也缓解了不少。到VLA这个概念被正式提出来整个技术栈其实已经串成了一条相对清晰的链路。这篇文章我打算按一个实际从业者的视角把VLA这条线从设计思路、核心组件、实操落地到踩坑排查完整捋一遍。不管你是刚听说具身智能想入门的学习者还是已经在做机器人策略但想切到VLA路线的工程师应该都能从里面找到能直接抄作业的东西。我会尽量把每个“为什么这么设计”讲透而不是只丢一堆名词。2. VLA整体架构设计与技术选型思路2.1 为什么是VLA而不是模块化拼接在VLA流行之前机器人做任务的主流架构是模块化的视觉模块负责检测和分割语言模块负责解析指令规划模块负责生成动作序列控制模块负责底层执行。这套东西在工业场景里跑了很多年稳定、可解释、每个模块都能单独调。但它有个致命问题模块之间的接口是人为定义的信息在传递过程中会大量丢失。举个例子视觉模块输出的是“杯子在图像坐标(320, 240)”规划模块需要的是“杯子在机器人基座坐标系下的三维位置”这中间要做相机标定、手眼变换、深度估计。每一步都会引入误差而且语言模块理解的“拿”和规划模块理解的“拿”可能根本不是一回事。模块化架构的误差是累积的不是叠加的。VLA的思路是把这些模块统一到一个端到端可训练的模型里。视觉编码器提取特征语言编码器提取指令语义两者在中间层做交叉注意力融合最后解码成动作序列。整个链路可微梯度可以从动作损失一路回传到视觉编码器。这意味着模型能学到“为了完成这个动作我应该关注画面里的哪些区域”这种联合表示而不是靠人工设计的接口去硬连。注意端到端不等于没有结构。VLA模型内部依然有清晰的视觉塔、语言塔、动作头只是它们通过注意力机制软连接而不是通过固定接口硬连接。2.2 动作表示的选择为什么扩散模型成了主流动作表示是VLA里最关键的选型之一。早期方案是直接回归一个连续动作向量用MSE损失训练。这种做法简单但有个根本缺陷同一个观测下人类示教的动作可能有多峰分布。比如绕过障碍物去抓杯子可以从左边绕也可以从右边绕MSE损失会让模型学出一个“从中间穿过去”的平均动作结果就是撞上障碍物。扩散模型解决的就是这个问题。它的核心思想是不直接预测动作而是学习一个去噪过程。训练时把真实动作加噪声让模型学会从噪声里恢复动作推理时从纯噪声出发迭代去噪若干步得到一个干净的动作。因为去噪过程是随机的模型可以采样出多个合理的动作天然支持多峰分布。我实测下来在同样的示教数据上扩散策略比MSE回归的成功率能高出20到30个百分点尤其是在需要绕障、需要精细对准的任务上差距更明显。代价是推理变慢——去噪通常要10到100步每步都是一次前向传播。这就引出了下一个关键技术动作分块。2.3 动作分块把推理频率降下来的关键技巧动作分块Action Chunking的思路很朴素与其每一步都推理一次动作不如一次推理出一小段动作序列比如未来16步或32步的动作然后把这整段动作交给底层控制器去执行。执行完再推理下一段。这个技巧带来三个好处。第一推理频率大幅降低原本需要100Hz推理现在可能只需要6Hz扩散模型的去噪开销就被摊薄了。第二动作序列内部天然平滑因为模型是一次性生成一整段不会出现逐步推理时常见的抖动。第三缓解了复合误差问题——逐步推理时每一步的小误差会累积分块之后误差在块内被约束住了。但动作分块也有坑。块与块之间的衔接如果处理不好会出现明显的停顿或跳变。常见做法是重叠执行新块的前几步和旧块的后几步做时间上的混合用加权平均或者样条插值平滑过渡。这个重叠长度是个超参太短衔接生硬太长响应变慢一般取块长的四分之一到三分之一比较合适。2.4 视觉语言骨干的选型考量VLA里的视觉语言部分现在主流是拿预训练的VLM视觉语言模型来初始化比如CLIP、SigLIP这类对比学习模型或者LLaVA、Qwen-VL这类生成式VLM。选哪个取决于你的任务复杂度和算力预算。如果任务指令比较简单比如“抓红色方块”“放到左边盒子”用CLIP级别的编码器就够了推理快、显存占用小。如果指令涉及多步推理、空间关系理解、甚至需要模型自己拆解任务那就得上生成式VLM但代价是推理延迟可能到几百毫秒甚至秒级对实时控制不友好。我的经验是先用小模型跑通闭环确认数据管线和训练流程没问题再换大模型做效果上限的探索。一上来就上最大的VLM调试周期会拉得很长而且很难判断是模型能力不够还是数据有问题。3. 核心组件拆解与实操要点3.1 视觉编码器不只是提特征那么简单视觉编码器在VLA里的角色比在纯视觉任务里更微妙。它不仅要提取物体类别、位置这些语义信息还要保留足够的空间细节供动作头做精细操作。这就带来一个矛盾深层特征语义强但空间分辨率低浅层特征空间细节好但语义弱。主流做法是用多尺度特征融合把不同层的特征图通过FPN或者简单的上采样拼接结合起来。另一个做法是保留patch token而不做全局池化让动作头通过注意力直接访问空间token。后者在需要精细对准的任务上效果更好但计算量更大。实操中有一个容易忽略的点视觉编码器的输入分辨率。很多预训练VLM是在224x224上训练的但机器人操作任务往往需要更高分辨率才能看清小物体。直接改分辨率会破坏预训练的位置编码常见做法是插值位置编码或者用动态分辨率方案。我试过把分辨率从224提到448在抓小零件的任务上成功率提升很明显但推理时间也翻倍了需要权衡。3.2 语言指令的编码与对齐语言部分看起来简单其实坑不少。首先是指令的粒度问题用户说“把杯子拿过来”模型需要理解“杯子”指哪个物体、“拿”是什么动作、“过来”是到哪里。如果训练数据里只有“抓取红色杯子放到托盘上”这种结构化指令模型遇到口语化指令就会懵。解决办法是在训练数据里做指令增强用大语言模型把结构化指令改写成多种口语化表达增加语言多样性。另一个办法是在语言编码器后面加一个可学习的投影层把语言特征投影到和视觉特征同一空间用对比损失做对齐。这个投影层虽然参数不多但对跨模态对齐很关键。还有一个实际问题是多语言。如果团队里有不同语言背景的人指令可能是中英混杂的。这时候要么统一指令语言要么在训练数据里覆盖多语言。我倾向于统一因为多语言会让本来就不多的示教数据更分散。3.3 动作头的设计扩散还是流匹配动作头是VLA里最“具身”的部分因为它直接输出关节角度或末端位姿。目前主流是扩散头但流匹配Flow Matching这两年势头很猛。两者的数学基础不同但直觉上可以这样理解扩散是从噪声一步步去噪到动作流匹配是学习一个从噪声到动作的速度场然后用ODE求解器积分过去。流匹配的优势是推理步数可以更少通常5到10步就能出不错的结果而扩散往往需要20步以上。在实时性要求高的场景下这个差距很关键。但流匹配的训练稳定性对超参更敏感学习率、噪声调度这些没调好容易不收敛。我的建议是如果团队对扩散模型已经有经验先用扩散头跑通如果是从零开始且对推理速度有硬要求可以直接上流匹配但要做好调参周期更长的心理准备。3.4 训练数据的组织与增强VLA的训练数据通常是示教轨迹每条轨迹包含一系列(观测, 动作)对。数据组织方式直接影响训练效率。常见做法是把轨迹切成固定长度的片段每个片段作为一个训练样本片段长度等于动作分块的块长。数据增强在VLA里比在纯视觉里更需谨慎。图像的颜色抖动、随机裁剪通常没问题但涉及空间变换的增强旋转、缩放会改变动作的对应关系必须同步变换动作标签。翻转增强尤其危险因为左右翻转后“向左移动”就变成了“向右移动”如果动作标签没跟着翻模型就学废了。提示做空间增强时一定要在数据加载器里同步处理观测和动作不要只在图像上做增强。我见过不止一个团队在这上面翻车。4. 完整实操流程从数据采集到策略部署4.1 环境搭建与依赖安装假设你用的是Python生态核心依赖包括PyTorch、一个机器人仿真环境比如MuJoCo或Isaac Sim、以及一个示教数据采集工具。下面是一个典型的依赖安装流程以Ubuntu系统为例。conda create -n vla python3.10 -y conda activate vla pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install mujoco pip install diffusers pip install transformers pip install zarr pip install wandb这里解释几个关键选择。PyTorch用CUDA 11.8版本是因为大多数机器人仿真环境对这个版本兼容性最好。diffusers库提供了扩散模型的现成实现省得自己从头写去噪调度器。zarr用来存储轨迹数据因为它支持分块压缩读取比HDF5在随机采样时更快。wandb做训练可视化方便对比不同超参的效果。4.2 示教数据采集的实操细节数据采集是VLA项目里最耗时也最容易出问题的环节。我建议在采集之前先想清楚三件事任务空间怎么定义、示教方式选哪种、每条轨迹多长。任务空间定义决定了动作的表示方式。如果是固定基座的机械臂动作可以是关节角度6到7维或者末端位姿6维位置加姿态。如果是移动机器人还要加上底盘速度。维度越低越好学所以能用末端位姿就别用关节角度除非你有逆运动学解算的需求。示教方式主要有三种遥操作、动觉示教、视频示教。遥操作最常用用空间鼠标或者手柄控制机械臂记录下位姿序列。动觉示教是直接用手拖着机械臂走适合小范围精细操作。视频示教是从人类操作视频里提取动作难度最大但数据来源最广。新手建议从遥操作开始工具链最成熟。每条轨迹的长度控制在10到30秒比较合适。太短了动作分块切不出几个样本太长了单条轨迹里的任务阶段太多模型学起来混乱。采集时尽量让不同轨迹的起始状态有变化比如物体位置随机偏移这样模型才能学到泛化性而不是死记硬背。4.3 数据预处理与格式转换采集到的原始数据通常是时间戳、图像、关节状态、动作指令的混合流。预处理要做的是对齐时间戳、切分轨迹、归一化动作。时间戳对齐是个容易被低估的活。相机采集频率可能是30Hz关节状态可能是100Hz动作指令可能是50Hz。需要统一到一个基准频率上通常取最低频率然后用线性插值补齐其他流。插值会引入微小误差但对训练影响不大。动作归一化很重要。不同关节的角度范围差异很大有的在正负180度有的在0到90度。如果不归一化损失函数会被大范围关节主导小范围关节学不好。常见做法是减均值除标准差统计量从训练集算验证集和测试集用同样的统计量。import numpy as np def normalize_actions(actions, mean, std): return (actions - mean) / (std 1e-8) def chunk_trajectory(obs, actions, chunk_size, stride): chunks [] for i in range(0, len(actions) - chunk_size 1, stride): chunk { obs: obs[i:ichunk_size], actions: actions[i:ichunk_size] } chunks.append(chunk) return chunks上面这段代码展示了归一化和分块的核心逻辑。chunk_size就是动作分块的块长stride控制块之间的重叠程度。stride等于chunk_size时块不重叠小于时重叠。我一般设stride为chunk_size的一半这样数据利用率更高。4.4 模型训练的关键参数与监控训练VLA模型有几个关键超参需要重点关注。学习率通常用1e-4到3e-4配合余弦退火调度。批次大小受显存限制单卡24G显存下图像分辨率224、块长16的配置大概能跑64的批次。训练轮数看数据量一般几万条轨迹的规模需要训练几百个epoch。损失函数方面扩散头用的是去噪损失就是预测加在动作上的噪声用MSE算。如果同时有辅助任务比如动作分类或者状态预测可以加权求和。权重需要调辅助损失太大会干扰主任务。监控指标除了训练损失更重要的是验证集上的动作预测误差和实际任务成功率。动作误差低不代表成功率高因为误差是逐点算的而任务成功是序列级的。我习惯每训练几十个epoch就在仿真里跑一批测试任务记录成功率曲线。这个曲线比损失曲线更能反映真实进展。import torch import torch.nn.functional as F def diffusion_loss(model, obs, actions, noise_scheduler): noise torch.randn_like(actions) timesteps torch.randint(0, noise_scheduler.num_train_timesteps, (actions.shape[0],)) noisy_actions noise_scheduler.add_noise(actions, noise, timesteps) noise_pred model(obs, noisy_actions, timesteps) return F.mse_loss(noise_pred, noise)这段代码是扩散训练损失的核心。noise_scheduler负责根据时间步加噪声模型预测噪声损失是预测噪声和真实噪声的MSE。看起来简单但noise_scheduler的配置比如beta调度是线性还是余弦对训练稳定性影响很大建议先用diffusers库的默认配置跑通再调。4.5 策略部署与推理优化训练好的模型要部署到真实机器人上推理速度是第一个要解决的问题。扩散模型去噪20步每步一次前向传播如果模型参数量在1B级别单次前向在高端GPU上大概20到50毫秒20步就是0.4到1秒。这个延迟对于慢速操作还能忍对于需要快速响应的任务就不够了。优化手段有几个方向。一是减少去噪步数用DDIM或者DPM-Solver这类加速采样器10步甚至5步就能出可用的动作。二是模型量化把FP32降到FP16或者INT8推理速度能提升一到两倍精度损失通常在可接受范围内。三是模型蒸馏用一个大模型教一个小模型小模型直接预测动作不做去噪速度极快但需要额外训练。部署时还要注意观测的预处理要和训练时一致。相机内参、图像裁剪方式、归一化参数这些如果对不上模型表现会断崖式下降。我习惯把预处理逻辑封装成一个独立的类训练和推理共用同一份代码避免不一致。5. 常见问题与排查技巧实录5.1 训练不收敛或损失震荡这是最常见的问题原因通常有三个。第一是学习率太大扩散模型的损失对学习率比较敏感试试降到1e-4甚至5e-5。第二是数据归一化有问题检查动作的均值和标准差是否合理如果某个关节的标准差接近零除的时候会放大噪声需要加一个小的epsilon。第三是批次大小太小扩散训练对批次大小有一定要求太小了梯度噪声大尽量往大了调。还有一个隐蔽原因是噪声调度器的配置和模型参数量不匹配。如果模型很小但噪声调度很激进模型学不动。这时候要么换大模型要么用更温和的调度。5.2 仿真里成功率高但真机拉胯这个问题的根源几乎总是观测分布不一致。仿真里的图像是渲染出来的光照、纹理、噪声都和真实相机不同。模型在仿真里学到的特征在真机上可能根本不存在。解决办法有两条路。一是域随机化在仿真里随机化光照、纹理、相机位置让模型见过足够多的变化逼它学更鲁棒的特征。二是真机微调在仿真预训练的基础上用少量真机数据做微调。后者数据效率更高但需要真机采集能力。我个人的经验是两者结合先用域随机化做预训练再用几百条真机轨迹微调。微调时学习率要调小否则会灾难性遗忘仿真里学到的通用能力。5.3 动作分块衔接处的抖动前面提到过块与块之间的衔接如果处理不好会抖动。具体表现是机器人执行到块末尾时突然顿一下然后跳到新块的开头。排查时先看重叠长度是否合适。如果重叠太短两个块的动作差异大跳变明显。可以试着增大重叠用线性插值或者三次样条做平滑。另一个原因是新块的推理输入包含了旧块执行期间的新观测如果新旧观测差异大新块的动作会和旧块末尾不连续。这时候可以在推理时把旧块末尾的观测也作为输入的一部分让模型知道当前执行到哪了。5.4 常见问题速查表问题现象可能原因排查方向解决手段训练损失不下降学习率过大、数据未归一化检查学习率和动作统计量降学习率、加epsilon损失震荡批次太小、噪声调度激进看梯度范数增大批次、换调度器仿真好真机差观测分布不一致对比仿真和真机图像统计域随机化加真机微调块间抖动重叠不足、观测跳变可视化动作序列增大重叠、加观测历史推理太慢去噪步数多、模型大测单步前向耗时加速采样器、量化、蒸馏指令理解错语言数据单一检查指令多样性指令增强、加投影层5.5 几个容易被忽略的实操心得第一个心得是关于随机种子的。VLA训练里随机性来源很多数据采样、噪声采样、数据增强。如果不在实验开始时固定所有随机种子两次跑出来的结果可能差很多导致你无法判断是改动有效还是随机波动。我习惯在训练脚本开头把所有能设的种子都设上包括numpy、torch、cuda。第二个心得是关于检查点的。不要只保存最后一个epoch的模型也不要只看验证损失选最佳检查点。验证损失低的模型不一定任务成功率高。我通常每隔几十个epoch保存一个检查点然后批量在仿真里评估成功率选成功率最高的那个。这个过程费时间但比部署一个损失低但成功率也低的模型划算得多。第三个心得是关于动作空间的。如果任务涉及抓取末端执行器的开合状态一定要作为动作的一部分输出不要单独用一个规则控制。我见过有人把夹爪控制写成“接近物体就闭合”的硬编码规则结果模型学到的接近动作和硬编码规则配合不好要么提前闭合要么撞上物体。把夹爪状态纳入动作空间让模型自己学虽然增加了学习难度但整体协调性好得多。第四个心得是关于评估的。仿真评估时不要只用固定初始状态要随机化初始状态跑多轮统计成功率和方差。固定初始状态的成功率没有意义因为模型可能只是记住了那一个状态的动作序列。随机化之后如果成功率方差很大说明模型泛化性不够需要更多数据或者更强的增强。6. 具身智能学习路线与后续扩展方向如果你是从零开始想切入具身智能和VLA这条线我建议的学习顺序是这样的。先补基础机器人学里的正逆运动学、坐标变换、轨迹规划这些是理解动作空间的前提。然后学模仿学习和强化学习的基础重点是行为克隆和策略梯度。再往后看扩散模型和流匹配的数学原理不用推公式但要知道去噪和速度场在干什么。最后读VLA相关的论文从RT-1、RT-2到Diffusion Policy、ACT把这条演进线串起来。动手方面先在仿真里跑通一个简单的抓取任务用Diffusion Policy或者ACT的官方实现数据集用仿真环境自带的示教数据。跑通之后尝试改模型结构、改动作分块参数、改数据增强观察对成功率的影响。这个过程能帮你建立对各个组件作用的直觉。再往后可以尝试真机部署从简单的固定位置抓取开始逐步增加物体位置随机性和任务复杂度。后续扩展方向有几个值得关注。一是多任务统一用一个模型处理多种任务通过语言指令切换。二是长程任务规划把VLA和任务分解结合让模型能处理需要几十步操作的任务。三是跨具身迁移让在一个机器人上学的策略能迁移到另一个形态不同的机器人上。这几个方向目前都有活跃的研究但离稳定落地还有距离。我个人在实际操作中的体会是VLA这条线最大的魅力在于它把感知、语言、控制真正打通了让机器人能以一种更自然的方式接受指令。但它也继承了深度学习的通病数据饥渴、调参玄学、可解释性差。做这个方向要有心理准备大部分时间花在数据采集和清洗上模型训练反而是相对标准化的环节。把数据管线做扎实比追最新的模型结构更能在实际项目中见效。
