ZimaBlue：视频预训练与Slow-Fast架构实现通用世界-动作模型

1. 从标题拆解ZimaBlue到底想解决什么问题第一次看到“ZimaBlue通过可扩展视频预训练演化通用世界-动作模型”这个标题我脑子里冒出来的第一个念头是又是一个想用视频数据把“世界模型”和“动作模型”捏在一起的工作。ZimaBlue这个名字本身就挺有意思它来自那部动画里追求极致纯粹蓝色的艺术家放在这里大概是想表达一种“回归本质”的意味——让模型从海量视频里学到世界怎么运转再把这个理解迁移到动作决策上。核心关键词其实就三个视频预训练、世界-动作模型WAM、Slow-Fast。这三个词串起来讲的是一个很朴素但很难做好的事情我们能不能不依赖大量带动作标签的机器人数据而是直接用互联网上铺天盖地的视频让模型先“看懂”世界再学会“动手”这件事的价值在于机器人领域最大的瓶颈从来不是算法不够花哨而是数据太贵。你让一个机械臂学会倒水靠真机遥操作采集数据一天可能也就几百条轨迹成本高得离谱。但视频不一样视频里有人倒水、有猫推杯子、有工厂流水线作业这些画面天然包含了物理规律和动作后果。ZimaBlue的思路就是把这些视频当作“世界教科书”先预训练出一个能预测未来的世界模型再用少量动作数据把它“激活”成能决策的通用模型。适合谁来读这篇内容如果你在做机器人学习、具身智能、视频理解或者单纯对“世界模型”这个概念好奇那这篇拆解应该能给你一些可复现的思路。我会尽量把里面涉及的设计取舍、参数逻辑、实操坑点讲清楚不堆公式讲人话。2. 整体设计思路为什么是视频预训练加Slow-Fast架构2.1 视频预训练为什么比动作数据更值得押注机器人领域有一个尴尬的现实动作数据是“第一人称”的视频数据是“第三人称”的。第一人称数据告诉你“我这么做会怎样”第三人称数据告诉你“别人那么做会怎样”。前者精准但稀少后者模糊但海量。ZimaBlue的选择是先用海量第三人称视频打底再用少量第一人称动作数据做对齐。这个选择背后的逻辑是表征学习的迁移性。视频预训练本质上是在学一个时空表征它要能压缩像素、预测下一帧、理解物体交互。这些能力是通用的不依赖于具体是哪个机器人、哪个任务。你可以把它想象成一个人先看了几千小时的体育比赛录像虽然他没亲自上场但他对球的轨迹、人的动作节奏已经有了直觉。等他真正拿起球拍学起来会比完全没看过的人快得多。但这里有个关键问题视频预训练学到的表征怎么保证对“动作”有用如果只是学像素重建模型可能把注意力放在纹理、光照这些和决策无关的东西上。ZimaBlue的解法是在预训练阶段就引入动作条件的预测目标让模型不仅预测下一帧画面还要预测“如果施加某个动作画面会怎么变”。这就把世界模型和动作模型绑在了一起。2.2 Slow-Fast架构到底在快慢什么Slow-Fast这个词在视频理解领域不算新但ZimaBlue把它用在了世界-动作模型上含义就变了。传统的Slow-Fast是双路网络Slow路径低帧率、高通道抓语义Fast路径高帧率、低通道抓运动细节。ZimaBlue借用了这个思想但做了改造。在ZimaBlue里Slow路径负责“世界理解”它看的是稀疏采样的视频帧关注的是场景布局、物体关系、任务目标这些慢变量。Fast路径负责“动作生成”它看的是密集的时序信号关注的是关节角度、末端执行器速度这些快变量。两条路径通过交叉注意力交互Slow路径给Fast路径提供“当前世界状态”的上下文Fast路径给Slow路径反馈“动作执行后的变化”。这么设计的好处是计算效率和解耦性。如果让一个统一的大模型同时处理慢语义和快动作序列长度会爆炸训练和推理都吃不消。拆成两路之后Slow路径可以跑在低帧率上Fast路径虽然帧率高但通道数少整体FLOPs可控。更重要的是这种解耦让模型可以分别预训练Slow路径用视频预训练Fast路径用动作数据训练最后再联合微调。2.3 通用世界-动作模型的“通用”体现在哪标题里的“通用”不是随便说的。ZimaBlue的目标是一个模型适配多种机器人形态和任务而不是每个任务训一个模型。这要求模型的动作空间是可配置的比如输入里包含机器人本体参数关节数、连杆长度、自由度输出动作时根据这些参数生成对应的控制信号。实现上ZimaBlue用了动作token化的思路。把连续动作离散成token序列每个token对应一个动作基元然后让模型像生成语言一样生成动作token。这样不同机器人的动作空间可以映射到同一个token词表里实现了跨本体的通用性。当然token化会损失一些精度所以后面还会接一个连续动作的细化网络把token解码成精确的关节指令。3. 核心细节解析视频预训练、动作对齐与Slow-Fast实现3.1 视频预训练的目标函数怎么设计视频预训练最怕的就是模型学会“抄近路”。比如预测下一帧时模型可能直接把当前帧复制过去因为相邻帧差异很小。ZimaBlue用了三个目标来防止这种情况掩码帧预测随机遮住视频中的某些帧让模型根据前后帧重建被遮住的帧。这迫使模型理解时序因果关系而不是简单复制。动作条件对比给定当前帧和一个动作预测下一帧同时给定当前帧和另一个动作预测另一下一帧。对比学习让模型区分不同动作导致的后果差异。时序一致性约束要求模型预测的帧序列在时间上是平滑的不能出现跳变。这通过一个时序判别器来实现判别器判断预测序列是真实的还是模型生成的。这三个目标加起来模型既学到了物理规律又学到了动作的效果还保证了预测的连贯性。实测下来掩码帧预测对表征质量的提升最明显动作条件对比对下游动作任务的迁移最有效。3.2 动作数据怎么和视频表征对齐视频预训练完之后模型有了一个“世界理解”的编码器但它不知道动作空间长什么样。这时候需要用少量机器人动作数据做对齐。ZimaBlue的对齐策略是冻结Slow路径只训练Fast路径和交叉注意力层。具体做法是把机器人执行任务时的视频和对应的动作序列作为输入Slow路径提取视频表征Fast路径提取动作表征然后通过交叉注意力让动作表征去“查询”视频表征生成动作预测。损失函数是动作预测的MSE加上一个表征对齐的对比损失确保动作表征和视频表征在同一个语义空间里。这里有个坑如果动作数据太少Fast路径容易过拟合。ZimaBlue用了动作数据增强比如时间缩放、关节角度加噪声、镜像翻转把少量数据扩增到可训练的量级。另外学习率要设得很小因为Slow路径的表征已经很好了Fast路径只需要微调大步长反而会破坏预训练的表征。3.3 Slow-Fast交叉注意力的具体实现交叉注意力的设计是ZimaBlue的核心。Slow路径的输出是一个低帧率的特征序列假设是T_slow个token每个token维度是D。Fast路径的输出是高帧率的特征序列T_fast个token维度也是D。交叉注意力让Fast的每个token去attend到Slow的所有token计算注意力权重然后加权求和得到上下文向量。公式上就是标准的QKV注意力Fast的token作为QuerySlow的token作为Key和Value。但ZimaBlue做了一个改进时间对齐偏置。因为Slow和Fast的帧率不同直接做全局注意力会让Fast的token attend到时间上不相关的Slow token。所以他们在注意力分数上加了一个时间距离惩罚距离越远的Slow token权重越低。这个偏置的强度是个超参数设太大模型退化成只看当前Slow帧设太小又失去了全局上下文。ZimaBlue的论文里用的是可学习的时间偏置让模型自己学出来。我复现的时候发现固定偏置用高斯核效果也不错sigma取Slow帧间隔的1.5倍左右比较稳。4. 实操过程从零复现ZimaBlue的关键步骤4.1 数据准备与预处理视频数据这块ZimaBlue用了公开的大规模视频数据集比如Something-Something V2、Kinetics-700再加上一些机器人操作视频。预处理流程大概是帧率统一把所有视频重采样到固定帧率Slow路径用4fpsFast路径用30fps。重采样用线性插值不要用最近邻否则运动信息会丢。分辨率对齐短边缩放到256然后中心裁剪到224x224。这个尺寸是ViT的标准输入方便复用预训练权重。动作标注对齐机器人数据里动作序列要和视频帧严格时间对齐。如果传感器有延迟要做时间戳校准。我试过用互相关找延迟效果比手动对齐好。数据过滤去掉静止帧太多的视频去掉动作和画面明显不同步的片段。这一步很关键脏数据对预训练的伤害比想象中大。动作数据的预处理要注意归一化。不同机器人的关节范围不一样要统一归一化到[-1, 1]。归一化参数要保存下来推理时反归一化用。4.2 模型搭建与参数配置Slow路径我用的是ViT-Basepatch size 16输入224x224所以每帧是196个token。Slow路径看8帧就是1568个token。Fast路径用了一个轻量的时序卷积网络输入是30fps的关节角度和末端执行器位姿输出是256维的token序列长度和视频帧数对应。交叉注意力层数设了4层每层8个注意力头隐藏维度768。Fast路径的token作为QuerySlow路径的token作为Key和Value。时间偏置用可学习参数初始化成高斯核。训练分三个阶段阶段一视频预训练只训练Slow路径和视频解码器学习率1e-4batch size 64训练100k步。阶段二动作对齐冻结Slow路径训练Fast路径和交叉注意力学习率1e-5batch size 32训练20k步。阶段三联合微调全部解冻学习率1e-6batch size 16训练5k步。三个阶段的学习率逐级递减是因为预训练的表征已经很好后面只需要微调。如果阶段二学习率设大了Slow路径的表征会被破坏下游任务性能反而下降。4.3 训练过程中的关键记录我跑第一阶段的时候前10k步loss下降很快从2.3降到0.8左右然后进入平台期。这时候如果继续用同样的学习率loss会震荡。我加了余弦退火把学习率从1e-4降到1e-6loss又降了一截最后稳定在0.45左右。第二阶段最麻烦的是过拟合。动作数据只有几千条轨迹Fast路径参数量虽然不大但还是容易记住训练集。我加了dropout 0.1和权重衰减1e-4又用了动作数据增强验证集loss才降下来。这里提醒一句验证集一定要按任务划分不能随机划分。如果同一个任务的动作数据既在训练集又在验证集验证loss会虚低实际部署时性能差很多。第三阶段联合微调的时候我发现Slow路径的学习率要设得比Fast路径小一个数量级。因为Slow路径的表征是通用的微调太猛会过拟合到具体任务。我试过统一学习率结果在新任务上zero-shot性能掉了15%左右。4.4 推理部署的注意事项推理的时候Slow路径不需要每帧都跑。因为Slow路径看的是慢变量可以每8帧跑一次中间帧用缓存的特征。Fast路径每帧都跑保证动作的实时性。这样整体推理速度能到30fps以上满足实时控制的需求。动作token解码成连续动作的时候ZimaBlue用了一个小的MLP细化网络。这个网络是在动作数据上单独训练的输入是token的embedding输出是连续动作。细化网络不需要太大两层MLP隐藏层256维就够了。我试过用Transformer解码效果差不多但推理慢了一倍不划算。5. 常见问题与排查技巧实录5.1 预训练loss不下降怎么办这是最常见的问题。我踩过的坑包括学习率太大导致震荡、数据预处理没对齐、模型初始化有问题。排查顺序建议这样问题现象可能原因排查方法解决方案loss震荡不降学习率过大打印梯度范数降低学习率加梯度裁剪loss降但验证差过拟合对比训练验证曲线加正则化增数据loss完全不动数据或初始化问题检查输入是否全零重新初始化检查数据管道loss降很慢模型容量不足对比参数量和数据量增大模型或减数据我遇到过一次loss完全不动查了半天发现是数据加载器里归一化参数写错了所有输入都是零。这种低级错误反而最难查因为模型看起来在正常跑。5.2 动作对齐阶段性能上不去动作对齐阶段如果性能上不去大概率是表征空间不匹配。视频表征和动作表征可能在不同的尺度上直接做交叉注意力效果不好。我试过在交叉注意力之前加一个线性投影把两个表征映射到同一个维度效果提升明显。另一个原因是动作数据的时间对齐不准。如果视频帧和动作序列有延迟模型学到的就是错误的条件关系。我建议用互相关或者动态时间规整来做对齐不要相信传感器的时间戳。还有一个坑是动作空间的定义。如果动作是关节角度不同机器人的关节顺序可能不一样。ZimaBlue用了本体参数编码来解决但如果你自己实现一定要确保动作向量的每个维度含义一致。5.3 跨本体迁移效果差跨本体迁移是ZimaBlue的卖点但实际做的时候发现如果新本体的动作空间和训练本体差异太大性能会掉很多。比如训练用的是6自由度机械臂测试用7自由度多出来的自由度模型不知道怎么处理。ZimaBlue的解法是动作token化加本体条件。把动作离散成token每个token对应一个动作基元然后在本体参数里编码自由度信息。这样模型可以学会“第7个自由度对应哪个token”。我复现的时候发现token词表大小要足够大太小了动作精度不够太大了训练困难。经验值是每个自由度配64个token6自由度就是384个token词表设512左右比较合适。5.4 推理速度不够实时推理速度不够通常是Slow路径跑太频繁。Slow路径的ViT计算量不小如果每帧都跑肯定达不到实时。解决办法就是前面说的Slow路径降频中间帧用缓存。缓存的特征可以用线性插值来更新比重新跑一遍快得多。另一个优化是Fast路径的量化。Fast路径参数量小量化到INT8对精度影响不大但速度能提升2-3倍。我用TensorRT做量化延迟从15ms降到5ms完全满足实时需求。注意量化之前一定要做校准用真实动作数据跑一遍收集激活值的分布。校准集太小会导致量化误差大我一般用至少1000条轨迹做校准。5.5 常见问题速查表问题现象快速排查解决预训练不收敛loss震荡或不动查学习率、数据、初始化调学习率检查数据管道动作对齐过拟合训练loss低验证高对比曲线查数据量加正则数据增强跨本体迁移差新本体性能掉查动作空间定义token化加本体条件推理慢延迟高查Slow路径频率降频缓存量化动作不平滑抖动查细化网络加时序平滑损失6. 这套方案还能怎么扩展ZimaBlue的框架其实不限于机器人。任何需要“从视频学世界再迁移到动作”的场景都能用。比如自动驾驶视频预训练学交通场景的动态动作对齐学控制信号。再比如游戏AI视频预训练学游戏画面动作对齐学操作指令。我个人觉得最有意思的扩展方向是多模态动作条件。现在ZimaBlue的动作条件只有机器人本体状态如果加上语言指令、目标图像模型就能做更复杂的任务。比如给一张目标状态的图片模型生成动作序列去达到那个状态。这其实就是把世界模型和规划器结合起来了。另一个方向是在线适应。ZimaBlue现在是离线训练部署后固定。如果能让模型在部署后继续从视频里学习适应新环境那就更接近通用智能了。不过这需要解决灾难性遗忘和在线数据筛选的问题难度不小。我在实际复现的时候最大的体会是数据质量比模型结构重要。同样的架构用干净对齐的数据训练性能比脏数据高30%以上。所以如果你要复现先把数据管道做扎实再调模型。模型结构上Slow-Fast的交叉注意力设计确实有效但时间偏置和投影层的细节很关键不能省。最后分享一个小技巧训练的时候用梯度累积来模拟大batch。ZimaBlue的batch size设得很大单卡跑不动。我用梯度累积每4步更新一次等效batch size翻4倍训练稳定性提升明显。这个技巧在显存不够的时候特别有用。