要给机器人配一个「先预演、再动手」的策略账单上写着三个数字624 毫秒、42.6 TFLOP、7.55 GiB。这是 Cosmos Policy 在 A100 上产出一个 16 动作块的价格——而且是在指令的文本特征已经缓存好、只做一次前向的前提下。它凭这套推理栈在 LIBERO 上拿到 98.5% 的成功率是目前最强的世界-动作模型之一。把这三个数字翻译成机器人身上的语言624 毫秒意味着控制回路每秒只能拿到 1.6 次新决策42.6 TFLOP 意味着一次前向就吃掉一块边缘 GPU 好几秒的算力预算7.55 GiB 显存很多能塞进机械臂旁边的小盒子直接装不下。这也解释了一个现象真正落地的高效策略模型比如 SmolVLA、TurboVLA 这类紧凑 VLA都只预测动作把「未来会长什么样」整个丢掉Fast-WAM 更直接测试时干脆不做未来预测。所以这笔账其实是两个问题叠在一起世界-动作模型的效果确实好但它的优秀是不是必须这么贵如果要把一个预训练好的世界-动作模型变小那些省下来的算力究竟从哪里省出来SmolWAM 就是冲这两个问题来的图 1。它的答案我很喜欢2B 的教师留着重用但把它那套为视频生成而设计的推理接口整个重做成控制接口最后在 400 个 LIBERO 回合上守住 95.5%单块延迟从 624 毫秒降到 57 毫秒。图 1教师与派生模型的对照左边是 33 帧视频接口与 1764 个 token右边换成单帧编码、缓存文本、保留的 12 个 DiT 块与 1008 个 token用一步读出动作与未来 latent。先算一笔账一次推理的 624 毫秒花在哪论文第一节把教师的推理栈拆得很清楚一个 4.8B 参数的 T5-XXL 文本编码器每次查询要用 VAE 编码一个 33 帧的视频片段然后是一颗 2B 参数的 transformer在 1764 个 token 上跑五步去噪。三步串起来就是开头那三个数字。真正值得琢磨的是那五步去噪到底在多大的张量上跑Cosmos Policy 把动作、未来观测和价值全部当成同一段去噪序列里的「latent 帧」。一次丢进去九个帧每帧 14×14 展开成 196 个 token——一个空白帧、机器人状态 s、腕部与第三人称相机的 latent ow 与 op、16 个动作组成的动作块 a以及 tH 时刻的状态 s′、两个相机 latent 和一路价值 V。图像来自 Wan2.1 的 VAE指令通过 cross-attention 进入 512 个 T5-XXL embedding整个模型是一个 rectified flow从 τmax ≈ 0.988 起步官方 pipeline 走五步。把这九个帧按「控制到底要读什么」重排一遍结论其实很刺眼真正被执行的只有那个动作块其余八个帧要么是接口的副产品视频解码才需要的相机 latent要么是训练期的辅助价值和未来状态。所以这篇论文的出发点可以压成一句话——教师模型的开销大头来自一个为视频生成设计的接口而不是控制本身需要的东西。顺带说一句我对「边缘设备」这个词的理解论文并没有真的去跑 Jetson 或者手机它把 A100 上的 57 毫秒和 2.36 GiB 当成代理指标。这个做法在方法上说得通——同一份网络在大小卡上的延迟大致同序——但它意味着 57 毫秒本身并不代表任何一台真实机器人控制器的表现。真正让我在意的是显存那一栏2.36 GiB 和 7.55 GiB 的差别不是「快一点」而是「能不能塞进一块消费级显卡」。贵在接口不在控制第一刀换了什么沿着这个判断SmolWAM 动了两处最占地方的地方。第一处是视觉编码。教师为了一次拿到时间上一致的 33 帧要用 VAE 编码整个 clip但控制每一步只看当前这一帧。SmolWAM 让那颗 54M 参数的 Wan2.1 encoder 每张相机图只编码一次。代价立刻显现教师一步动作块对示范的归一化 L1 从 0.0089 涨到 0.038接口一换动作误差就翻了四倍多。作者的处理是加一个0.5M 参数的 adapter把这些单帧 latent 映回 clip 模式的 latent误差回到 0.0092。这一组数字我认为很能说明问题四倍的误差只需要 0.5M 参数就补回来而换掉的是「每次查询都要编码 33 帧」这件事。我特意核对了那个 adapter 的规模0.5M 参数相对被替换掉的整条 VAE 编码流程几乎可以忽略。它的存在也说明一件事——单帧 latent 和 clip latent 不是一回事主干是在后者上预训练出来的直接把前者喂进去主干看到的是它没见过的分布。用一个小投影把分布对齐比重新训练主干便宜得多。第二处更大是那 4.8B 的文本编码器。SmolWAM 换成缓存好的 BERT-base 特征投影到 context 宽度。这里有一个我认为是全文最精细的细节主干 cross-attention 的 key/value 投影没有 bias所以 T5 那些零填充位置贡献的 logit 和 value 都是零——它们不携带任何信息却仍然占据 softmax 的分母是注意力机制里的「注意力汇」attention sink。作者用两个实验把这个结构性作用钉死了把上下文截到 32 或 128 个位置教师直接掉到 0/5 的闭环成功而如果解析地把被删掉的那部分 softmax 质量补回来又能回到 5/5并且和带 padding 的注意力吻合到 6×10⁻⁸。换成我自己的理解这些位置不是「冗余的 padding」而是 softmax 分母里的一块配重。所以要动它就不能只是把上下文截短而是要把配重原样补回去。SmolWAM 的做法正是如此——它把 BERT 特征零填充回 512 个位置换来的是把 4.8B 的 T5-XXL 彻底移出推理路径另外补了六个零初始化的 vision-to-language 层来自 TurboVLA让文本能够注意到图像。那六个 vision-to-language 层的角色容易被忽略。文本特征被截短、又被零填充回 512 个位置之后它本身并没有「看见」图像跨模态对齐必须在主干内部完成。零初始化意味着这些层在训练开始时是恒等映射不会在第一步就把预训练好的主干推歪——这也是整套改动能靠蒸馏而不是重训收敛的原因之一。我认为这种「零初始化 小适配层」的组合是把通用大模型改造成专用模型的通用手法。这一节我想强调一个分类单帧编码、缓存文本、不去解码控制器不读的未来图像这些省的是接口成本——它们不改主干的形状只是不再做控制用不到的事。真正动参数的是下一节。第二刀28 块只留 12 块但层不能一层一层地删深度是第二块成本。用块影响度 1−cos(hin, hout) 排序最高的几块是 0、1 和 25–27而 3–22 每一块都接近恒等映射——照这个排序中间十几块看起来都可以扔。1−cos(hin, hout) 这个量的含义很直白它是这一块对隐状态的相对改变量。接近零说明输入几乎原样穿过接近一说明这块在做实质性的变换。把它当成剪枝排序的起点是合理的但论文接下来用零样本筛证明了它只适合做起点——因为一个接近恒等的块也可能是别的块依赖的那条旁路。论文在这里做了一件我很认可的事它没有停在影响度排序上而是每删一块就做一次零样本筛每个 5 个回合。结果推翻了「按分数删」的直觉删掉 block 1、26 或 27每个回合都失败删掉 block 2 一个都不失败删 7、14、20 也都不失败但把四个「接近恒等」的 block 12–15 一起删掉就全部失败。换句话说这些层的冗余是相对的单独拿掉一块相邻层还能补上一起拿掉这个补位机制就崩了。单一的重要性分数根本预测不了组合之后的失效。论文把这条直接写进了贡献清单里的三个陷阱最终保留的是 block 0–2 与 19–27共 12 块、0.85B 参数。相比之下只留 8 块的变体参数降到 0.60B、每块算力降到 1.76 TFLOP、峰值显存 1.84 GiB账面更划算但筛选集成功率从 93.3% 掉到 83.3%整整 10 个百分点。这条对照给我的启发是深度剪枝必须在「组合」这一层验证不能只看单块分数。还有一个细节值得留意最终保留的并不是「影响度最高的 12 块」这个纯排序结果而是 0–2 与 19–27 这样两段连续的区间。连续保留意味着被删掉的是中间一整段而不是在层与层之间均匀打洞——这既符合零样本筛的结果中间段单独抽一块没事、一起抽就崩也让剩下层之间的残差通路更完整。换成我自己的话剪枝的目标不是保留最重要的层而是保留一条还能工作的路径。第三刀28 个状态条件查询与一趟读出剩下的冗余在 token 数上。教师用 196 个 token 表示动作块另外用 196 个 token 表示状态、价值和未来状态。SmolWAM 用一个零初始化的 MLP 把机器人状态加到 28 个动作查询上直接替换掉那 196 个 token 的动作帧并且放在它原来的位置上除这些查询之外只保留空白帧与两个相机帧。整个序列从 1764 个 token 压到 1008 个。这一步的诊断同样做得干净在零样本条件下把未来状态帧和价值帧删掉动作误差几乎不动0.009 升到不超过 0.019但删掉空白帧误差到 0.30删掉状态帧到 0.058把向量帧压成 28 个 token 到 0.21。也就是说哪几个帧必须留、以什么形状留是模型自己学出来的——真正被删掉的那几个位置不能随便替代。这里补一句 rectified flow 的背景方便理解为什么「一步」可行这类模型学的是从噪声指向数据的速度场 vθ(xτ, τ) ≈ ϵ − x0在任意 τ 上都能直接算出干净样本的闭式估计 x̂0 xτ − τ·vθ。教师从 τmax ≈ 0.988 起步跑五步是为了让生成的视频帧更像真的而控制只需要这个估计里的动作分量所以停在第一步、配固定噪声让掉的主要是画面的精细度。最后一步是一趟读出。教师从 τmax 起步跑五步SmolWAM 只在 τmax 上用固定噪声评估一次主干然后从闭式的干净估计 x̂0 里同时读动作块和未来 latent动作从不条件于一个去噪后的未来。这个取舍不是凭空省的Table 1 里教师自己用一步就把 60 个筛选回合全部解掉说明对控制而言多出来的四步并没有提供动作需要的信息同方向的 Fast-WAM 也得出过「测试时不需要想象未来」的结论。未来 latent 构成它的世界头——训练时被监督推理时从不解码。图 2蒸馏过程的归一化 L1 曲线竖线标出从教师 1764 token 布局切到 1008 token 紧凑布局的位置以及额外 7500 步的起点验证曲线最终停在 0.09 附近约为教师一步误差的十倍。蒸馏3.6 GPU 小时和一个先大后小的布局课程前面每一刀单独看都是结构改动但作者强调绝大多数改动都会把主干打回零样本不可用的状态。真正把成功率拿回来的是蒸馏课程。数据侧很省从 Cosmos Policy 放出的 1700 条成功 LIBERO 示范里每 4 步采一个观测得到 68,830 个观测教师的一步预测动作块 aT 与未来 latent zT先在固定噪声下缓存好单张 A100 上花 66 分钟。损失是四项 L1 的叠加学生动作对示范、学生动作对教师动作、学生 latent 对未来 latent、学生 latent 对教师 latent另外在状态帧和价值帧还存在时给它们 0.1 权重的项。我注意到蒸馏目标的一个细节缓存下来的是教师一步的预测而不是它跑满五步之后的输出。这个选择和后文的一趟读出是同一个逻辑——学生要模仿的是教师「看一眼就给答案」的那一面。也正因为目标在训练开始前就固定了整个蒸馏才能压到 3.6 小时。我最认可的是布局课程这一手。剪枝和「把 1764 个 token 压成 1008 个」是两种不同的分布漂移同时施加会互相打架。所以学生先在教师原来的 1764 token 布局下训前 1000 步总共 5000 步之后才切到紧凑布局AdamW继承来的权重用 2×10⁻⁵、新增权重用 10⁻⁴batch 32bf16单张 A100 上3.6 小时。论文给出的训练曲线把这件事画得很清楚图 2验证动作 L1 在教师布局下降得最快切到紧凑布局后继续下降最后稳定在 0.09 附近。这个 0.09 值得单独说——它是教师自己一步误差0.009的十倍而模型成功率仍有 95.5%。离线 L1 不是闭环成功的好代理论文把这一点作为 A.2 的结论直接写了出来。另外那多训的 7500 步只降训练损失验证损失和成功率都不动。图 3成功率与代价的散点对照左图横轴是每 16 动作块的 TFLOP右图横轴是 A100 上的延迟实心点为 60 回合筛选集、空心点为 400 回合完整协议SmolWAM 落在又便宜又成功的角落。省了多少、掉了多少400 个回合的账评测协议是这样LIBERO 四个套件、每套件 10 个任务沿用教师的观测管线腕部加第三人称 224 px、本体感知、16 动作块开环执行seed 195每任务 10 次试验一共 400 个回合。另有一套 60 回合的筛选集每套件 3 个任务 ×5 次它刻意包含了早期剪枝学生失败的题目所以分数天然低于完整协议——读表时这一点要记住。延迟是观测到动作块的墙钟时间单张 A100、batch 1、bf16已经包含预处理和 VAE 编码所有模型的文本特征都是缓存的。配置参数每块延迟 / 算力 / 显存成功率教师 5 步1.96B624 ms / 42.6 TFLOP / 7.55 GiB98.2%400 回合教师 1 步 单帧1.96B126 ms / 7.52 TFLOP / 4.39 GiB100%60 回合剪枝 LoRA 蒸馏1.40B—87.5%400 回合SmolWAM0.88B57 ms / 2.30 TFLOP / 2.36 GiB95.5%400/ 93.3%60再多训 7.5k 步0.88B60 ms / 2.30 TFLOP / 2.36 GiB94.2%400 回合只留 8 块0.60B134 ms / 1.76 TFLOP / 1.84 GiB83.3%60 回合SmolWAM-LA 4 步0.92B239 ms / 4.28 TFLOP / 2.43 GiB53.3%60 回合完整协议下 SmolWAM 成功 382/400即 95.5%Wilson 区间 93.0–97.1教师是 393/400即 98.2%96.4–99.1两者从同一批初始状态出发。Spatial 与 Object 两个套件上检测不到差别差距集中在需要多步的 Goal94 对 99和 Long89 对 97失败的 rollout 大多是完成了第一个子目标、卡在第二个。分套件看更清楚Spatial 上 SmolWAM 是 99.0、教师 97.0Object 上两边都是 100.0也就是说这两个短程套件上它没有损失真正掉的是 Goal94.0 对 99.0和 Long89.0 对 97.0。论文还提到一个细节把训练延长 7500 步之后Spatial 反而从 99.0 退到 94.0而 Goal 与 Long 原地不动——「多训一点」补不上长时序的缺口。成本侧SmolWAM 是 0.88B 参数、每 16 动作块 57 毫秒、2.30 TFLOP、峰值 2.36 GiB相对教师快 11 倍、FLOPs 少 18.5 倍、显存少 3.2 倍。图 3 把所有变体放到「成功率—代价」平面上SmolWAM 和它的延长训练版本落在又便宜又成功的那个角落8 块版本省下 0.5 TFLOP 却掉 10 个点SmolWAM-LA 又慢又差。还有两组对照值得记住只删 8 块 LoRA 蒸馏的早期学生19.7M 可训练参数、L4 上不到一小时、不用示范是 87.5%按通道把 172 个最大 linear 层量化成 INT8能把存储从 1.64 GiB 压到 0.85 GiB代价是掉一个筛选回合但由于是用 bf16 kernel 模拟的延迟还没降下来。图 4单变量消融每项改动只训练 2500 步并在 60 回合筛选集上评分全部落在参考配置 78.3% 的正负五个回合带内跑满 5000 步的模型在同一筛选集上是 93.3%。拆开那 57 毫秒以及为什么截短动作块没用11 倍不是一次拿到的论文把它拆成两段。第一段完全不训练拿教师未修改的权重输入换成单帧、去噪换成一步延迟降 5 倍、算力降 5.7 倍到 126 毫秒与 7.5 TFLOP筛选集不掉分。第二段才是主干重设计在此之上再贡献 2.2 倍延迟、3.3 倍算力、1.9 倍显存。57 毫秒内部的构成也交代了transformer 占 37 毫秒、VAE 编码 13 毫秒、预处理 7 毫秒折算每秒能出 17.7 个动作块、282 个动作。论文在 L4 上还做了一个零训练阶梯把每一步单独记账配置逐步累加每次查询与五步动作的偏差闭环五步去噪原始1.83 s—5/5一步去噪1.22 s0.0055/5再去掉未来图像解码0.54 s0.0055/5再换单帧 VAE 与精确文本修正0.23 s0.0445/5这张表最有信息量的是那 0.68 秒一步去噪的时候L4 花在解码未来图像上的时间0.68 秒比整颗 transformer0.2 秒还多而控制器根本不读这些图像。把这一步删掉收益比换一个小模型还直接。这条阶梯表还回答了一个常被跳过的问题蒸馏到底买到了什么。0.23 秒那一行的偏差是 0.044而前面两行都只有 0.005——单帧编码加文本修正确实让模型偏离了教师五步的输出但闭环成绩一点没掉。到了 SmolWAM主干重设计带来的结构差异更大于是必须用 3.6 小时的蒸馏把动作重新锚回示范和教师。说得直白些零训练能换到 8 倍剩下的一截必须靠训练换。另一个方向的尝试被否掉了动作块是开环执行的所以块频率就是策略对新观测的反应频率。让教师在 16 个动作中的 8 个之后重新查询无论一步还是五步去噪都解不出哪怕一个筛选回合——想更快地反应得回到训练期去改。最后是消融图 4。七项单变量改动换成 T5-small、去掉 vision-to-language 层、去掉空白帧、只留 2 层 V-to-L、用 T5-XXL 上下文但不加 V-to-L、空白帧压到 28 个 token、文本只 padding 到 64各训 2500 步最终全部落在参考配置 78.3% 的正负五个回合带内。也就是说在这个训练预算下60 回合的筛选集分不开这些选择而跑满 5000 步的模型在同一筛选集上是 93.3%。这是一次很实在的自我收紧——作者没有把这些消融当成支持自己设计的证据。图 5四个套件各取一个任务、从同一初始状态出发的 rollout左列是 SmolWAM右列是教师 Cosmos Policy每行给出首帧、中间帧与末帧四个任务双方都成功。它仍然是一个世界模型论文没有只报成功率而是单独问了「世界预测还剩下多少」。在 96 个 held-out context 上SmolWAM 对 16 步之后视角的预测把 latent L1 相对复制当前帧降低了 24%0.101 对 0.133用 RAFT 光流算出的端点误差也从 1.63 像素降到 1.43 像素。解码出来看预测帧保留了场景结构、把机械臂放到了接近未来位姿的位置但外观是模糊的LPIPS 停在复制当前帧的水平0.128 对 0.115。世界头抓到的是运动不是纹理。这个结论与「一趟读出」的取舍是自洽的不花那五步去噪就不该指望像素级的未来。我更愿意把这一点读成一条设计约束世界头的监督信号未来 latent和动作头共享同一颗主干而它只在训练时起作用、推理时从不解码。这既省掉了推理开销也避免了「想象出来的未来」反过来污染动作——SmolWAM-LA 的四步采样恰恰踩在这个坑上。另一组更直观的证据是四个套件各取一个任务、从同一初始状态出发的 rollout 对照图 5左列是 SmolWAM、右列是教师每行给出首帧、中间帧和末帧四个任务两边都成功步数上 SmolWAM 是 131、147、154、234教师是 143、147、138、247。更丰富的世界-动作组件在这个尺度上是负担论文的最后一问问得挺大胆世界-动作模型这个方向最近一直在往上加组件——latent action、几何、物体状态、价值评估——把这些都加到 SmolWAM 上会不会更好做法是把 ABot-M0.5 的配方移植过来一个冻结的 32 维 latent-action 模型给出的 token、非对称注意力掩码、给 latent-action、手臂和夹爪三路各配一个 mixture-of-transformer 塔、四步条件 flow matching以及 dream forcing用预测出来的 latent 去训练动作头。加上 39M 参数得到 SmolWAM-LA。结果是明确的负收益筛选集 53.3%每块 239 毫秒。它的一步动作估计其实和 SmolWAM 相当验证 L1 是 0.089 对 0.091但四步采样把误差抬到 0.155只用一两步又只能恢复 63.3% 和 70.0% 的筛选回合它的 latent-action 预测比直接预测均值还差MSE 1.15、方差 0.64世界头也没有更好latent L1 0.102。顺带解释一下 dream forcing它让动作头在预测出来的latent 上训练本意是缩小训练与推理之间的分布差距。放在 SmolWAM 上它反而成了四步采样误差的放大器——latent 一旦不够准动作头就学会了在错的输入上做对的事。同一套配方在更大、步数更多的模型上也许成立在这个尺度上不行。把 Q4 的结果和主干分析的结论放在一起看逻辑是闭合的这些组件之所以在别的模型上有效多半是因为那里的主干和动作头是一起训练的而 SmolWAM 的主干是从视频模型继承来、只被蒸馏轻推过的任何额外目标都会先动主干、再通过共享参数影响动作。在这个架构里越丰富的目标越容易变成噪声。更极端的是给世界头做奖励加权微调用光流、深度和 LPIPS 拼出五个奖励结果图像指标全线恶化LPIPS 从 0.130 到 0.167–0.177成功率在 300 步内崩到 5.0–16.7%。论文的结论我原样记下因为我认为这是全文最有工程价值的一句预训练视频世界-动作模型能容忍很大的接口改动和深度改动——前提是每一步都配蒸馏而不是零样本硬套——但它不能容忍一个没有动作锚点、却持续训练共享主干的新目标。换句话说想加新目标先想清楚它会不会把动作信号冲掉。适用边界评估只在一个仿真基准LIBERO上完成。作者自己说下一步要把评估扩到 RoboCasa 这类更多基准最终到真机。减少 transformer 深度对长时序任务的影响不成比例退化最大的是 LIBERO-Long怎么剪枝才能保住长时序控制被作者列为重要的开放问题。一趟读出意味着动作永不条件于一个去噪后的未来。这个取舍在控制上被验证是可行的教师一步就够但它把世界头的上限压在运动级预报上——LPIPS 停在复制帧水平就是证据。开环动作块让反应频率等于块频率而在当前训练方式下截短动作块行不通提速需要训练期的配合。60 回合筛选集的分辨率也有限单变量消融之间的差别分不出来论文自己列出的六个消融去掉世界头、去掉蒸馏目标、去掉布局课程等还没有跑。还有一个作者主动交代的未分离因素早期那个 8 块 LoRA 学生与 SmolWAM 之间蒸馏覆盖范围、全量微调和学出来的布局这三者的贡献没有被拆开。最后补一句我自己的观察这篇论文里「小模型」的定义落在 0.88B 参数、2.36 GiB 显存上这比很多手机上跑的视觉模型还要大。它的「边缘」更接近「单张消费级显卡的机器人控制器」而不是单片机。把它当成一套可迁移的压缩方法读会比当成一个能直接上机器的成品更合适。我读完之后的几点提炼第一压缩一个预训练大模型时先把接口成本和参数成本分开记账。换掉文本编码器、把 33 帧编码改成单帧、不再解码控制器不读的输出这些都不动主干形状却往往是最容易拿到数量级收益的地方。SmolWAM 的 11 倍里有 5 倍来自「一步 单帧」几乎没花训练成本。第二缓存文本特征时不要顺手把上下文截短。注意力汇是结构性的不是冗余 padding要动就得把配重原样补回去。这一点在做任何「上下文压缩」时都值得先测一遍。第三层的重要性只能按组合评估。单独删都不失败的层四个一起删可能全崩反过来影响度分数低的层也可能互相兜底。剪枝实验的设计里必须包含「成组删除」这一档。第四一趟 flow 读出加缓存教师目标是一套可以复用的省钱模式先缓存教师的一步目标再用布局课程把两种分布漂移分开。但要记住它的配套结论——离线 L1 不是闭环指标验证损失停在教师十倍的位置上闭环成功率仍然可以有 95.5%。第五往共享主干上加新目标之前先确认它没有把动作锚点冲掉。latent action、多塔结构、奖励微调在这个尺度上都是负收益而后者的代价是灾难性的。第六如果目标是边缘部署显存往往比延迟更早成为硬约束。57 毫秒还能靠降分辨率、降控制频率去换2.36 GiB 是「能不能装进去」的问题。这也是我认为这篇论文把峰值显存和延迟并列报告的原因。结语SmolWAM 的核心价值不在于 95.5% 这个数字而在于它把一笔账算清楚了一个强预训练世界-动作模型的成本结构里有很大一块是可以被重新设计掉的——前提是每一步改动都配一次蒸馏而不是零样本硬套。
