相关笔记深讲《ABot-World 概念深讲》代码《ABot-World 代码导读》一句话定位ABot-World-0是一个键盘动作条件的视频世界模型你按 WASD/IJKL模型实时生成下一段世界画面。目标是在单张消费级桌面 GPURTX 5090上做近实时、可无限续写的交互式世界 rollout约720P / 16 FPS / 1.2s 首帧延迟 / ~19GB 显存。你可以把它想成不是「生成一段固定长度短视频」而是「可玩的生成式沙盒」你动一下世界跟着变生成过的画面又变成下一步的输入可以一直玩下去hour / day 级压力测试。0. 要解决的四个耦合瓶颈瓶颈白话数据要有同步动作的多样世界视频游戏 / 仿真 / 互联网控制同时支持场景漫游与第三人称角色控制长时稳定自回归越滚越偏模糊、花屏、卡死部署不仅少采样步还要整条流水线能在桌面 GPU 跑起来1. 数据基础设施WorldExplorer三源互补来源优点动作标签AAA 游戏画质高、控制精确游戏 API 真值仿真UE / 3DGS几何准、可控轨迹投影得到互联网视频多样性强姿态估计伪标签WorldExploreragent 驱动采集 训练反馈闭环哪里弱就多采哪里。质检14 项检查 × 6 维度 VLM 语义评估。标注统一键盘动作空间 场景描述故意不含相机运动文案避免文本抢走动作控制。2. 模型怎么控键盘 身份记忆动作接口原始键盘动作离散、与帧对齐不是 latent action代码落地为 8 维W A S D I J K L移动 视角/交互类键每 4 帧 pack 成动作 token经Action Control AdapterPixelUnshuffle Conv加性注入到 DiT patch 特征第三人称身份Reference-character memory多视角角色参考图 → VAE → 身份 token负时间 RoPE 非对称注意力视频可看记忆记忆不看视频→ 减轻长时「换脸」3. 训练管线双向教师 → 因果学生 LongForcing预训练视频 DiT ↓ 全参微调 双向 Teacher看整段质量高不能实时 ↓ Stage1 Teacher Forcing 因果 Student只看过去可自回归 ↓ Stage2 ODE Distillation 少步因果模型更快 ↓ Stage3 LongForcingDMD 长时自 rollout 与「更长视野教师」分布对齐 → 抗漂移LongForcing 直觉短视距蒸馏只教「下一步好看」闭环玩久了历史全是自己生成的脏上下文。LongForcing 让学生自己滚很长再用扩展视野教师做分布级纠正——治的是「越滚越偏」的分布偏移。4. 部署全栈共设计不是只压采样步组件作用Chunk-wise streaming每块 3 latent ≈ 12 解码帧吞吐↑首帧有界延迟LightVAE (TAEHV)轻量解码降延迟与显存FP8 / MXFP4…DiT 低比特VAE/文本更高精度SageAttention2加速注意力Fast-RoPE流式局部窗口重锚定 RoPEBounded KV cache无限时长不让 KV 无限涨可再量化Memory-aware scheduling模块换入换出峰值显存可控部署信封1× RTX 50901280×704最高约16 FPS首帧1.2 s峰值 VRAM≤19.3 GiB。消融Base / 仅 SageAttention →OOM必须多组件一起上才可部署。5. 实验结论WorldRoamBench5B 模型相对 Genie 3 / HappyOyster / LingBot-World / HY-World动作跟随、轨迹、美学、力学、记忆等子项有竞争力部分次优。LongForcing 消融60s相对 Causal-Forcing 风格基线后半段 HPSv3 更高饱和/模糊/重复 patch 更低 →长时误差累积更轻。定性小时 / 日级 rollout 仍可辨场景与可控角色OOD 场景/角色仍跟键盘涌现物理推箱子、脚印、溅水、撞墙不穿模等非显式物理引擎要点总结交互世界模型 数据闭环 因果少步模型 长时分布对齐 部署共设计键盘动作是统一、用户友好的控制通道LongForcing针对「自回归闭环分布偏移」实时 ≠ 少采样步解码、注意力、KV、显存调度同样关键开源推理 Gradio 5B-LF 学生权重教师模型与 500h 数据集路线图中开放问题LongForcing 扩展视野教师的具体 horizon 与 DMD 实现细节8 维键盘到游戏原生多轴控制的映射损失有多大日级 rollout「仍可辨」与真正持久世界状态还差多远与 Masked Visual Actions / RynnBrain 世界模型路线如何组合
