一句话定位用Qwen3-VL-4B当唯一骨干、不加导航专用头先出定长「可行点 目标点」双通道指向再用3 个 RVQ token解出 10 个 SE(2) 航点一个 checkpoint 覆盖跟指令、找物体、视觉跟踪并零样本跨机型。关键词本文核心LightNav-0 · LightNav-ER · 双通道指向 · RVQ 动作分词 · 时间感知历史压缩 · INSIGHT-Bench任务/基准VLN · VLN-CE · ObjectNav · EVT-Bench · R2R训练DAgger · GRPO指标SR · SPL · NE · nDTW · CR1. 背景概念具身导航Embodied Navigation机器人在真实/仿真空间里自己走去完成「听指令 / 找东西 / 跟人」这类目标。视觉语言模型Vision-Language Model, VLM看图 懂话的大模型。现代 VLM 已经会指物体、做空间问答但很少被直接当成机器人控制骨干。通才 vs 专才旧系统常为每个任务VLN、ObjectNav、跟踪或每种机器人单独做模块通才想用同一套感知–推理–动作接口换任务、换机型。SE(2) 航点平面上相对位姿序列前向、侧向、偏航交给底层控制器执行不是直接发电机电流。本文站位单目 RGB 的单体monolithic生成式导航——和双系统「慢指像素 快扩散」不同也和 Qwen-RobotNav「VLM MLP 回归航点」不同。2. 论文在干什么问题VLM 里已有 grounding / 空间推理但导航系统仍爱加「航点预测器、任务 ID、各本体动作头」把感知、推理、动作拆碎难跨任务、跨机型复用。设定项内容骨干Qwen3-VL-4B-Instruct只扩词表输入时间压缩后的 egocentric RGB 历史 自然语言目标输出aposopos 3×RVQ → 10 个 SE(2) 航点任务指令跟随 VLN、开放词 ObjectNav、具身视觉跟踪数据导航侧 2K 场景、4K 小时另有大规模 ER 中训真机人形 / 四足 / 轮式 / 空中共享轨迹跟随器3. 核心创新点「引出」而非「重造」VLM 空间智能不加任务头用指向网格 token 复用预训练 grounding再对齐到控制。双通道指向 作定长空间 CoTAffordance可走 Object目标跨 VLN / 搜索 / 跟踪同一接口消融平均 SR −8.4。RVQ3 token ↔ 高精度连续轨迹兼顾几何精度~0.72 cm ADE与 token log-prob便于 GRPO可提前停在粗层降延迟。训练三段ER 中训 → SFT(DAgger) → 在线多任务 RLLightNav-ER 先抬空间榜导航混训里仍保留 ~22% ER 防遗忘。INSIGHT-Bench 跨域/跨机型演示场景×指令两轴诊断游戏域与四本体真机零样本。4. 方法细节4.1 统一自回归接口每步决策输出固定结构yt[⟨aposia⟩, ⟨oposio⟩, ⟨act_L0k0⟩, ⟨act_L1k1⟩, ⟨act_L2k2⟩]\mathbf{y}_t [\langle\mathrm{apos}_{i^a}\rangle,\ \langle\mathrm{opos}_{i^o}\rangle,\ \langle\mathrm{act\_L0}_{k_0}\rangle,\ \langle\mathrm{act\_L1}_{k_1}\rangle,\ \langle\mathrm{act\_L2}_{k_2}\rangle]yt[⟨aposia⟩,⟨oposio⟩,⟨act_L0k0⟩,⟨act_L1k1⟩,⟨act_L2k2⟩]无 task-ID token任务语义全在指令与监督格式里。损失即标准 CE导航与辅助 VQA 同一 LM 目标。4.2 时间感知视觉历史压缩近帧高采样、细分辨率远帧指数降采样 更大池化步长ViT 后压缩支持可变长原分辨率输入。4.3 双通道指向标注自动管线把「可行落点 / 局部方向」与「目标物体或目标位」投影到当前画面网格无效情形原地转、停车、目标不可见用保留索引。4.4 RVQ 动作分词10×310\times 310×3轨迹 → 3 层各 256 码本残差量化拟合用 Jacobian 加权轨迹距离轨迹误差里 ADE λ∣Δθ∣\lambda|\Delta\theta|λ∣Δθ∣λ0.3\lambda0.3λ0.3。任意前缀L∈{1,2,3}L\in\{1,2,3\}L∈{1,2,3}都可积成可执行粗/细轨迹。4.5 训练配方阶段要点量级文中ER mid-training指向/空间 VQA/视频等产出 LightNav-ER~170 H100·hlr1e−51\mathrm{e}{-5}1e−5SFT导航 77.6% ER 复述 22.4%含 DAgger~950 H100·hlr1.5e−51.5\mathrm{e}{-5}1.5e−5Online RL多任务终端奖励 GRPOG8G8G88×H100 单节点任务奖励直觉跟踪可见性 × 方位/距离带状质量 与 oracle 计划相似度 − 碰撞强调持续而非到点。VLN成功×(1nDTW) 终点距离高斯 − 超时。ObjectNav成功×路径效率 接近度无参考路径保真项。Rollout 池优先「有时成有时败」的 mixed 集保证组内方差。4.6 推理效率vLLM 服务文称 RTX 4090 约4 ms/token每步最多 2 指向 3 动作 token。5. 整体框架MermaidEgocentric RGB 历史时间感知压缩自然语言目标Qwen3-VL LMQwen3-VL ViTapos 可行点opos 目标点3× RVQ 动作 token10× SE2 航点本体低层控制器ER 中训 LightNav-ER导航 SFT DAgger多任务 GRPOLightNav-010 仿真设定四本体真机6. 实验与结论6.1 LightNav-ER空间智能8 榜宏平均67.4Qwen3-VL-4B 63.18B Molmo2-ER 62.8。Where2Place / RefSpatial 提升最大。6.2 导航仿真单目主表印象设定亮点单目R2R / RxR VLN-CE单目 SR/SPL/NE 多为最佳档R2R SR 68.5RxR SR 73.6MP3D / HM3D ObjectNav全三设定单目 SRSPL 最强如 HM3D v2 SR 79.5HM3D-OVONSeen/Synonym/Unseen 单目 SR 领先或大幅领先EVT STT/DTSR 91.7 /82.6DT 大幅超先前单目INSIGHT-BenchSR43.7vs 开源最佳 ~27.4消融ER 初始化平均 SR 2.4去指向平均 SR −8.4。缩放4B 优于 2B8B 收益不稳定场景覆盖比单纯堆数据更稳。6.3 真机与跨域同一 checkpointCS/VizDoom/Minecraft/Trigger Rally 游戏域真机跟人、跟机器人、室内外指令与开放词搜索。策略出轨迹共享 follower转各平台速度指令。6.4 局限作者自述 补充单决策通路未显式拆「高频避障」与「慢语义规划」。RxR 上 nDTW 仍低于部分方法成功≠路径保真。Institution×Extremum 等细格仍脆INSIGHT 诊断。要点总结通才导航可以是「只扩词表的小 VLM」不必每任务一个头。先指向、后 RVQ空间意图与可 RL 的离散动作码拆开又同序列。ER 中训是「唤醒空间」导航混训要留一点 ER防遗忘。和 Qwen-RobotNav同骨干家族一个 MLP 回归一个 RVQ tokenRL 友好度不同。和 DualVLN/InternVLA-N1那边双系统这里定长指向前缀 单 LM。开放问题网格分辨率Hg,WgH_g,W_gHg,Wg与真实控制精度的定量关系四本体 follower 的具体限制最大速度、避障是否另开INSIGHT-Bench 数据与评测脚本是否会完整开源
