目录01 研究动机任务与问题设定现有方法的局限需要解决的三个问题02 方法Freeze-and-Stream① 逐组联合感知② 压缩Rig-Resampler③ 时序CausalBridge④ 锚快照因果前提下的双向交互⑤ 分块重锚两阶段训练03 实验四种 rig 上的评测相机数量对照深度与视场有无时序状态与 G2G 串接的对照人形机器人仿真训练真机零样本计算与显存开销04 适用场景与边界05 消融与分析06 结论与展望项目主页多相机组已是移动机器人、无人车与人形机器人的标准感知配置各相机同步采集相互位姿经过标定。相比之下近年兴起的三维基础模型流式定位方法如 CUT3R、STream3R仍以单目视频为输入逐帧处理相机参数由网络自行推断现成的标定信息被搁置。针对这一差距浙江大学的研究团队提出StreamRig流式里程计每一步读入的不再是一帧图像而是一整组同步视图。同一时刻的视图连同标定由冻结的多视图三维基础模型统一编码跨时间传递的则只有每台相机 16 个压缩特征。据作者所知这是首个将冻结多视图三维基础模型迁移到一般多相机 rig 上的流式里程计。主要结果精度NCLT 约 6 公里的校园路线上ATE 为 25.8 米单目 CUT3R 为 164.7 米覆盖面在四类平台上与八种方法对比平移与旋转漂移均为最低效率分辨率相同时五视图单步 26.2 毫秒快于 CUT3R 的单视图 31.3 毫秒。论文StreamRig: Exploiting Intra-Rig Geometry for Streaming Multi-Camera Odometry作者Yufei Wei一作魏雨飞浙江大学博士研究生, Shuhao Ye, Qi Wang, Xin Zheng, Qing Huang, Rong Xiong, Yue Wang通讯作者单位浙江大学、华南理工大学论文链接arxiv.org/abs/2609.40244代码github.com/WeiYuFei0217/StreamRig▲ 图 1环视里程计的精度与效率。(a) NCLT 2012-08-20StreamRig青比 G2G 串接与 CUT3R橙色虚线更贴近真值灰。(b) 以预测位姿拼接的着色 LiDAR 点云范围对应 (a) 中方框仅用于可视化不作为里程计输入左下为五相机朝向。(c) 五目 StreamRig 与单目 CUT3R 在 ATE、显存和延迟上的比较精度一项用九帧窗口微调版 CUT3R开销一项用其循环版本分别测得。01 研究动机任务与问题设定视觉里程计的目标是仅凭图像序列在线恢复平台的六自由度运动。其误差随路程增长因此论文沿用 KITTI 的评测惯例以相对漂移刻画精度平移以每百米位置偏差的百分比计旋转以每百米的角度偏差计。多相机为该任务带来两类额外信息。其一是冗余视场某一视角被遮挡或纹理退化时其他视角仍能约束运动。其二是已知几何相机刚性固连彼此的相对位姿在标定中已经确定。下文沿用论文的术语称这组相机为rig称其内部的已知相对位姿为rig 内几何intra-rig geometry。传统多相机里程计将 rig 建模为广义相机在优化框架中求解运动但依赖手工特征与针对平台的工程调校在动态、重复纹理和弱纹理场景中仍存在困难。三维基础模型从大规模数据中习得几何先验为这一问题提供了新的路径。现有方法的局限第一类是单目流式模型有记忆无 rig 几何。CUT3R、STream3R 等以状态或键值缓存保存历史但输入接口只容纳单张图像。把各视图当作独立帧逐一送入会让相机维度与时间维度纠缠在一起同一时刻的已知几何没有得到显式编码每步 token 量与持久缓存也按相机数成倍放大。第二类是面向 rig 的多视图模型有 rig 几何无记忆。以团队前作 G2G 为代表这类方法联合感知一组相机求解两组观测间的刚体变换但每次调用互不关联。连续定位只能依靠逐对串接误差随跳数叠加。即便为 MapAnything 提供两组的真值外参oracle 设置逐对串接后 NCLT 上的平移漂移仍约为 46%单次估计中的微小系统偏差经数千次复合后被显著放大。需要解决的三个问题状态规模五目的 token 量是单目的五倍原样进入时序缓存会使长序列推理的计算与显存迅速膨胀因果性与双向交互的冲突参考帧与当前帧相互注意时位姿最易解算但流式推理禁止参考帧读取未来观测数据稀缺真实 rig 数据集多数只附带稀疏 LiDAR 深度单个数据集内相机布局几乎不变从头训练一个同时承担感知与时序推理的模型并不现实。02 方法Freeze-and-Stream整体上StreamRig 以冻结的 MapAnything 为感知前端只在其后训练三个轻量模块。可训练参数为 74.6M约占 638M 全系统的 11.7%。下面沿一组观测从输入到位姿输出的路径展开。▲ 图 2StreamRig 总览。(a) 冻结前端逐组感知Rig-Resampler 压缩CausalBridge 在压缩状态上因果注意位姿头回归相对锚点的位姿。(b) 两阶段训练组间重定位 → 因果 rig 训练与每 N 组重锚一次的流式循环。① 逐组联合感知前端的输入包括三部分C 张同步图像、由内参计算的逐像素射线以及以参考相机为原点的外参。MapAnything 内部的 DINOv2 编码器与交替注意力在视图间交换信息输出已锚定于相机几何的图块特征。这是标定唯一的入口。下游模块看不到外参也不预设任何相机排布因此任何能接收图像、内参和相对位姿的多视图前端都可以接入。② 压缩Rig-Resampler估计运动与尺度只需要少量几何线索无须保留稠密重建所需的全部细节。据此Rig-Resampler 用 16 个可学习查询、两层交叉注意力把每台相机的 256 个图块 token 汇聚为 16 个潜变量。以五目为例每组观测只剩 80 个 token甚至少于一张 224×224 图像的 256 个由于查询跨相机共享多接一台相机只增加 16 个 token参数量不变。③ 时序CausalBridge压缩特征附加相机、分组和锚点三类嵌入后进入 8 层自注意力的 CausalBridge。组内注意力不受限制组间注意力为因果形式历史各组的键值在各层缓存新观测到达时只需计算当前组。位姿的参照对象是较早的某一组观测即锚点网络直接输出当前组相对锚点的变换而非相邻两组间的增量。锚点之后缓存的各组观测提供中间约束锚点与当前组视野不再重叠时由它们完成几何上的传递。④ 锚快照因果前提下的双向交互此处存在一个结构性矛盾相对位姿最好在两组相互注意时读出因果掩码却不允许锚点看到更晚的观测若让全局共享的锚点表示去读后续观测缓存会被未来信息污染并需不断重算。StreamRig 的处理是锚快照anchor snapshot针对每一个当前组单独拷贝一份锚点 token使其仅与该组双向注意得到位姿后即丢弃不进入缓存。锚点原始表示与历史缓存始终只读。第 t 步的输出因而只依赖锚点至第 t 组的观测整窗并行训练与逐组增量推理严格等价。▲ 图 3锚快照机制示意每个当前组获得一份独立的锚点拷贝二者双向注意后拷贝即被丢弃中间组缓存只读后续观测不可见。消融中改用静态锚点——当前组可以读取锚点但锚点表示在整个网络中与当前组无关——三个平台的平移漂移随之上升 9%–38%。位姿头为每台相机设置旋转、平移两个查询读取快照中参考相机与该相机的桥接特征解码为 6D 旋转与三维平移。里程计输出取参考相机位姿其他相机的目标由它与标定直接导出无需额外标注即可作为辅助监督。⑤ 分块重锚锚点固定不动时状态会随序列无限增长。为此 StreamRig 按块推进每 N 组为一块块尾一组成为新锚点窗口从该处重启轨迹由逐块的锚点间位姿复合而成。无论序列多长活动状态至多为 N 组、即 N·C·L 个 token。桥接模块不含时间位置编码顺序信息完全来自因果掩码与 token 内容所以块长 N 是部署参数与训练窗口无须一致。这一设计有其依据单目模型须借助帧序跨时间重建几何StreamRig 则在组内完成几何解算参照组又由锚快照显式给出。加入 RoPE 的对照实验没有收益平移漂移最多反而高出 8%。两阶段训练冻结前端免去了重新学习三维表征的需要却不能自动教会一个新的位姿后端如何使用这些表征随机初始化后直接做因果训练NCLT 漂移高达 41.37%三个平台为完整方案的 4.6–14.9 倍。StreamRig 因此采用两阶段方案全程只以相对位姿为监督阶段一组间重定位。在单相机轨迹上取短窗口作为视图组有共视的两组即可成对且允许跨采集时段、跨轨迹组合后端由此见到远超单一 rig 的布局与位移分布。该阶段对输入外参施加 1.5° / 0.1 m 的 SE(3) 噪声目标保持干净以学习从带噪标定中恢复真实几何。阶段二因果 rig 训练。模块结构与权重原样继承变化只在输入与监督成对输入换成带锚快照的 rig 窗口双向注意力换成因果掩码窗口内每一组都成为目标。为兼顾远近目标窗口长度在 [6, 48] 内按长度加权采样平移误差按真值位移归一化若固定 48 组窗口远端目标主导损失漂移上升 15%–30%。要点回顾感知交给冻结前端每组一次每台相机 16 个 token 进入时序状态CausalBridge 因果地读取历史并输出相对锚点的位姿锚快照兼顾双向交互与因果性分块重锚限定状态上界。03 实验四种 rig 上的评测测试规模NCLT 两条完整路线 12.29 kmTartanGround 10 个未见场景 12.60 kmKITTI-360 两段路线 13.63 kmZJH 三条真机序列约 0.36 km。基线分两组单目流式的 CUT3R、STream3R二者按原配方在目标数据上微调、LingBot-Map 与 HorizonStream非流式、面向 rig 的 Reloc3R、Rig3R、MapAnything 与 G2G 逐对串接。评测时每种方法都从首帧出发、因果地跑完整条序列并仅用自身预测复合轨迹真值只参与打分oracle 参照除外。表中为平移漂移%。“单目最优”在 TartanGround 取 STream3R其余取 CUT3R无公制尺度输出的方法按序列施加一次全局尺度ZJH 则对全部方法如此处理oracle 参照不计入排名。就漂移而言StreamRig 的平移与旋转两项在全部四个数据集上领先。ATE 方面它在三个数据集上同样最低例外是 KITTI-360经 Sim(3) 对齐的 STream3R 为 53.6 米StreamRig 为 63.7 米。相机数量对照深度与视场KITTI-360 以前向行驶为主运动最为平稳单目方法在此表现较好适合作为隔离相机数量影响的对照。实验沿用主表配置只更换送入前端的相机单目输入下StreamRig 落后于 CUT3R3.59%换成双目后二者持平。第二个视角对视场几乎没有扩展其价值在于两个已标定视图的联合感知直接给出深度而单目只能依赖推断。再补入两侧相机后视场扩大全部指标含整段 ATE进一步改善。由此可以区分两种收益双目贡献深度侧视相机贡献视场。视场的作用在五目环视的 NCLT 上可以直接看到。下图取自项目主页两幅点云使用同一套五目 StreamRig 位姿只改变参与建图的相机单个前视相机留下的观测稀疏而断续五台相机则把道路两侧的树列与建筑连成完整的条带。▲ 图 4NCLT 上的建图覆盖对比项目主页截图按离地高度着色。左仅前向 Cam5右五台相机。两图位姿相同差别只来自参与建图的相机反映的是观测覆盖而非里程计精度深度取自 LiDAR仅用于可视化。有无时序状态与 G2G 串接的对照四个数据集中NCLT 最具挑战两条约 6 公里的真实路线交织着室内外转换、光照剧变、运动模糊和往来行人。最能说明时序状态作用的是与 G2G 串接的对比——两者的输入图像、标定与冻结特征完全一致唯一差别是有无跨步状态值得注意的是无时序状态的 G2G 串接已优于所有单目流式方法说明环视感知首先保证了跟踪稳定时序状态进一步减少串接次数将稳定跟踪转化为低漂移。若串接时缓存上一组特征其每步计算量与 N2 的 StreamRig 相同因此这一提升是同等开销下的精度收益。TartanGround 上G2G 串接的漂移远低于在目标数据上重新训练的 Reloc3R 和 Rig3R表明冻结预训练前端将多相机感知能力迁移到了未见场景。人形机器人仿真训练真机零样本相比轮式平台步行人形机器人对里程计更为苛刻每一步都会带来相机抖动每米行程的转角也居四个平台之首。ZJH 的 rig 由 7 cm 基线的前向双目和两台斜视相机组成水平覆盖约 180°。训练完全在仿真中进行——基于 3D Gaussian Splatting 重建的 25 个真实扫描室内环境、131 条行走轨迹测试则是 3 个未见环境的真机序列。真值来自 COLMAP 的 rig 重建仿真与真机之间的尺度事先未知故所有方法均按序列施加一次全局尺度。零样本条件下StreamRig 的三项指标均列第一平移漂移 3.48%次优 CUT3R 为 4.61%ATE 0.88 米旋转漂移 14.88°/100 m较 CUT3R 的 39.85°/100 m 低约 63%。该平台上时序状态的作用尤为明显CUT3R 优于 G2G 串接零样本运行的 LingBot-Map 与 HorizonStream 也优于除 G2G 串接外的全部非流式方法。论文认为跨越多组观测的历史能够吸收步态带来的逐步扰动。▲ 图 5主表模型在四个平台上的轨迹示例整段 Sim(3) 对齐后平移至共同起点。轨迹曲线之外另一种直观的检验是用估计位姿把逐帧观测拼成地图位姿一旦漂移墙面与树列就会出现重影或错层。项目主页为四个平台各提供了一段可交互的点云回放下图为其建图过程。▲ 图 6用 StreamRig 位姿逐帧拼接的点云项目主页录屏白线为估计轨迹颜色表示离地高度。深度来自各数据集的参考数据NCLT 为 LiDARTartanGround 为仿真深度KITTI-360 为官方 LiDAR 融合地图ZJH 为 COLMAP 稀疏重建并非模型预测各段为主页选取的连续片段定量结论以前文表格为准。计算与显存开销效率测试统一在单张 RTX 4090 上进行计时覆盖从 RGB 输入到位姿输出的全过程输入均为 224×224STream3R 取窗口 5显存为峰值BF16batch size 为 1连续 512 步。测速时 StreamRig 取 N2前文 NCLT 精度结果对应 N24。换言之处理一整组五目观测比单目方法处理一帧还快。耗时分解显示感知占绝对主导冻结骨干与 Rig-Resampler 共 24.9 毫秒CausalBridge 与位姿头仅约 1.3 毫秒。时序模块几乎不增加成本新增一台相机的边际开销即为感知该相机的开销。另需指出显存有界并非压缩本身所致而是由重锚保证。论文给出的长历史模式固定锚点并对远端观测进一步剪枝单步耗时仍为 26.4 毫秒但状态随序列增长512 组后显存达 3.0 GiB。04 适用场景与边界StreamRig 部署时只需同步 RGB 与标定参数不依赖 IMU 或 LiDAR输出带公制尺度的连续位姿。环视巡检和配送机器人、“前向双目 侧视”的车辆都属于其适用构型对真机数据昂贵的人形机器人“仿真训练、真机直接部署”的路线已在 ZJH 上得到初步验证但真机的公制尺度仍需额外标定。迁移到新的 rig 时前端和网络结构保持不变仅需用目标 rig 数据重训后端在缓存前端特征的前提下NCLT 模型约需 48 个 RTX 409024 GBGPU 小时。需要说明的边界当前每种 rig 需分别训练且依赖事先标定真机实验总长约 360 米规模有限效率数据来自桌面 GPU机载算力上的表现尚待验证。05 消融与分析▲ 图 7NCLT 两条完整路线上的重锚间隔扫描。实心点为平移漂移左轴空心点为旋转漂移右轴不同颜色对应不同训练窗口星号表示外推至训练范围之外顶部条形为估算的 RTX 4090 训练成本。重锚间隔存在折中。平移漂移随 N 呈 U 形变化。锚点过近轨迹被切成许多短跳每一跳都叠加单次估计的噪声底锚点过远两组可能失去共视只能靠中间组接力且位移逐渐超出训练分布——诊断显示输出位移会在训练最大位移附近饱和。以 [6, 48] 训练的标准模型在 N≈24 处最优N48 时小幅上升N64 时急剧变差。更长的训练窗口换来的是射程不是精度。训练窗口放宽到 [6, 256] 与 [6, 512] 后U 形右支明显右移可用锚距随之扩大但最低漂移并未下降训练成本却从约 48 GPU 小时升至 270 与 710 GPU 小时。公制监督的收益超出尺度本身。由于 MapAnything 输出公制几何StreamRig 可直接以公制位姿训练。换成 STream3R 式的无尺度损失并在评测时补做尺度对齐NCLT、TartanGround 的平移漂移仍分别升至 6.87% 和 27.51%原为 2.77% 与 12.70%。潜变量数与前端的可替换性。每相机潜变量减半至 8 个平移漂移最多增加约 18%加倍至 32 个旋转漂移下降约四分之一但训练计算约为三倍故默认取 16。前端换成 Depth Anything 3 或 π³X 同样可以训练和流式推理重锚曲线也呈 U 形MapAnything 最优论文认为差异来自前端暴露 rig 内几何的直接程度逐像素射线条件化最为直接而非参数规模。06 结论与展望综合全文实验StreamRig 给出了三点结论联合 rig 感知与时序历史是两种互补的精度来源。前者由冻结基础模型在每组内一次完成提供深度与视场后者以压缩状态跨步传递抑制串接误差。二者结合的代价很低时序部分每步约 1 毫秒。基础模型迁移需要合适的初始化。冻结前端提供几何先验组间重定位预训练则提供有限 rig 数据无法单独给出的对齐能力两者结合才使仅训练 11.7% 参数、仅用位姿监督的方案成立。流式推理的关键超参数是重锚间隔。锚距过短累积跳变误差过长失去共视并越出训练分布加长训练窗口能扩大可用锚距但需付出数倍训练成本。展望方面NCLT 上的探索性试验提示压缩后的 rig token 或可用于同一采集序列内的重访检索但论文未对此做定量评估判定阈值也仍需逐序列调整。后续工作将研究可迁移的回环触发并把重访纳入流式状态同时对位姿与稠密几何进行联合优化让已累积的地图约束之后的估计。项目主页项目主页weiyufei0217.github.io/StreamRig汇总了完整结果表、方法视频和上述四段可交互点云读者可以在浏览器中切换单相机与全部相机、StreamRig 与参考位姿、RGB 与高度着色并拖动时间轴回放建图过程。▲ 图 8项目主页的交互式 3D 建图界面NCLT。
