1. 为什么把前馈几何当外挂是SLAM系统里最别扭的设计做视觉SLAM的人大概都有过这种体验系统里明明已经有一个能端到端输出深度和点云的3D基础模型推理速度也不慢但真正要把它塞进SLAM框架时却只能把它当成一个外挂模块——前端跑一遍模型拿到几何先验后端优化器再把这堆先验当成固定输入去用。两边各干各的中间靠一层薄薄的数据接口粘起来。这种架构在工程上能跑通但用久了就会发现问题。前馈模型输出的几何是一次性的它不知道当前帧的位姿估计有多准也不知道后端优化器正在往哪个方向收敛。反过来优化器也没法告诉模型你这一块深度估计得不太对能不能重新算一下。两边信息不流通导致的结果就是模型给的好先验被浪费模型给的坏先验没法纠正整个系统的上限被这个接口卡死了。F²SLAM这篇工作要解决的就是这件事。它的核心思路很直接与其把前馈几何当成一个黑盒外挂不如把它的输出直接写进SLAM的优化目标函数里让几何先验和位姿估计在同一个优化框架里互相约束、一起收敛。关键词里的Feed-Forward几何指的是那些用神经网络一次性前向推理就能得到深度、法向、点图的模型SLAM优化器则是传统意义上做Bundle Adjustment或者位姿图优化的那一套。F²SLAM做的事情就是把这两者在数学层面焊在一起。这篇文章适合谁看如果你正在做SLAM系统集成手里有现成的3D基础模型想用起来或者你在研究如何把学习到的几何先验更优雅地融入传统优化框架那这篇的内容会对你有直接帮助。我会从架构设计的动机讲起拆解F²SLAM到底怎么把前馈几何写进优化器然后聊实操中会遇到哪些坑最后给一些可以复现的思路。2. 前馈几何与SLAM优化器之间的接口税到底交在哪2.1 传统松耦合架构的信息损失链条先把这个外挂模式的问题说透。假设你有一个前馈深度估计模型输入一张RGB图输出一张深度图。在松耦合架构里典型流程是这样的前端每来一帧先跑模型得到深度图然后把深度图转成点云或者深度残差项塞进后端的优化问题里当约束。后端优化器解完之后输出位姿和地图点流程结束。这条链路里至少有三处信息损失。第一处模型输出的深度图是像素级的但优化器需要的是三维点或者深度观测这个转换过程会丢掉模型本身的不确定性信息——模型对哪些像素的深度估计有信心对哪些没信心转换之后全没了。第二处优化器解出来的位姿不会反馈给模型模型下一帧还是按自己的方式推理不会因为上一帧位姿估计得不太好而调整自己的输出。第三处也是最要命的模型输出的几何和优化器维护的地图之间没有一致性约束模型说这个点深度是2米地图里这个点可能已经被优化到2.3米了两者矛盾时只能靠人工设权重来调和。我见过不少项目就是卡在权重调参上。深度先验的权重设大了模型一犯错整个系统跟着飘设小了先验等于没用。本质上就是因为两边没有在同一个优化问题里联合建模只能靠外部权重来硬凑。2.2 紧耦合要解决的核心矛盾F²SLAM的紧耦合思路用一句话概括就是把前馈模型输出的几何量直接作为优化变量或者优化目标的一部分而不是作为外部输入。这里的关键区别在于优化变量和外部输入这两个词。外部输入是常量优化器不能改它优化变量是未知量优化器可以调它。F²SLAM把前馈几何放在了一个中间位置——它既是模型输出的先验又允许优化器在一定范围内调整它调整的幅度由模型本身的不确定性来决定。这个设计的好处是当优化器发现几何先验和视觉观测矛盾时它不需要在信模型和信观测之间二选一而是可以同时调整位姿、地图点和几何先验找到一个让所有约束都尽量满足的折中解。这比松耦合里靠权重硬调要优雅得多也更接近问题本身的物理含义。2.3 为什么是Feed-Forward而不是迭代优化有人可能会问既然要联合优化为什么不干脆用一个迭代式的深度估计网络让它和SLAM交替优化答案在于计算效率。迭代式方法每优化一轮就要跑一次网络SLAM本身又要迭代很多轮两者嵌套起来计算量爆炸。前馈模型的好处是一次推理就能给出几何先验虽然精度可能不如迭代方法但速度快、可微分、容易嵌入优化框架。F²SLAM的选择是用前馈模型提供初始几何和不确定性估计然后在优化过程中让这个先验软化允许优化器根据视觉观测对它进行修正。这样既保留了前馈模型的效率优势又通过联合优化弥补了它精度上的不足。3. F²SLAM把几何先验写进优化目标的具体做法3.1 优化变量的重新定义传统SLAM的优化变量通常是相机位姿和地图点坐标。F²SLAM在这个基础上增加了第三类变量前馈几何参数。具体来说如果前馈模型输出的是每像素深度那这些深度值在F²SLAM里不是常量而是带有先验分布的随机变量。优化器要同时估计位姿、地图点和这些深度值。这个改动听起来简单但实现起来需要解决几个问题。首先是变量维度爆炸——一张640x480的深度图有30多万个像素如果每个像素深度都作为独立变量优化问题的规模会大到没法解。F²SLAM的做法是对深度图做降采样或者参数化比如用低阶多项式或者稀疏控制点来表示深度场把变量维度压到可接受的范围内。其次是先验分布的建模。前馈模型通常只能输出深度值不一定输出不确定性。F²SLAM需要额外估计每个深度值的置信度这个置信度决定了优化器在多大程度上允许调整这个深度值。置信度高的地方优化器尽量不动置信度低的地方优化器可以大幅修正。3.2 联合优化目标函数的构造F²SLAM的目标函数由三部分组成视觉重投影误差、几何先验误差、以及正则项。视觉重投影误差是传统SLAM就有的衡量地图点投影到图像上的位置和实际观测位置的差异。几何先验误差是F²SLAM新增的衡量优化中的深度值和前馈模型输出的深度值之间的差异但这个差异不是简单的欧氏距离而是用模型的不确定性加权的马氏距离。正则项用来防止优化过程中几何先验被过度修正保证解不会偏离先验太远。用数学语言说如果记前馈模型输出的深度为$d_{ff}$其不确定性为$\sigma_{ff}$优化中的深度变量为$d$那几何先验误差项大致是$\frac{(d - d_{ff})^2}{\sigma_{ff}^2}$。这个项在优化中的作用相当于一根弹簧把$d$往$d_{ff}$的方向拉拉的力度由$\sigma_{ff}$决定。$\sigma_{ff}$小的地方弹簧硬$d$很难偏离$d_{ff}$$\sigma_{ff}$大的地方弹簧软$d$可以自由调整。3.3 可微分性与梯度回传F²SLAM能端到端优化的前提是整个目标函数对优化变量可微分。视觉重投影误差对位姿和地图点的导数传统SLAM里已经推得很成熟了几何先验误差对深度变量的导数也很直接。真正麻烦的是前馈模型本身的可微分性——如果模型输出深度时用了不可微的操作比如argmax或者硬阈值梯度就传不回去。F²SLAM在实现上要求前馈模型是端到端可微的或者至少输出深度的那部分是可微的。这一点在选模型时就要注意。现在主流的单目深度估计模型基本都是可微的但有些模型在后处理阶段会做不可微的滤波或者优化这些操作需要被替换成可微的近似。提示如果你打算复现F²SLAM第一步就是检查你手里的前馈模型是否端到端可微。一个简单的测试方法是对输入图像做一个微小扰动看输出深度是否连续变化。如果输出有跳变说明中间有不可微操作。4. 实操中绕不开的四个工程问题4.1 不确定性估计从哪来F²SLAM的联合优化依赖前馈模型输出的不确定性但大多数现成的深度估计模型只输出深度值不输出不确定性。这是复现时第一个要解决的问题。常见的做法有三种。第一种是让模型同时输出均值和方差训练时用高斯似然作为损失函数。这种做法需要重新训练模型成本较高。第二种是用蒙特卡洛 dropout在推理时多次前向传播用输出的方差作为不确定性估计。这种做法不需要重新训练但推理时间会成倍增加。第三种是用启发式方法估计不确定性比如用深度图的局部梯度或者边缘强度来近似——边缘处的深度通常更不可靠不确定性设大一些。F²SLAM论文里用的是第一种方法但如果你只是想快速验证思路第三种方法也能凑合用。我自己试过用局部梯度来估计不确定性效果虽然不如学习出来的方差但在纹理丰富的场景里已经够用了。4.2 优化问题的规模控制前面提到如果把每个像素的深度都作为优化变量问题规模会爆炸。F²SLAM的解决方案是参数化深度场但具体怎么参数化有讲究。一种做法是把深度图分成固定大小的块每块用一个深度值表示块内像素共享这个深度。这种做法简单但在深度不连续的地方会产生明显的块状伪影。另一种做法是用稀疏控制点加插值控制点选在深度变化剧烈的地方平坦区域少放控制点。这种做法更灵活但控制点的选取需要额外计算。我在实验中发现对于室内场景块大小取16x16像素是个不错的折中。再小的话变量太多优化慢再大的话深度细节丢失严重。室外场景因为深度范围大块可以取大一些32x32甚至64x64都可以。4.3 优化器的选择与收敛性F²SLAM的联合优化问题是非凸的而且变量维度高对优化器的选择很敏感。传统SLAM常用的Levenberg-Marquardt在高维问题上容易陷入局部最优而且每次迭代要解一个大规模线性系统计算量大。F²SLAM论文里用的是交替优化策略先固定几何先验优化位姿和地图点再固定位姿和地图点优化几何先验交替进行。这种做法把一个大问题拆成两个小问题每个子问题都更容易解而且可以利用现有的SLAM优化库。缺点是收敛速度可能比联合优化慢但实际用下来差别不大。注意交替优化时两个子问题的优化顺序会影响最终结果。我的经验是先从位姿和地图点开始优化因为视觉观测的约束通常比几何先验更强。等位姿大致收敛了再引入几何先验做精细调整。4.4 与现有SLAM框架的集成如果你已经有一个跑通的SLAM系统想把F²SLAM的思路集成进去最需要改的是后端优化部分。前端可以基本不动只需要额外跑一个前馈模型来提供几何先验。集成的关键接口是目标函数。你需要把几何先验误差项加到现有的目标函数里同时把深度变量加到优化变量里。如果现有框架用的是g2o或者Ceres这类通用优化库加新变量和新误差项都不难照着库的文档写就行。如果用的是自己手写的优化器那可能需要改的地方多一些。还有一个容易忽略的点是坐标系对齐。前馈模型输出的深度是在相机坐标系下的而SLAM优化器里的地图点是在世界坐标系下的。两者之间的转换需要用到当前位姿估计而位姿估计本身又在优化中这就形成了一个循环依赖。F²SLAM的处理方式是在每次交替优化的开始用当前位姿把几何先验转换到世界坐标系然后固定这个转换关系优化一轮下一轮再更新。5. 这套思路能走多远适用边界与失效场景5.1 前馈模型精度决定系统上限F²SLAM的联合优化能修正几何先验但修正能力有上限。如果前馈模型输出的深度系统性偏差很大比如把所有深度都估成了实际值的一半那优化器再怎么调也救不回来因为先验误差项会把深度变量往错误的方向拉。实测下来前馈模型在训练集分布内的场景里表现通常不错但一旦遇到分布外场景比如训练时没见过的新型传感器或者极端光照精度会断崖式下降。这时候F²SLAM的表现也会跟着下降而且因为几何先验的权重不低下降幅度可能比纯视觉SLAM还大。一个实用的判断方法是在跑F²SLAM之前先单独测一下前馈模型在你目标场景上的深度精度。如果相对误差超过20%那F²SLAM大概率帮不上忙不如老老实实用传统方法。5.2 动态场景下的挑战F²SLAM的优化目标假设场景是静态的几何先验在整个优化过程中保持不变。但在动态场景里比如有行人走动的街道前馈模型输出的深度图里包含了动态物体的深度这些深度和静态背景的深度混在一起优化器没法区分。传统SLAM处理动态场景通常用RANSAC或者鲁棒核函数来剔除动态特征点。F²SLAM也可以沿用这些方法但需要额外注意几何先验误差项也要加鲁棒核函数否则动态物体的深度先验会污染整个优化问题。我在实验里试过用Huber核函数处理几何先验误差对轻度动态场景有效但动态物体占比超过30%时效果就有限了。5.3 计算资源的实际消耗F²SLAM比传统SLAM多了一个前馈模型的推理开销以及联合优化的额外计算。前馈模型的推理时间取决于模型大小和硬件轻量级模型在嵌入式GPU上可以做到实时大模型就需要桌面级GPU了。联合优化的额外计算主要来自几何先验误差项的构造和求导这部分开销和深度图的参数化方式有关参数化得越稀疏开销越小。整体来说F²SLAM的计算量大约是传统SLAM的1.5到3倍具体取决于前馈模型的大小和优化问题的规模。如果你的应用场景对实时性要求很高比如无人机避障那可能需要用轻量级前馈模型加上稀疏参数化来压计算量。6. 从复现到改进几个可以动手的方向6.1 最小复现路径如果你想快速验证F²SLAM的核心思路不需要一上来就搭完整系统。一个最小复现路径是找一个现成的单目SLAM系统比如ORB-SLAM的简化版再找一个轻量级深度估计模型比如MobileNet backbone的版本。把深度估计模型的输出降采样成稀疏深度点加到SLAM的优化目标里作为软约束。这个最小系统跑通之后你会对F²SLAM的核心机制有直观感受几何先验怎么影响位姿估计不确定性权重怎么调优化收敛性怎么样。这些感受是看论文得不到的。6.2 不确定性建模的改进空间F²SLAM用的不确定性估计方法还有改进空间。论文里用的是各向同性的高斯分布即每个深度值的不确定性是一个标量。但实际上深度不确定性在不同方向上可能不一样比如沿边缘方向的不确定性通常比垂直边缘方向大。用各向异性的高斯分布或者更复杂的分布来建模理论上能更准确地描述先验。这个方向已经有后续工作在做了核心难点在于各向异性分布的参数估计和优化求解都比各向同性复杂。如果你对概率建模比较熟这是个值得挖的方向。6.3 多模态前馈模型的接入F²SLAM目前主要考虑的是单目深度估计模型。但现在有很多多模态的3D基础模型比如同时输出深度、法向、语义的模型。把这些多模态输出都接入优化框架让它们互相约束理论上能进一步提升系统鲁棒性。比如法向信息可以用来约束深度图的局部平滑性语义信息可以用来区分动态和静态区域。这些约束怎么加到优化目标里权重怎么设都是开放问题。我在实验里试过把法向约束加进去在纹理缺失的区域确实有帮助但在纹理丰富的区域反而引入了噪声因为法向估计本身在纹理丰富处就不太准。6.4 在线自适应权重的可能性F²SLAM的几何先验权重目前是离线设定的或者由模型的不确定性决定。但在实际运行中场景在变化前馈模型的精度也在变化固定的权重很难一直最优。一个自然的想法是在线估计权重根据当前帧的视觉观测和前馈先验的一致性来动态调整。这个想法实现起来有几个难点。首先是在线估计需要额外的计算可能抵消掉F²SLAM的效率优势。其次是权重的变化会影响优化的收敛性如果权重变化太剧烈优化可能震荡。我试过用简单的滑动窗口来平滑权重变化效果还可以但窗口大小的选择又成了新问题。7. 我在实际折腾中攒下的几条经验第一条经验是关于前馈模型的选择。不要盲目追求大模型大模型精度高但推理慢而且大模型的输出往往更自信不确定性估计偏小导致优化器不敢修正它的错误。有时候一个中等大小的模型配合合理的不确定性估计效果反而更好。第二条经验是关于优化顺序。前面提到先优化位姿再优化几何这个顺序不是绝对的。在纹理丰富的场景里视觉观测很强先优化位姿没问题。但在纹理缺失的场景里视觉观测本身就不靠谱这时候应该先优化几何先验用先验来引导位姿估计。判断场景纹理丰富程度可以用图像梯度或者特征点数量这些指标在SLAM前端本来就有。第三条经验是关于失败检测。F²SLAM在正常工作时表现很好但一旦前馈模型失效或者优化发散系统可能悄无声息地给出错误结果。我习惯在系统里加一个简单的失败检测监控几何先验误差项和视觉重投影误差项的比例如果这个比例突然变大说明两边矛盾严重系统可能出问题了。这时候可以降级到纯视觉SLAM或者触发重定位。第四条经验是关于参数调试。F²SLAM有几个关键参数深度场的参数化粒度、不确定性估计的方法、优化器的迭代次数、鲁棒核函数的阈值。这些参数没有一套通用的最优值需要根据场景调。我的建议是先在几个典型场景上做网格搜索找到大致范围然后在实际运行中根据失败检测的信号做在线微调。最后说一个我踩过的坑。一开始我以为几何先验误差项加得越多越好就把所有像素的深度都作为约束加进去。结果优化问题规模爆炸而且因为很多像素的深度先验本身就不准反而把优化带偏了。后来改成只加高置信度的深度先验低置信度的直接丢掉效果反而更好。这个教训是先验不是越多越好质量比数量重要。
