1. 视频智能的起点像素之间没有“世界”先聊一个我反复跟团队讲的观点做视频分析的第一性原理不是如何把画面分类得更准而是画面里的物体到底在三维空间里处于什么位置、以什么姿态运动。你打开任意一段监控视频、手机拍摄的生活片段或者自动驾驶车记录的行车画面本质上都是一个二维像素矩阵在时间轴上滚动。人眼去看这段视频能瞬间判断出一个人在20米外朝我走来他的速度大概是每秒1.2米旁边那辆车会在3秒后挡住他但机器看到的只是一堆颜色值在一帧一帧地变化。二维图像分析的所有困难和瓶颈几乎都源于同一个根因投影过程把三维世界的信息折叠成了二维而绝大部分算法试图在没有展开这个折叠的情况下直接做决策。1.1 从一张图片开始理解丢失的维度摄像头成像的本质是一个透视投影过程。想象你去拍一座大楼大楼底部离镜头近在画面里占据的像素多顶部离镜头远像素少。但算法拿到的只有这张图片本身它并不知道底部比顶部离镜头更近这一事实。人的大脑能通过经验、双眼视差、甚至楼房的纹理渐变自动补出深度感机器不会。举一个特别典型的例子一个人正对着镜头走过来。从二维像素的角度看他的头部区域在逐帧变大轮廓在扩张。一个纯二维检测网络会把这个过程描述成目标框的面积在增加但同样的像素变化也完全可能由镜头在拉近焦距产生。如果模型没有空间几何的概念它就无法区分物体在动和相机在动更别提判断物体的真实运动速度、方向、加速度了。这就是为什么依赖纯视觉特征的模型看起来聪明却总是聪明但不够聪明它们在公开数据集上刷分很漂亮一放到真实场景就露馅。遮挡、形变、尺度剧变、光照突变、目标交错每一个都是二维表达的天敌而这些恰好在三维空间里全都是平凡的场景。1.2 为什么二维视频理解总是聪明但不够聪明我用一个表来对比一下二维视觉和空间感知在处理常见视频任务时的差异这个表我画过很多次任务类型二维视觉的典型做法空间建模的视角瓶颈所在目标检测在单帧里回归矩形框在三维空间里定位物体中心和尺寸遮挡时框的语义不可靠多目标跟踪靠外观相似度和IoU做数据关联用三维位置和运动预测做关联目标交错时外观特征互相污染行为识别对骨架点做时序分类把动作理解为三维空间中关节轨迹的流形视角变化时同一动作像素完全不同视频生成逐帧生成像素靠光流约束先推演几何和运动再渲染出像素换视角、遮挡时生成内容扭曲轨迹预测在图像平面坐标里预测路径在真实世界坐标系里预测移动平面预测无法体现真实避障逻辑你会发现所有这些任务在二维平面上都能做但都做得不够好且瓶颈非常一致——缺少一个可以用来承载推理的三维坐标系。跟踪要预测目标下一秒在哪行为识别要理解关节在空间里的运动关系轨迹预测天然需要世界坐标。二维图像坐标只是世界坐标的一个投影你在投影上做推理等于在失真的地图上画路线。2. 三维重建不是新方向而是视频分析绕不开的底牌很多人听到三维重建四个字第一反应是测绘、文物保护、电影特效这些传统领域觉得它跟视频智能是两条平行线。这是个误会。三维重建的历史几乎和计算机视觉一样长它才是视频分析的底层基础设施只是过去受限于算力和算法精度没法被大规模用起来。近几年深度学习给重建领域带来的提升让它从实验室仪器变成了可以嵌入实时视频管线的常规组件。2.1 传统重建路线的演进从多视角几何到神经渲染三维重建的最经典思路叫多视角几何。它的数学根基是三角测量同一个空间点如果被两个不同位置的相机看到那么它在两张图像上的投影点加上相机光心可以确定一条空间射线两条射线的交点就是该点的三维位置。这个原理看起来简单但工程化之后衍生出了大量子问题怎么知道两张图上的像素是同一个点特征匹配、怎么知道相机在哪里位姿求解、误差怎么传播捆绑调整。早期最有代表性的系统是运动恢复结构SfM和实时定位与建图SLAM。SfM 擅长从一段视频或一组照片里离线恢复出稀疏的相机轨迹和场景点云经典工具如 COLMAP、OpenMVG至今仍是重建流程的标配SLAM 则在实时性上做到极致无人机、手机 AR、扫地机器人里跑的都是它的变种。它们共用同一套几何多视角约束的底子。近五年最大的变化是神经渲染介入NeRF神经辐射场用神经网络隐式建模场景的辐射场输入一组图像就能在任意新视角下渲染出照片级画面3D Gaussian Splatting 则更进一步把场景表示成几百万个三维高斯椭球在保持渲染质量的同时把速度推到实时。这两者在本质上是用可微渲染反向优化场景模型输出的不只是一堆点坐标而是可任意视角观察的连续几何与外观——这让三维重建的结果第一次真正贴近空间建模这个词。2.2 为什么视频恰好是重建的最佳输入纯几何重建在很长一段时间里有个尴尬它需要多台相机同时拍摄或者相机围绕物体缓慢移动。当年做文物扫描得架一圈相机阵列或者用结构光设备逐面扫描。但真实世界里你随手可得的绝大多数数据是单目视频。手机随手拍一段、监控固定视角录一段、行车记录仪开一段全是单目视频。单目视频虽然每一帧都是平面投影但它有一个极宝贵的资源时间。时间轴带来了连续视角变化——人在走动、相机在移动、物体在旋转这些运动产生的视差恰好为三角测量提供了约束。视频重建的本质就是用时序换视角把一帧一帧的二维投影拼回三维世界。这也是为什么近年来从视频中重建成为了研究重心只要视频质量够好、纹理够丰富单目重建的效果已经逼近多相机阵列。更关键的一点是视频不止提供静态几何还提供动态信息。一段行人走路的视频重建出来不止是一个静态的人体形状还包括他关节随时间变化的运动轨迹。这就把重建一个场景升级成了重建一个会演化的世界后面的行为分析、轨迹预测都从这里受益。2.3 重建与理解的互相成就先有空间再有语义我常用一个说法语义理解在二维像素里是猜在三维空间里是贴。什么意思二维检测网络看到一片模糊的像素区域只能根据训练数据里的统计规律猜它大概率是一个被部分遮挡的行人但如果系统已经知道这个区域的三维点云和深度它就能清楚地算出这里有一个半米宽的物体表面纹理像是布料深度离相机5米被前面的柱子遮挡了一半然后在这个几何实体上贴一个行人的标签。这个差异在遮挡场景里尤其明显。纯二维检测遇到遮挡几乎无解因为遮挡区域根本没有像素证据但空间建模可以做被遮挡部分的补全amodal perception——根据可见部分的几何规律推断被挡住的另一半大概在哪。同样预测这个人接下来会不会撞到柱子二维方法只能看到像素上的人和柱子像素越来越近三维方法则能算出两者的空间距离和相对速度决策可靠性完全不在一个量级。3. 视频技术的几个主流分支天花板都通向空间建模前面聊的是宏观背景现在落到具体分支上。我今天想做的是把这句话拆开视频理解、视频生成、AR/VR、具身智能这四条主流路线的本质瓶颈全都汇聚在空间建模这一个共同点上。3.1 视频理解遮挡、交互与长尾问题的出路视频理解包含检测、跟踪、动作识别、姿态估计、轨迹预测等一大堆子任务这些任务的共同特征是输入天然是时序的但模型往往还是一帧一帧或几帧几帧地看待图像空间关系从没有被真正建模出来。举一个自动驾驶场景的例子系统需要在十字路口预测右侧行人的意图。二维方案会估算这个行人在画面中的光流然后根据历史轨迹预测他会不会走进车道。问题是画面中的光流受相机自身运动影响极大弯道、颠簸、变道都会让光流污染严重。更合理的方案是先通过双目或多帧重建周围环境的稠密深度得到行人在世界坐标系中的真实位置和移动速度再结合静态场景几何路沿、栏杆、静止车辆做碰撞预测。一个是在屏幕上画线一个是在真实空间里算距离后者才是视频智能应该有的做法。动作识别也是同理。同一个挥手动作正面拍摄和侧面拍摄在像素层面完全不一样二维模型必须靠大量数据硬学视角不变性学完还经常在长尾视角上翻车。但如果先做人体三维姿态重建把关节坐标统一到一个以人为中心的空间坐标系里动作就变成了一段三维空间中的曲线轨迹。视角再怎么变轨迹本质不变模型的泛化能力天然提升。3.2 视频生成与编辑想要可控就必须有几何骨架视频生成在过去两年飞速发展但如果你实际做过视频编辑或可控生成一定会遇到一个尴尬模型能画出炫酷的画面却难以在空间层面做精细控制。比如编辑一段人物转身的视频希望人物头部旋转60度后肩膀也随之稍微转一点——纯像素级的生成模型无法保证这种空间一致性经常把人脸画歪、把遮挡关系画错。问题出在生成模型没有一个几何骨架作为约束。视频里的人和物应该被表达成什么理想状态下是一个带语义标签的三维对象有自己的形状、位置、姿态、运动轨迹和物理属性。要做编辑就改这个三维对象的属性然后重新渲染出新的视频帧要做生成就先推演这个三维场景里会发生什么再渲染成视频。先几何后渲染的路线正是空间建模的核心方法论。这也是为什么现在大量可控视频生成的工作都在引入深度图、法线图、姿态序列作为条件本质上都是在给纯像素生成补几何课。换个更通俗的说法二维视频生成是在画一幅会动的画画家画得再好换一个视角也得重画而且常常画错结构三维视频生成是在搭一个会动的舞台舞台上的演员、道具都有明确位置和运动规则摄像机可以自由摆放每一次取景都天然一致。后者的上限显然是视频智能的天花板所在。3.3 AR/VR与具身智能终局本身就是空间感知如果说视频理解和视频生成是间接受益于空间建模那 AR/VR 和具身智能就是直接以空间感知为生命线的领域。手机 AR 里放一个虚拟家具要看起来真实必须做到两件事一是用相机实时定位自己在房间里的位姿二是理解房间的几何结构地面在哪里、墙在哪里、桌面高度多少让虚拟物体能够稳定地贴在真实表面上并且被真实物体自然地遮挡。这两件事就是 SLAM 和稠密重建的活。你把 App 里那个小箭头、小家具当成空间建模的消费者整个 AR 体验的本质就是在一个实时更新的三维地图上渲染虚拟内容。具身智能机器人、机械臂、无人机更是如此。一个机器人要想抓取桌面上的杯子需要知道杯子的三维位置、形状、朝向以及周围障碍物的空间分布要想走一条不撞墙的路需要把环境预建模成障碍物地图。视频在这里只是传感器数据流的一部分智能决策的载体是不断更新的空间场景模型。说句实话做机器人项目的朋友应该都有这个体会画面识别做得再好没有空间模型撑着机械臂的每一次抓取都是一场豪赌。4. 一个实战视角从一段单目视频到可交互三维场景理论说了一大堆接下来放一点硬货。我拿一个特别典型的实战流程讲输入一段手机拍摄的单目视频输出一个可以自由旋转视角、可以量测尺寸的三维场景模型。这套流程不需要专用硬件普通笔记本就能跑通但它完整体现了视频 → 几何 → 模型 → 应用的完整链路。4.1 完整流程拆解从帧到点云再到可渲染模型整个流程我分成四步每一步都有明确的输入输出和工具选型。以静态场景重建为例如果场景里包含动态物体可以在重建前先做分割和剔除或者用动态重建方案。第一步帧采样和特征提取。视频按一定帧率抽帧比如每2帧取1帧然后用特征点算法传统如SIFT深度学习如LightGlue、SuperPoint提取每帧的关键点和描述子。特征点的作用是作为帧与帧之间同一个空间点的锚。这一步的成败直接决定整个重建的质量如果画面纹理太少白墙、天空、运动模糊太大、或者帧率抽得太稀特征匹配数量就会不足后面的位姿求解会直接失败。第二步增量式SfM求相机位姿。把提取好的特征做跨帧匹配然后用两视图几何求基础矩阵/本质矩阵估计出相机的相对位姿再通过捆绑调整Bundle Adjustment逐步把所有帧的相机参数联合优化。这一步用 COLMAP 最省事它已经把所有细节封装好了。跑完之后你会拿到每帧的相机外参旋转矩阵和平移向量和一个稀疏点云这个稀疏点云已经能大致看出场景轮廓了。第三步稠密重建。稀疏点云只有几千个点远不足以描述场景。需要用多视图立体匹配MVS把每个像素在几何约束下投影到三维空间生成稠密点云通常有几十万到几百万个点。COLMAP 也内置了稠密重建模块或者可以用单目深度估计模型先给每帧预测深度图再按相机位姿做深度图融合——后者对弱纹理区域更鲁棒是近年工程上更常见的做法。第四步将稠密点云转化为可直接交互的渲染模型。如果你只需要量测和查看稠密点云配合 Open3D 做泊松表面重建就够了如果你想要照片级的自由视角浏览把相机位姿和抽帧图像扔进 nerfstudio、gsplat 这类框架训练一个 3D Gaussian Splatting 或者 NeRF 模型几分钟到几十分钟后就能在浏览器里实时拖拽查看场景。下面这张表把各阶段的主流工具整理出来方便直接选用流程阶段推荐工具/方案关键输出常见坑点特征提取与匹配COLMAP内置 / LightGlue匹配关系对弱纹理、运动模糊导致匹配数不足相机位姿估计COLMAP / OpenMVG每帧外参稀疏点云相机纯旋转时基线不足重建退化稠密重建COLMAP MVS / 单目深度融合稠密点云曝光不一致导致点云花斑伪影表面模型化Open3D 泊松重建网格模型参数选择不当导致表面过度平滑神经渲染nerfstudio / gsplat可交互的新视角渲染训练数据过少时远景区域虚化严重4.2 实操踩坑笔记这些问题我几乎每次都遇到做重建最经典的一个坑是纯旋转运动。很多人拍视频习惯站在原地转动手机扫一圈这在人看来很自然对重建却是灾难——纯旋转时相机没有平移三角测量的基线为零空间点的深度完全无法约束点云会飞得到处都是。正确做法是边移动边拍摄让相机始终带有平移分量哪怕是缓慢的平移也行。第二个坑是曝光差异和颜色不一致。室内灯光下还好户外场景阳光和阴影交替时不同帧的同一点亮度差异极大会导致匹配困难和重建伪影。工程上的缓解手段是拍摄时尽量避免大幅明暗切换或者重建前对帧做全局色调归一化把各帧的亮度直方图对齐再送入流程。第三个坑是尺度漂移。单目重建没有物理尺度信息重建出来的场景形状对但尺寸可能是任意倍数。如果有已知尺寸的参照物比如一块1米长的瓷砖、一扇标准门框可以用它做一次后校准把整个场景缩放到真实度量制。没有参照物的话只能用作相对几何分析直接量测距离会不准确。还有个更隐蔽的坑是景深大场景的远景崩坏。当场景里同时包含近处的桌子和远处的高楼远处的特征匹配质量通常不如近处导致重建出来的远处几何扭曲。我常用的技巧是分段拍摄、分段重建最后用共享的特征点把各段对齐拼合虽然繁琐但效果扎实。5. 从分析走向生成空间建模重新定义视频智能做完前面那些具体任务我们再往高处看一眼当视频智能的各个环节都长着三维几何的骨架整个系统的运作方式会发生根本性的变化——视频不再是被理解的像素流而是一扇通往空间模型的观察窗。这个转变就是我认为终局二字的深意所在。5.1 时空统一表达视频是时间延展的空间传统视频理解的范式是把视频切成帧逐帧分析再用时序模块把帧级结果串起来。这种先帧后时序的架构本质上把空间和时间割裂了。空间建模则完全不同视频里的每一帧都是拍摄者在某个时空位置对场景的一次采样所有帧合在一起是在时间轴上不断更新的空间模型。以一段行人穿越马路的视频为例。传统方案是逐帧检测行人和车辆然后预测下一帧他们会在哪里。空间建模方案则是先重建出整条街道的静态几何路面、护栏、建筑再检测并跟踪动态对象把它们的轨迹映射到世界坐标系然后在真实空间里计算未来几秒的交互可能。前者在看视频后者在感知世界。当你能持续维护这样一个随时间演化的空间模型视频就变成了世界模型的眼理解、预测、规划都可以在同一个几何坐标系里完成。这也是近两年世界模型概念大火的原因。世界模型的核心不是预测下一帧像素而是在隐空间或者显式几何空间里预测下一步状态。预测状态需要的表达是什么三维的位置、形状、速度、交互关系。空间建模提供了这套表达而像素则退居为渲染结果而非推理对象。5.2 层级化的视频智能架构从像素到推理的四层结构我把这十多年做视觉系统的经验总结成一个四层架构它可以解释为什么空间建模应该成为视频智能的中枢第一层是传感器层相机提供像素流、IMU提供加速度、雷达/深度相机提供直接深度。这一层解决采集什么的问题。第二层是几何层把传感器数据融合成持续更新的三维场景模型包括静态地图、动态物体轨迹、相机自身位姿。这一层解决世界长什么样的问题。第三层是语义层在几何模型上做检测识别、语义分割、姿态估计把几何实体绑上标签和属性。这一层解决世界里有什么的问题。第四层是推理层在语义几何的基础上做轨迹预测、行为决策、规划控制。这一层解决接下来会发生什么、我该怎么做的问题。传统视频智能的典型做法是像素直接输入检测网络输出语义再在语义上做时序推理几何层被完全跳过了。短期看任务能做长期看所有需要空间推理的场景全部受限。真正让视频技术走向成熟的做法是把几何层作为承上启下的核心语义层必须建立在几何之上。这套架构在自动驾驶领域已经被验证得很充分——几乎每一家做高阶辅助驾驶的团队最终都会发现感知必须先建图再理解这个路径。5.3 什么时候算终局一个简单的判定标准很多人会问说终局到底什么时候才算到我个人的判断标准只有一个——当我们面对一个视频任务时系统必须能够回答三个问题这个场景里有什么、它们正在如何运动、如果我做出某个干预移动、抓取、转弯、删除某个物体场景会发生什么变化。能完整回答这三个问题意味着系统已经不再是把视频当作待分类的图像序列而是把它当作观察一个动态三维世界的时间窗口。从技术趋势看这个判定并非遥不可及实时稠密重建已经能在手机上运行3D Gaussian Splatting 把高质量重建的耗时从小时级降到了分钟级大语言模型和视觉语言模型已经开始直接操作三维特征和空间查询机器人公司在用大模型做任务规划时也越来越依赖显式的空间场景图。所有线索都指向同一个方向——让视频技术从读懂画面进化到理解空间。6. 我的个人体会视频智能的下一步拼的是几何直觉最后说点个人的实在话。我早年做过一个项目本质是一个看视频答题的演示系统摄像头对着桌面系统识别桌面上的物体种类、数量、位置然后回答某个物体在不在桌上这类问题。当时我把所有精力都花在爆调检测模型上精准度和召回率做得相当好单帧识别又快又准结果一部署到客户那边就废掉了一半——因为客户的摄像头是斜着放的、桌面是不平整的、桌角还老是挡住物体的一半。后来我痛定思痛给系统加了一个前置的小型SLAM模块先让相机在启动时快速建出桌面的平面模型和相机位姿然后把检测结果映射到桌面的三维坐标系里物体在不在桌上这个问题立刻变得简单只需要判断物体三维位置是否落在桌面平面范围内。之前那些物体被杯子挡住物体半截在画面外物体在视频里角度奇怪的难题全部消解了。这段经历让我彻底相信视频分析的下一个增量不在更大的模型而在更真实的空间表达。所以如果你正在做视频相关的项目我给你的第一个建议是不要急着上更大的数据集、更深的网络先看看你的任务里有没有空间推理的成分。如果有——哪怕只是判断物体离相机近还是远预测目标会不会被遮挡这种听起来很简单的问题——尽早引入深度估计、SLAM、三维姿态估计中的任何一个模块都可能让你的系统产生质的飞跃。很多问题不是模型能力不够而是你根本没有给它空间这个维度。第二个建议是搭建空间感知管线一定从小处入手。不要一上来就追求全场景实时稠密重建那种工程复杂度足够拖垮一个小团队。先解决最痛的那一个点要么只在ROI区域做深度估计要么只在关键帧做重建、在帧间做插值要么借用现成的SLAM系统做定位而自己只做几何后处理。空间建模这碗饭要一口一口吃但方向对了慢一点没关系。视频智能的路还很长但方向已经越来越清晰。我始终觉得智能不是模型学会了某种端到端的黑盒映射而是系统对世界有了一个可以推演的内部模型。在视频场景里这个内部模型最好的载体就是一个持续更新的、有语义的、随时间演化的三维空间。谁先把这个空间搭出来、用好它谁就真正摸到了视频智能的门把手。
