过去这半年但凡在做三维重建、自主导航、数字人或者沉浸式内容相关工作的同行基本绕不开一个词高斯泼溅。我最早注意到它是因为一个很具体的需求——要把一个生产车间的几十张现场照片重建出来生成可自由切换视角的展示效果并且要在网页端顺滑交互。这件事放在几年前基本只能离线烘焙网格模型或者老老实实等神经渲染慢慢跑上一整晚。直到团队里有人把高斯泼溅跑通看着那个结构复杂的场景在普通显卡上以实时帧率转动起来的时候我确实被震了一下这个方向可能要换一套玩法了。但真正做了一段时间项目之后我的判断反而冷静了高斯泼溅的输出确实像照片甚至在某些角度比照片还干净但要说它完成了“复刻现实”还差着一大截。我这篇不打算复述论文公式就聊聊实际用下来它到底强在哪、弱在哪、坑在哪以及为什么说“像照片还不够”。1. 从“几小时渲染”到“实时出图”高斯泼溅带来的工作流变革先说清楚这项技术解决的基本问题。给定一个物体或场景的多视角照片我们希望合成出任意视角的新图像这就是“新视角合成”。过去几年的主流方案是神经辐射场NeRF它的思路是用一个多层感知器网络去隐式编码整个场景的密度和颜色渲染时对每个像素沿光线采样大量点逐个做网络推理再积分出颜色。NeRF的效果确实惊艳但代价也摆在台面上训练动辄几个小时渲染一帧也要数百毫秒到数秒很难直接用在实时交互场景里。高斯泼溅全称是 3D Gaussian Splatting它从思路上换了条路不再用隐式网络而是用一个显式的“三维高斯原语”集合来表示场景。通俗点说就是把场景拆成成千上万个微小的、带颜色的三维椭圆碎片每个碎片有自己的位置、形状、朝向、透明度和颜色。渲染时把这些椭圆投影到图像平面上按从近到远的顺序叠加颜色就能得到一张完整的图。这种显式表示的好处非常直接训练过程中所有参数都是可微的可以用梯度下降直接优化渲染时不需要做昂贵的沿光线采样与网络推理整个过程变成了类似传统光栅化的操作GPU 可以高度并行。实际跑起来是什么概念呢拿一个我们做过的室内小场景举例大约三百张照片输入用一张普通显卡训练三十分钟左右就能得到一版质量不错的模型。之后交互式渲染一帧 1080p 图像的耗时通常在几毫秒到十几毫秒视场景复杂度而定基本能跑到实时帧率。对比一下 NeRF 那条路这个工作流的变化是巨大的。同一个场景NeRF 可能要训练五六个小时渲染一帧几百毫秒很多项目只能离线出图而高斯泼溅直接把“重建-预览-调整”的循环压缩到了小时级甚至分钟级这对我这样的工程人员来说意味着可以在一天之内迭代多版模型而不是把时间花在等训练上。也正因如此它迅速在电商商品建模、城市三维资产、影视预演、机器人仿真数据生成等方向铺开了。不过这种“快”是有代价的。显式原语虽然灵活但也带来了很多隐性问题。我后面讲的“几何不实”“光照绑定”这些坑很多恰恰是它没有像 NeRF 那样通过连续场表示天然的紧致约束所带来的。2. “像照片”到底“像”在哪原语结构与渲染路径拆解要理解高斯泼溅为什么画面那么“锐”得先看看它的渲染路径里到底藏着什么。一个三维高斯原语本质上就是一个在空间中有位置和协方差结构的高斯分布。它的中心点定义了它在场景中的位置协方差矩阵决定了这个椭圆的拉伸方向、大小和旋转姿态。除了几何属性每个原语还带有一组球谐系数用来描述从不同方向看过去时的颜色变化以及一个不透明度值。整个场景就是由这些原语组成的团块集合。训练过程中算法不断调整这些原语的位置、形状、颜色和不透明度目标是让渲染出的图像和真实输入照片之间的误差越来越小。渲染时算法会把每个三维高斯投影到图像平面上得到一个二维高斯足迹然后按照每个像素被哪些高斯覆盖、各自的不透明度与深度做逐像素的 alpha 混合。这里有三个关键设计让它在“像照片”这件事上特别能打原语数量不限且有自动增密机制。刚开始用稀疏点云初始化训练中遇到细节不足的区域会自动分裂或克隆原语遇到冗余区域会自动删除相当于场景密度随细节自适应调整。球谐系数让颜色随视角变化。这比普通纹理贴图灵活得多可以表达镜面高光、天光反射这类视角相关的效果。光栅化路径完全针对 GPU 优化。没有逐光线的长周期采样所有原语排序和混合都是高度并行的几何计算量比 NeRF 的体渲染少几个数量级。我拿一个具体的商品建模案例来说明某电商平台想给一款运动鞋做三维展示。鞋面的皮革反光、网面织物纹理、鞋底的颗粒凹凸这些对 NeRF 来说非常头疼的高频细节高斯泼溅经过足够多视角训练后能把这些细节一帧一帧地画出来。观众旋转视角时高光的位置和形状会跟着变化观感上确实“像一张照片在转”。我还做过一次直观对比同一组数据分别用 NeRF 系和 Gaussian Splatting 跑在 PSNR、SSIM 这类图像质量指标上高斯泼溅往往略胜一筹尤其在纹理丰富区域优势更明显。更重要的是训练速度差了一到两个数量级这在工程上是非常有吸引力的。不过“像照片”只是渲染结果层面的胜利。接下来我要泼冷水了。3. 几何不够“实”看得见却摸不着的“表面”这是我在实际项目中最常遇到的问题高斯泼溅产生的画面很好但如果你把重建出来的“几何”单独拎出来看会发现它根本不是你在屏幕上看到的那个样子。问题出在哪三维高斯原语是体积式的软团块不是一个定义清晰的硬表面。每个高斯都有一定的不透明度衰减很多原语在训练时会漂在有实际表面的地方前后形成一层半透明的“糊”。这些漂浮物在渲染中会被贡献到最终颜色里甚至能提升 PSNR因为它们恰好补齐了某个角度下的光晕和边缘过渡。但它们不是真实的几何结构。举个例子我们重建一个白色陶瓷马克杯。从某个角度旋转浏览渲染图像很干净杯子表面的高光、把手边缘的弧度都很自然。可一旦把相机切到杯口内侧向下看或者放大杯沿的剖面就会发现边缘像被咬过一样参差不齐有些地方出现了半透明的“长须”。这就是因为高斯原语为了拟合某个像素的颜色把“质量”堆到了附近空间里但没有任何机制约束它必须落在真实表面上。还有一次我们尝试把重建结果导成网格模型准备放到仿真软件里做物理碰撞。结果导出的点云看起来还行但一上 Poisson 重建或 Delaunay 网格化就出现大量空洞、表面封闭不严、甚至内侧外侧颠倒的情况。这个问题直接导致我们放弃了用高斯泼溅作为唯一几何来源的路线转而把它当作“渲染层”几何还得靠深度相机或者激光点云另算。深层次原因其实很清晰高斯泼溅的优化目标只有“像素颜色接近”它不在乎三维点是落在表面还是悬空也不要求表面满足连续性或法向一致性。对颜色负责不等于对几何负责。渲染图里那个杯子完美无瑕但三维结构里全是“电子云”。如果你想拿它做测绘、做物理仿真、做需要精确尺寸的任务就要警惕了可视化可用几何不可信。如果必须用它来重建几何至少需要附加深度正则、表面约束或法线估计单纯用颜色监督出来的原语集合几何精度大概率会让你失望。4. 光照绑定与材质缺失复刻的是“光效”不是光的规律如果说几何问题还算隐蔽那光照问题几乎是一上手就会被暴击的。高斯泼溅里的颜色来源是球谐函数它本质上是一种低频基函数能很好地表达平滑的漫反射变化和柔和的镜面高光但对于强方向光的硬阴影、剧烈的镜面反射、透明物体背后的折射、焦散这类现象它的表达能力非常有限。更关键的是整个优化过程没有建模光源也没有材质分解。每个原语记录的颜色是“从某个方向看过去入射光经表面反射后到达相机的总量”等于把场景的光照结果全部烘焙进了原语里。它的画面是“某一时刻、某一光照下的照片合集”而不是“被真实材质与真实光源驱动的世界”。我做过一个印象很深的实验重建了一个夜景霓虹灯招牌的场景。原始照片里灯箱发出的光会把周围墙壁染成五颜六色地面有强烈的反射光晕。重建结果确实漂亮静态看很像原场景。但当我试图把另一组白天环境的图片“合成”进这个场景想让模型光照统一的时候立刻崩了——霓虹灯箱本身没有光强衰减关系墙壁不响应环境光切换阴影位置完全不变一切都被锁死在了训练数据的光照条件下。这个限制在内容生产流程里是灾难性的。如果美术想换一辆车的颜色高斯泼溅模型不会自动重渲想把场景里的灯关掉一盏模型里根本没有“灯”这个实体只有一片片被灯光照射过的染色高斯想放到引擎里跟动态角色互动得到的光照结果也会和真实物理严重脱节。我们后来做虚拟拍摄项目时为了避免这个问题只能在训练前打光阶段就把最终要用的光照方案固定下来一次性烘焙到位后续几乎不调整。这里可以给一个分界参考高斯泼溅适合什么适合“固定光照环境下的沉浸式展示”例如数字展馆、文物展示、房产漫游、工业设备的运维看板。不适合什么不适合“光照可变的交互场景、需要材质编辑的影视预演、需要物理仿真的数字孪生”。确认了自己项目属于前者再投入能少走很多弯路。如果你确实想在可变光照下用一个常见折中是先估一个粗略的几何再用传统方法烘焙光照到高斯原语上比如在训练前把输入图片做光照归一化训练后用手动灯光环境重算高光。这些方案都有效但都不完美本质原因仍然在于模型没有真正理解“材质-光线-相机”三者之间的物理关系。5. 数据、显存与训练时长实时渲染背面的成本账很多人被“实时渲染”吸引却忽略了背后的成本。做一个像样的场景需要的数据、算力和显存并不低。首先是采集要求。高斯泼溅虽然不要求像 NeRF 那样极其严苛的相机位姿但对图像重叠度和位姿质量的依赖还是很明显的。我们在几个现场扫过之后总结出相邻照片的重叠率低于六成重建质量会断崖式下跌相机标定不准整个场景会出现错位重影哪怕后续训到很高步数也没法根治。特征稀疏的场景也容易翻车比如大面积白墙、纯色路面、重复纹理的地板特征匹配本来就难重建出来不是缺块就是漂浮物。其次是显存和训练时长。一个中等规模的室内场景训练阶段往往需要 24GB 级别的显存否则换不下完整的梯度模型存储动辄几个 GB 到十几个 GB放到手机端做实时展示目前还非常吃力。训练步数通常在两万步左右起步数据量大或场景复杂四万步也不奇怪。训练时间倒还好逐步优化的迭代模式能实时看到结果通常几十分钟到一个小时能拿到像样版本但这意味着每次改动数据和参数都要重新训练。再就是动态场景。标准高斯泼溅假设场景静止只要画面里出现行人、车辆或者飘动的树影重建结果里就会留下大量“幽灵轨迹”——那些本应不存在的半透明拉丝。为了处理动态内容现在衍生出的 4D 高斯泼溅、可变形高斯等方案训练成本进一步上升对多相机同步的硬件要求也更高。做动态人体重建时输入视频稍长一点训练时间就会从分钟级变成小时级。还有一个经常被忽略的隐性成本后续编辑。由于场景由成百上千万个原语构成彼此之间没有任何语义关联想实现“选中这辆车并删除”这种很基本的操作都得额外挂接分割网络把二维语义反向投影到三维原语上。这些附加步骤其实是在给最初“只重构颜色”的选择买单实际项目的成本和交期往往就耗在这些看不到的地基活上。6. 实操栏杆我在几个项目里踩过的具体坑这部分想记录一些真正做过才能体会到的细节权当排雷。6.1 初始化点云太差整个模型就瘸了高斯泼溅训练前需要一个稀疏点云来初始化原语位置。这个点云通常来自 SfM 算法就是先做特征匹配再做位姿恢复。如果照片质量参差或者场景特征不足点云稀疏到一定程度训练出来的模型必然缺肉。我们遇到过一种情况白墙为主的会议室SfM 只给了几百个点训练出来的墙面像一层薄雾窗户边缘全是飞絮。后来加了纹理更强的辅助标记物、调整拍摄矩阵点云数量上去了重建质量才救回来。初筛时我建议先看 SfM 点云稀疏程度别急着开训练。6.2 显存有限时的降载策略大场景训练必然面临显存爆炸。直接往下缩放图像分辨率是最粗暴但也最有效的降载手段。我们实际用的策略是先以 1080p 跑一个低迭代版本看整体结构确认镜头位姿没问题再回到 2K 精训如果仍然 OOM就把场景切块分区域训练后再合并。分块训练有个额外麻烦块与块之间的接缝处高斯原语会互相渗透合并后容易出颜色断层或密度叠加。我的经验是分块时预留一部分重叠区域最后统一做一个几十步的小规模全局微调能让接缝柔和不少。6.3 指标很漂亮观感却翻车做算法评估时最容易被 PSNR 骗。有一个实验模型在测试视角上的 PSNR 达到了 32dB看着数据相当好但转到没训练过的侧视角地面上出现了大片黑斑和半透明的“拉丝”。因为这些伪影只在极少数视角里被颜色监督惩罚对平均指标影响很小放在大量视点集里就藏在指标后面。所以从第二、三个项目开始我都会额外做一轮“随机视角抽查”不看指标只看连续旋转的画面稳定性一旦发现不合理的漂浮物和闪烁直接判定这版不合格。6.4 数据采集时最容易被忽略的动态因素很多团队拍照片时只注意覆盖角度忽略场景里的动态因素。风扇还在转、窗帘被风吹得微微飘动、灯管偶尔闪烁这些看似无伤大雅的细节重建后都会变成鬼影。特别是户外场景树叶晃动、云影流动、远处的人车移动几乎无法避免。我的做法是采集时尽量挑静止时段一组照片争取在十分钟内拍完减少光照和时间变化如果必须用视频抽帧宁可抽帧密度高一点也不要混入不同时刻的光影差异太大的帧。7. 往“复刻现实”再走一步几何、物理与语义的补全聊了这么多局限并不是要否定高斯泼溅。相反它是我近几年最看好的三维重建方向之一因为显式原语天然为工程接入提供了抓手——你不需要反向传播进一个黑盒网络而是可以遍历每一个原语、改它的属性、删它、加它这为很多下游任务打开了可能性。但要真正“复刻现实”我认为下一步要在三个维度上补全。第一是几何补全。给训练过程增加表面正则、法向一致、深度平滑约束让原语不是随意堆在空间里而是更倾向于贴合真实表面。现在已经有研究在做“网格高斯”的混合表示用网格兜住整体几何用高斯填充高频细节工程上很值得关注。这在室内扫描、工业对象这类需求里可能比纯高斯烟火效果更实用。第二是物理补全。如果能在优化原语的同时估计出场景的光源分布和粗略法线并拆解出基础色与反射属性就可以在实时渲染阶段用可微光栅化重新打光。这条路走通的话编辑能力和交互自由度会上一个大台阶也是从“照片”到“世界”最关键的一步。第三是语义补全。给每个原语或者原语簇挂上语义标签让场景不只是“好看的像素集合”而是“可理解的三维空间”。这样用户才能自然地说出“把地上的落叶都去掉”“把桌子的材质换成木头”这样的操作。这需要二到三维的语义关联也需要对大场景的分割做工程落地。站在一个工程实践者的角度看一个三维重建技术能走到什么程度衡量标准不只是画面多漂亮更是它对物理世界几何、材质和语义的忠实程度。高斯泼溅把画面这道门槛迈过去了剩下的硬骨头不在渲染器里而在那些“看不见”的维度上。所以我说它“像照片还不够”——照片本身就是光影在二维平面的定格而现实世界里总有正对光源的另一面、物体背后的阴影、以及材质随光线的真实变化。这些只有当我们不再满足于“像”开始较真于“是”的时候才可能一步步逼近。
