1. 3D生成为什么一直卡在可扩展这道坎上先说个圈内人都有的体感2D图像生成这几年几乎是坐火箭文本出图、图生图、可控编辑早就是很成熟的生产力工具了。但3D资产生成一直慢半拍市面上能用的方案要么是单个物体找角度绕圈拍要么是粗糙得没法进生产管线。差在哪不是没人试过把扩散模型直接搬到3D而是数据、算力、生成质量这三件事在3D维度上互相打架一直没找到平衡点。这篇《3D-Diffusion: Scalable 3D Asset Generation with Diffusion Models》要解决的恰恰就是这个平衡问题。论文的思路概括起来一句话不直接在3D空间里做扩散而是用扩散模型先稳定生成多视角图像再通过可微渲染重建出3D资产。听起来似乎不新鲜——多视角生成加重建这条路线之前有不少人尝试过。但这篇论文的关键词是Scalable它敢把一个完整的3D资产生成管线端到端地跑起来并且随着计算量、数据量、模型参数的增加生成质量稳定上升。这一点才是它跟早期零散尝试拉开差距的地方。这个项目适合谁读如果你在搞AIGC、三维视觉、游戏资产生成或者数字人相关的工作这篇文章值得细看。如果你只是对扩散模型感兴趣想了解2D扩散模型怎么被用到3D任务上也可以读我尽量把原理讲得通俗一点不堆公式。在往下拆之前先把这个领域的路线脉络理一理。3D生成大概走过这几条路原生3D生成路线直接在点云、体素、隐式场里做生成代表性工作包括3D GAN、扩散模型直接作用在NeRF权重上等。问题是3D数据匮乏、网络结构受限、训练开销大离实用很远。分数蒸馏路线用预训练2D扩散模型当老师蒸馏出单个3D表示DreamFusion、Score Jacobian Chaining这一派。效果灵活但每个物体都要单独优化很久而且经常出现多面脸、颜色漂移这些经典伪影。多视图生成重建路线先让扩散模型从多个预设视角生成一致图像再把这些图像喂给重建模块。早期受限于跨视角一致性问题生成的图像互相矛盾重建出来四处漏风。3D-Diffusion走的是第三条路的升级版把多视角一致性这个最大的痛点用扩散模型自身的能力消化掉所以它能做到端到端训练、单次前向推理出结果而不是每个物体优化十分钟。2. 前向过程重构把3D扩散变成带几何的视频生成这部分的标题听起来有点绕但其实是全篇最核心的设计。要理解它得先回到扩散模型的本体扩散模型是一个从噪声到数据的去噪过程前向过程不断给数据加噪学习阶段让网络学会逆向去噪。问题来了——你给一张2D图片加噪很容易但给一个3D场景加噪噪声定义在什么空间体素格子里NeRF权重上这些空间的分布极其复杂网络根本学不动。这篇论文的做法很取巧**把前向过程定义在多视角动态图像序列上而不是直接定义在3D表示上。**具体来说训练时它构建一个虚拟的动态传感束——想象你在一组预设的相机视角之间连续移动每个时刻看到一帧画面相邻帧之间因为有共同的3D几何所以天然具有跨视角对应关系。扩散模型的噪声就加在这些图像序列上网络要学习的是在保持3D几何一致的条件下把带噪的多视图图像恢复成干净的多视图图像。这样一来3D生成问题就被重新表述成了一个受几何约束的视频生成问题。视频生成扩散模型已经有大量成熟先验正好可以迁移过来。这么好的事情当然有条件相机轨迹、视角数量、帧间关联都写进了训练前向过程里模型生成时必须沿用同样的射线噪声模式推理时才能保持一致。2.1 关键设计一退化算子与噪声渲染的等价性为了让网络学到几何一致的跨视角去噪论文引入了一个叫退化算子的东西。这个概念我需要解释一下因为它是理解整篇论文的钥匙。扩散模型的前向过程本质是一个逐渐摧毁数据结构的退化过程。普通2D扩散的退化算子是加高斯噪声而这篇论文的退化算子在加噪之外还叠加了一个视角相关的动态模糊——相当于每个像素点不仅被噪声污染还沿极线方向被涂抹了。为什么要这么做因为3D信息的核心就是视差。如果你只是单纯加噪网络恢复时没有线索判断这个像素对应空间里哪个点但当你沿着极线方向模糊像素的对应关系就被编码进去了模型学去噪的时候等于同时在学从模糊图像中恢复深度和几何。这个设计和渲染即退化的想法是同构的前向过程等价于用一个低质量的渲染器把3D内容投到2D平面上扩散模型学的就是那个高质量渲染器。所以论文里有个我很喜欢的类比模型的去噪过程本质上是在替代渲染器。2.2 关键设计二为什么选择视频生成作为底座既然跨视角生成这么重要为什么不去改3D扩散模型的结构反而去蹭视频生成模型答案就俩字先验。视频扩散模型处理的是时空连续帧已经有成熟的时间注意力机制知道怎么保持相邻帧之间的运动平滑。而3D多视角图像序列相邻帧之间不是运动而是视点变换——但数学结构是类似的都有强几何约束。直接用预训练的视频扩散模型作为backbone可以让模型继承一致性保持的能力然后通过微调把时间轴重新解释为视角轴。论文里做了一个很有意思的处理通过动态渲染把固定视角集合转成连续视角轨迹让时间和视角解耦。这样模型既能像视频模型一样保持序列连续性又能根据相机位姿拉升出自由视角的几何关系。推理的时候不需要重新训练只要给一个视角序列模型自己就能生成出一组一致的图像。2.3 一个容易误解的细节多视角不是绕一圈拍照片很多人看到多视图生成第一反应是这不就是让模型从不同角度画同一个物体嘛。但实际上如果仅仅让模型独立地从各个角度画同一个物体跨视角一致性依然没法保证——左视图觉得鼻子是圆的右视图觉得鼻子是尖的重建出来的就是一坨变形的脸。3D-Diffusion的聪明之处在于它把射线级别的噪声也建模进了注意力机制。也就是说模型在生成第i帧画面时不仅看第i帧的噪声图还能通过极线几何关系看到其他帧同一空间点的噪声状态。这个跨视角注意力机制让模型在生成时天然地知道自己在画同一个三维点而不是在画两张独立的照片。这是它跟独立多视角生成重建路线的本质区别也是可扩展性真正的底层支撑。3. 训练策略与可扩展配方数据、算力、分辨率如何一起往上抬理解了这个设计之后第二个问题是这篇论文凭什么说自己是Scalable的一个管线如果不考虑数据来源、不考虑训练成本、不考虑模型规模那谈不上可扩展。3D-Diffusion在工程层面做了好几件实在事。3.1 训练数据从哪里来高质量多视图数据合成管线3D数据稀缺是行业老问题。论文花了很大篇幅描述他们的数据流水线大致三个环节多视图渲染使用一个大规模高质量3D资产生成器从多个随机采样的相机角度渲染出图像序列。相机采样不是纯随机的而是均匀分布在物体周围的球面上并且保证相邻视角有充足重叠。质量过滤渲染出来的图像需要清洗。有些物体几何有洞、表面纹理缺失、光照不一致这些都会污染训练数据。论文训练了一个质量评估网络对这些图像打分剔除低分样本。分辨率提升为了让最终生成资产能到2K级别论文还把渲染图像超分到高分辨率。这一步跟模型训练分开做避免在训练时处理过大的张量节省显存。这套数据流水线看起来朴素但每步都是必要的。特别是质量过滤我见过太多论文忽略这一步导致训练崩坏的案例——模型学了一堆错误的几何先验生成的物体表面总带奇怪的褶皱。数据干净模型才能专心学几何一致性。3.2 骨干网络选型用成熟的2D扩散底模而不是重造轮子模型结构方面论文选择了预训练的视频扩散模型作为骨干而不是从头训练一个全新的3D扩散网络。具体做法是把原来的时间注意力层扩展成空间时间视角注意力的混合结构并在训练时保持大部分参数冻结只训练新加进来的视角注意力层。这个决定非常务实预训练模型已经掌握了高质量纹理生成的能力这部分能力可以直接迁移新增的视角注意力层是唯一需要从零学的能力参数量少训练稳定冻结大部分骨干参数意味着可以用更小batch size跑对显存要求大幅降低。如果你复现过类似项目就会知道少训练一个全量模型省下的算力可能是几倍。这个冻结扩展的策略让很多预算有限的实验室也能跑通类似管线。3.3 单阶段重建从多视图直接到可渲染资产多视图生成本身并不是终点最终要给到用户的是一个可以放在游戏引擎或渲染器里的3D资产。论文采用的方法是单阶段可微重建。生成的多视图图像直接喂给一个可微渲染器优化一个隐式3D表示类似NeRF并从中提取网格。整个过程不需要额外的后处理优化单次前向即可拿到最终结果。这跟分数蒸馏方法差异很大。分数蒸馏是需要per-object优化的每生成一个对象都要跑几十分钟甚至更久的梯度下降而3D-Diffusion是单次前向生成一个物体只要几秒钟。这个区别在产品落地层面是决定性的——一个只能离线生成素材一个能放进实时交互工具里随取随用。我实测过类似管线重建阶段最怕的是多视图生成时微小的不一致在几何重建时被放大成面片撕裂或体积膨胀。论文能端到端训练意味着多视图生成和重建这两个环节是联合优化的生成器会自动避免那些重建模块处理不了的跨视角矛盾。这是单阶段设计除了速度之外在质量上的本质优势。4. 多视图注意力与噪声调度的实现细节从论文到可复现代码理论部分讲完进入实操层面。很多读者拿到论文最头疼的是我理解了整体架构但真正动手去看代码时不知道哪些模块是关键哪些是边角料。我基于论文描述和同类开源项目的实践帮大家梳理几个核心实现要点。4.1 跨视图注意力到底怎么加多视图一致性的核心是跨视图注意力具体在代码层面是这么做的在每一个Transformer block里除了原来的空间自注意力每张图内部和时间注意力同视角不同帧之间新增一个跨视角注意力。每个视角的token会去attend其他所有视角在同一位置附近的token。这里的同一位置附近是关键。如果不加任何几何先验让模型自己去匹配不同视角的token那计算量爆炸不说匹配还容易出错。论文的做法是先在相机参数上做投影把3D空间中的点映射到不同视角的2D坐标上然后告诉注意力机制这些token对应空间中的同一点你们应该彼此关注。代码里通常用一个极线采样加局部窗口注意力的方式实现既控制了计算量又保证了几何语义对齐。4.2 噪声调度的选择分块去噪避免长序列崩溃生成多视图序列和生成视频还有一个共享的坑序列太长时误差会累积越到后面越崩。特别是视角很多、分辨率又拉到2K的情况下一次性生成整段序列对显存和模型容量都是灾难。论文用了分块去噪的策略——在推理时把视角序列切成多个有重叠的块每个块单独去噪重叠区域的预测结果做融合。这样显存峰值可控模型也不需要一次处理过长的序列。代价是相邻块边缘可能出现轻微不一致论文用重叠区的加权平均做了平滑。工程上这是一种性价比很高的妥协。我建议复现时先跑一个较小规模的版本8个视角、512分辨率把注意力机制和前向去噪流程跑通然后再往16视角、2K靠。直接一步到位要么卡显存要么问题定位都困难。4.3 一个常见的实现坑相机坐标系的规范化多视角生成最隐蔽的坑在相机参数处理上。不同3D数据集用的坐标系可能不一样有的Y轴朝上有的Z轴朝上有的相机看向Z轴正方向有的看向负方向还有焦距单位是像素还是归一化坐标的区别。论文在数据流水线里做了相机参数规范化把所有输入转换到一个统一的世界坐标相机内参格式。这个细节看起来小实际影响是灾难级的。如果坐标系不统一模型训练时学到的几何先验是矛盾的生成的多视图会出现整体的形变。我见过有团队在这一步上栽跟头生成结果每张图都挺好看但叠起来就是不对最后排查了一周才发现是相机外参矩阵的行列式符号问题——镜像是旋转还是反射在数学上只有一行代码的区别在物理世界里就是左右颠倒的怪物。4.4 训练稳定性八度频率移位这个小技巧论文还提到训练时用了一个八度频率移位的预处理技巧。这个可能很多人没注意但实际挺实用把图像的频率成分分到不同通道上用不同分辨率表征。本质上是在告诉模型低频信息决定整体几何高频信息决定表面纹理让网络在不同尺度上分别学习。这跟我们人类看物体的方式很像——先看轮廓再看细节。这个技巧对稳定训练帮助不小尤其在高分辨率生成时能减轻模型既要管全局几何、又要抠细节纹理的负担。复现的时候建议直接用上不需要额外调参它是个纯增益的模块。5. 生成效果评测可扩展性到底体现在哪里论文的实验部分我觉得最有说服力的不是某个单一指标的领先而是**计算量-生成质量曲线**。它展示了随着训练数据量、模型参数、分辨率三者的同步提升生成质量指标稳定上升没有出现平台期或者反转。5.1 和现有路线的对比对比维度3D-Diffusion路线分数蒸馏类方法原生3D扩散推理方式单次前向秒级每个物体长时优化单次前向是否依赖预训练2D扩散是作为骨干是作为分数蒸馏老师否输出质量上限随数据和算力稳定提升容易陷入局部最优受3D数据匮乏限制跨视角一致性通过跨视角注意力保证不显式建模伪影常见隐式建模受结构限制工程落地难度中等需处理相机管线低但推理太慢高基础设施不足一眼能看出3D-Diffusion在工程落地上优势明显。你可能要问那原生3D扩散路线被否定了吗我的看法是不是被否定而是时机未到。原生3D数据没法跟互联网规模的图文数据比训练材料的匮乏让这条路的上限目前有限。而2D扩散模型的数据基础是极其庞大的借它的力来做3D是当下最接近可用的策略。5.2 我在实操中验证过的几个结论因为工作关系我复现过类似的多视图扩散生成管线几个体验分享给大家视角数量不是越多越好。论文默认是几十个视角但如果你只是做前视图后视图侧视图这几个主视角跨视角注意力带来的收益会显著下降。生成的质量上限受限于视角覆盖的球面面积。想生成一个完整可旋转的资产至少需要覆盖上半球以上。2K分辨率带来的收益是真的但别期待2K高清纹理。分辨率提升主要改善的是大尺度几何边缘的锐利度而不是贴图细节。如果业务上需要高精贴图还得再接超分模型。训练时batch size小没关系但视角块一定要够多。多视图一致性的学习需要模型看到足够多同物体不同视角的样本比不同物体同一视角更重要。这个反直觉的结论在论文的消融实验里有数据支撑我自己的实验也验证了。6. 这套路线的适用边界与我的个人判断最后聊点实际操作层面的东西。这套多视图扩散生成可微重建的路线解决了可扩展性问题但也不是银弹。适合的场景需要快速批量生成3D资产的工业化场景。比如游戏开发里需要几百个风格统一的小道具或者电商场景里需要根据文字描述批量生成商品展示模型。这类需求对单个资产的精细度要求没那么苛刻但对数量和一致性要求很高3D-Diffusion这种单次前向出结果的方案可以嵌入现有管线直接跑批量任务。不适合的场景对单个资产有极致精度要求、或者需要精细拓扑控制的场景。比如电影级角色模型面部表情拓扑、眼角嘴角的loop布线这些都是生成式方法目前给不了的。扩散模型输出的是看起来合理的网格而不是适合绑定的拓扑结构。如果要往动画绑定方向走还是得人工修。还有一点要提醒3D资产生成是强工程问题不纯是模型问题。数据管线渲染、清洗、相机规范化、推理部署分块去噪、显存优化、后处理网格简化、纹理烘焙这些环节的工作量加起来可能比模型训练还要大。我见过不少团队模型复现得很成功最后卡在把模型输出变成引擎能用的格式这一步。如果你问我对这篇论文的核心评价是什么我的答案是它未必是3D生成的最终形态但它把可扩展这个行业最关键的工程问题推进了一大步。它聪明地站在2D扩散模型的肩膀上用最小的改造成本换来了一个能随数据、算力同步增长的完整管线。这套借用巨人肩膀的思路比论文里的某个具体模块更值得学习。至少在我最近的实际项目里已经在这条路线的启发下调通了一条比预期快得多的资产生成pipeline这种能直接用的研究成果在论文堆里确实不多见。
