nerfstudio 与 SDFStudio基于 SDF 的神经表面重建方法NeuS / NeuS-facto集成指南【免费下载链接】nerfstudioA collaboration friendly studio for NeRFs项目地址: https://gitcode.com/GitHub_Trending/ne/nerfstudio导读本文聚焦 nerfstudio 对 SDFStudioA Unified Framework for Surface Reconstruction的集成。SDFStudio 是构建在 nerfstudio 之上的隐式表面重建框架实现了 UniSurf、VolSDF、NeuS、MonoSDF 等一系列方法而 nerfstudio 核心仓库已将其中最具代表性的NeuS与NeuS-facto回迁为原生表面模型neus与neus-facto两个训练入口。读完本文你将理解 SDF 表面重建与体积密度重建的本质差异、NeuS 与 NeuS-facto 在采样策略与网络结构上的实现细节、全部可调配置项及其源码依据并能直接用ns-train训练出可提取高保真网格的隐式表面模型。一、SDFStudio 是什么SDFStudio 是一个构建于 nerfstudio 之上的统一隐式表面重建框架其核心思想是不再像传统 NeRF 那样用体积密度density隐式定义表面而是直接学习一个符号距离函数Signed Distance Function, SDF配合可学习的方差网络将 SDF 转化为不透明度alpha完成体渲染从而在渲染的同时获得拓扑更清晰、几何更精确的表面便于后续用 Marching Cubes 等方法直接抽取网格。SDFStudio 实现并统一了多种隐式表面重建方法包括UniSurfVolSDFNeuSMonoSDFMono-UniSurfMono-NeuSGeo-NeuSGeo-UniSurfGeo-VolSDFNeuS-accNeuS-factoNeuralReconW上述方法在 SDFStudio 的 docs/sdfstudio-methods.md 中有详细介绍。SDFStudio 还引入了单目先验monocular normal / depth、多视图几何先验等训练约束显著提升了几何重建质量。图中展示了 SDFStudio 在 nerfstudio 基础上扩展出的隐式表面重建整体流程图片来源docs/extensions/imgs/sdfstudio_overview.svg。二、nerfstudio 核心仓库中的表面模型SDFStudio 团队与 nerfstudio 团队保持紧密协作意图把 SDFStudio 的诸多改进回迁integrate back到 nerfstudio 核心仓库。当前 nerfstudio 原生支持的表面重建方法有两类NeuS原始的 NeuS 方法基于固定方差的 NeuS 采样器做粗到细coarse-to-fine采样NeuS-facto借鉴 nerfstudio 的 nerfacto / mip-NeRF 360 思路引入 proposal network 学习采样分布用更小的 SDF/颜色网络获得更快、更稳的训练。两者在 nerfstudio/configs/method_configs.py 中分别注册为neus与neus-facto两个方法说明注释也明确标注了它们由 SDFStudio 演化而来如 nerfstudio/models/neus_facto.py 的模块注释Based on SDFStudio https://github.com/autonomousvision/sdfstudio/。三、从密度到 SDF表面模型的核心差异普通 NeRF 模型用density场表达场景而表面模型用SDF场表达场景。二者的差异可以从三个源码层面看清3.1 统一的表面模型基类所有表面模型继承自 nerfstudio/models/base_surface_model.py 中的SurfaceModel配置类SurfaceModelConfig其关键设计包括SDF 主场景 可分离的背景场background_model可选grid、mlp或none分别用 nerfacto 风格密度场、NeRF MLP 背景场或无背景建模场景外区域固定的损失体系rgb_lossL1、eikonal_lossEikonal 正则保证 |∇SDF|1、depth_lossScaleAndShiftInvariant 单目深度损失、前景掩码损失fg_mask_loss、单目法向一致性损失mono_normal_loss各自带有可调乘子如eikonal_loss_mult0.1、fg_mask_loss_mult0.01、mono_normal_loss_mult0.0、mono_depth_loss_mult0.0渲染输出完备get_outputs一次性产出rgb、depth、normal、accumulation并支持前景/背景合并rgb rgb bg_transmittance * rgb_bg与深度归一化除以directions_norm将点对点距离转为真实深度评估指标PSNR、SSIM、LPIPS 全部在基类中定义get_image_metrics_and_images还会拼出 RGB、accumulation、depth、normal 对比图。3.2 SDF 场几何网络 颜色网络 方差网络核心实现位于 nerfstudio/fields/sdf_field.pySDFField由三部分构成几何网络geonetwork8 层 256 维 MLPnum_layers8、hidden_dim256带残差 skip 连接skip_in[4]与几何初始化geometric_initTrue输出1 geo_feat_dim维向量其中第 1 维即 SDF 值其余为几何特征颜色网络color network以「点坐标 方向编码 法向 几何特征 外观嵌入」为输入输出 RGB方差网络deviation network即LearnedVariance单参数模型输出exp(variance * 10.0)用于把 SDF 映射为 alpha初始值由beta_init控制默认 0.1。此外SDFFieldConfig还支持hash 编码 / 多分辨率特征网格use_grid_feature、num_levels16、max_res2048、base_res16、log2_hashmap_size19、smoothstepTrue这正是 NeuS-facto 能大幅缩小 MLP 的关键。3.3 NeuS 的 SDF → alpha 变换SDFField.get_alphasdf_field.py实现了 NeuS 论文中的体渲染公式先由 autograd 求出 SDF 对点坐标的梯度并归一化为法向再结合可学习的inv_s、射线方向与 SDF 的夹角true_cos计算每段区间的 CDF 差得到 alpha。其中_cos_anneal_ratio余弦退火比例从 0 线性增长到 1anneal_end50000保证训练初期采样不死亡见 neus.py 的set_anneal回调get_metrics_dict会记录s_val与inv_s两个训练指标方便观察方差网络收敛情况。四、NeuS 模型实现细节nerfstudio/models/neus.py 中的NeuSModel是表面模型家族的基础实现核心是NeuS 采样器ray_samplers.py 中的NeuSSampler先用UniformSampler均匀采num_samples个点循环num_up_sample_steps默认 4轮在torch.no_grad()下用当前 SDF 网络预测 SDF → 以固定的inv_s base_variance * 2 ** iter计算 alpha 权重 → 用PDFSampler按权重进行重要性采样每轮补充num_samples_importance / num_upsample_steps个点→ 与已有样本合并排序最终返回粗到细融合后的样本交由 SDF 场输出 alpha 做体渲染。NeuSModelConfig的全部关键参数如下参数默认值说明num_samples64均匀采样点数num_samples_importance64重要性采样点数num_up_sample_steps4上采样轮数1 表示简单的一次粗到细base_variance64NeuS 采样器中的固定基础方差inv_s base * 2 ** iterperturbTrue是否对采样点做 jitteranneal_end50000代码内cos 退火结束步数method_configs[neus]method_configs.py为它配置了 100000 步训练、train_num_rays_per_batch1024、fields与field_background使用 Adamlr5e-4 CosineDecay 调度器。注意neus在方法注册表中标注为 slow速度较慢因为它需要在每条射线上跑多轮 SDF 上采样。五、NeuS-facto用 proposal network 加速表面重建nerfstudio/models/neus_facto.py 中的NeuSFactoModel继承NeuSModel把原始的固定方差上采样替换为proposal network 引导采样思路同 mip-NeRF 360在NeuSFactoModelConfig中新增参数默认值说明num_proposal_samples_per_ray(256, 96)每轮 proposal network 的每射线采样数num_neus_samples_per_ray48SDF/NeRF 网络的每射线采样数num_proposal_iterations2proposal network 迭代次数proposal_update_every5预热后每隔 N 步更新 proposal networkproposal_warmup5000在多少步内把更新频率从 1 线性升到proposal_update_everyuse_same_proposal_networkFalse是否所有轮次共用同一个 proposal networkproposal_net_args_list见源码每个 proposal density fieldHashMLPDensityField的参数默认两个分别为 max_res64 与 max_res256interlevel_loss_mult1.0级间损失interlevel loss权重use_proposal_weight_annealTrue是否对 proposal 权重做退火proposal_weights_anneal_slope10.0退火函数斜率proposal_weights_anneal_max_num_iters1000退火最大迭代数use_single_jitterTrue是否使用 single jitter 采样实现要点采样sample_and_forward_field通过ProposalNetworkSampler联合多级 proposal 密度场产出weights_list / ray_samples_listSDF 场只对最后的精样本计算 alpha训练回调use_proposal_weight_anneal开启后按 [arxiv 2111.12077] 的式 (18) 对 proposal 权重做 bias 退火并在每步迭代后调用proposal_sampler.step_cb更新采样器损失在基类损失基础上叠加interlevel_loss级间一致性损失用于约束 proposal 分布逼近最终分布可视化get_image_metrics_and_images会额外输出每一级 proposal 的prop_depth_{i}深度图便于观察采样分布演进。对应的method_configs[neus-facto]method_configs.py使用SDFDatasetSDFStudioDataParserConfig训练 20001 步、train_num_rays_per_batch2048并针对小网络做了专门配置modelNeuSFactoModelConfig( # proposal network allows for significantly smaller sdf/color network sdf_fieldSDFFieldConfig( use_grid_featureTrue, num_layers2, num_layers_color2, hidden_dim256, bias0.5, beta_init0.8, use_appearance_embeddingFalse, ), background_modelnone, eval_num_rays_per_chunk2048, ),这里 SDF 几何网络与颜色网络都缩到 2 层配合多分辨率 hash 网格特征与background_modelnone不建背景场训练速度显著优于原始 NeuS因此是更推荐的实际使用入口。六、数据格式与单目先验表面模型的数据加载由 nerfstudio/data/datasets/sdf_dataset.py 中的SDFDataset完成它继承InputDataset额外支持可选的单目深度与法向先验mono prior数据解析器为SDFStudioDataParserConfignerfstudio/data/dataparsers/sdfstudio_dataparser.py输入目录遵循 SDFStudio 的 transforms 约定当数据目录包含单目深度/法向depth_filenames、normal_filenames且include_mono_prior开启时get_metadata会按相机位姿把深度缩放为米制并加载法向图这些先验分别用于基类中的mono_normal_loss_mult法向一致性与mono_depth_loss_mult尺度/位移不变深度损失配合前景掩码fg_mask_loss_mult可进一步约束几何。七、训练与使用从方法注册表method_configs.py可见两个入口neusImplementation of NeuS. (slow)neus-factoImplementation of NeuS-Facto. (slow)使用ns-train即可启动数据集按 SDFStudio 格式准备# 训练原始 NeuS ns-train neus --data path_to_sdfstudio_dataset # 训练 NeuS-factoproposal network 加速版 ns-train neus-facto --data path_to_sdfstudio_dataset所有配置参数均可通过命令行覆盖例如# 调整采样点数与重要性采样点数 ns-train neus --pipeline.model.num_samples 128 --pipeline.model.num_samples_importance 128 --data path # 开启单目法向先验约束 ns-train neus-facto --pipeline.model.mono_normal_loss_mult 0.1 --data path # 更换背景建模方式 ns-train neus --pipeline.model.background_model grid --data path训练完成后模型输出的depth、normal、accumulation以及prop_depth_iNeuS-facto等中间可视化会写入输出目录可用于检查几何收敛情况配合 nerfstudio 的导出工具即可将 SDF 场抽取为显式网格完成从隐式表面到可编辑网格的闭环。八、引用与致谢SDFStudio 由 Yu 等人于 2022 年提出如果你在研究中使用了 nerfstudio 中的表面模型NeuS / NeuS-facto建议同时引用 SDFStudio 作者的工作misc{Yu2022SDFStudio, author {Yu, Zehao and Chen, Anpei and Antic, Bozidar and Peng, Songyou Peng and Bhattacharyya, Apratim and Niemeyer, Michael and Tang, Siyu and Sattler, Torsten and Geiger, Andreas}, title {SDFStudio: A Unified Framework for Surface Reconstruction}, year {2022}, url {https://github.com/autonomousvision/sdfstudio}, }延伸阅读表面模型基类与损失体系nerfstudio/models/base_surface_model.pySDF 场与 NeuS alpha 公式nerfstudio/fields/sdf_field.pyNeuS 模型与采样器nerfstudio/models/neus.py、nerfstudio/model_components/ray_samplers.pyNeuS-facto 模型nerfstudio/models/neus_facto.py方法注册与默认训练配置nerfstudio/configs/method_configs.py表面数据集与数据解析nerfstudio/data/datasets/sdf_dataset.py、nerfstudio/data/dataparsers/sdfstudio_dataparser.py【免费下载链接】nerfstudioA collaboration friendly studio for NeRFs项目地址: https://gitcode.com/GitHub_Trending/ne/nerfstudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
