【免费下载链接】VGGT-Omega-1B-512-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VGGT-Omega-1B-512-bf16点击查看免费下载VGGT-Omega-1B-512-bf16是 Meta 的 VGGT-Ω 视觉几何模型在 Apple Silicon 上的 bf16 MLX 转换版mlx-community/VGGT-Omega-1B-512-bf16 同款权重一次前向推理即可从一组照片或一段视频同时输出每帧的相机位姿、深度图、深度置信度和 3D 点云。Mac 用户无需 NVIDIA 显卡靠统一的 MLX 运行时就能在本机跑通完整 3D 重建流程比 PyTorch MPS 路线快约 2 倍。本教程带你从零部署。这个模型是什么3 个关键词看懂VGGT-Omega-1B-512-bf16 的名字里藏着它的全部信息关键词含义VGGT-OmegaMeta AI 与牛津 VGG 联合发布的视觉几何 TransformerCVPR 2026从图像序列重建 3D 场景1B / 512约 11.4 亿参数512 分辨率 checkpoint是官方推荐的野外场景版本bf1616 位浮点精度存储体积比 float32 原版小一半2.29 GB精度几乎无损它能做的事情一句话概括输入一堆照片或一段视频→ 输出场景的 3D 结构每帧的相机外参/内参extrinsics / intrinsics、深度图depth、深度置信度depth_conf、以及反投影出的世界坐标点云world_points。典型用途室内/室外场景重建、机器人视觉、AR 内容制作、照片序列的空间理解。⚠️许可提醒该权重采用FAIR 非商业研究许可Noncommercial Research License仓库内为 LICENSE.txt仅限非商业研究用途商用前请务必自行评估合规性。仓库里都有什么文件结构速览这是一个纯权重仓库inference 代码在 mlx-vlm 中文件很精简文件说明model.safetensors模型权重本体约 2.29 GB1332 个 bf16 张量model.safetensors.index.json权重索引记录全部张量的名称与所在分片config.json模型结构配置24 层 aggregator、image_resolution: 512、patch_size: 16、head_dtype: float32等preprocessor_config.json图像预处理参数512 分辨率、balanced模式、16 像素 patchREADME.md官方使用示例与性能基准LICENSE.txtFAIR 非商业研究许可全文一个有意思的细节config.json中的head_dtype设为float32说明加载时相机头和深度头会自动升回 float32 计算——这正是官方保证数值精度的关键设计config.json 里可以直接看到这项配置。部署前准备环境要求与安装步骤硬件与软件要求Apple Silicon MacM 系列芯片统一内存建议 ≥ 16 GBmacOS Python 3.10 及以上依赖mlx、mlx-vlm需包含vggt_omega模型支持的版本0.7.4 之后新增实测性能Apple M5 Max单帧 65 ms、32 帧仅 3.93 s峰值内存 4.2 ~ 7.3 GB远低于同配置的 PyTorch MPS 路线。一键安装步骤# 1. 创建并激活虚拟环境 python3 -m venv ~/.venvs/vggt source ~/.venvs/vggt/bin/activate # 2. 安装依赖 pip install mlx mlx-vlm # 3.可选本地 clone 权重仓库推理时直接指向本地目录 git clone https://gitcode.com/hf_mirrors/mlx-community/VGGT-Omega-1B-512-bf16.git 权重首次通过代码引用时会自动下载到本地缓存clone 仓库只是省去联网下载的等待。3 行代码跑通第一帧 3D 重建安装完成后用 Python 加载模型模型 ID 为mlx-community/VGGT-Omega-1B-512-bf16本地 clone 后也可换成仓库路径from mlx_vlm import load from mlx_vlm.models.vggt_omega.generate import VGGTOmegaPredictor model, processor load(mlx-community/VGGT-Omega-1B-512-bf16) predictor VGGTOmegaPredictor(model, processor)推理输入非常灵活——文件路径、PIL 图片、RGB 数组都行第一个文件自动作为参考帧out predictor.infer([frame_000.png, frame_001.png, frame_002.png])out是一个字典包含五类输出以 8 帧、512 分辨率输入为例S帧数、H/W输出尺寸键形状用途extrinsics(S, 3, 4)相机位姿OpenCV 坐标系intrinsics(S, 3, 3)相机内参像素单位depth(S, H, W)深度图depth_conf(S, H, W)深度置信度world_points(S, H, W, 3)反投影 3D 点云命令行一步出结果推荐新手不想写代码一条命令即可把全部结果导出为.npz并生成彩色点云.ply可用任何点云查看器打开python -m mlx_vlm.models.vggt_omega.generate \ --model mlx-community/VGGT-Omega-1B-512-bf16 \ --video clip.mp4 --fps 1 --output scene.npz --ply scene.ply--fps 1视频按每秒 1 帧抽帧控制计算量--output scene.npz保存所有张量输出--ply scene.ply直接生成可交互的彩色 3D 点云精度与速度和 PyTorch 参考实现比一比官方用上游示例视频688×384 输入做了严格对比结论可以放心精度对齐 float32 PyTorch 参考实现8 帧深度中位相对误差8.6e-4参考实现的 bf16 autocast 为 1.2e-3——bf16 转换没有损失精度相机旋转误差在 4 个场景内为0.03°~0.16°float32 模式下 MLX 移植版与参考实现一致到~1e-5速度Apple M5 Max 完整前向帧数MLX本模型PyTorch MPSMLX 峰值内存165 ms112 ms4.2 GB80.50 s1.22 s5.5 GB161.20 s3.02 s5.9 GB323.93 s8.72 s7.3 GB MLX 路线在 32 帧下快2.2 倍且内存占用稳定可控——这就是Mac 党福音的具体含义。新手常见坑与排查清单报错找不到 vggt_omega 模型mlx-vlm 版本过旧0.7.4 之前升级pip install -U mlx-vlm即可内存吃紧减少输入帧数或调低--fps32 帧峰值也只要约 7.3 GB深度图看起来糊检查depth_conf置信度遮挡严重区域属正常现象可用置信度做掩膜坐标系对不上extrinsics是 OpenCV 约定camera-from-world转 ROS/Unity 时注意 z 轴方向差异商用需求再次确认 FAIR 非商业许可LICENSE.txt商业场景需另行评估总结VGGT-Omega 1B 512 MLX 部署 5 步速查确认 Apple Silicon MacPython ≥ 3.10pip install mlx mlx-vlm需 0.7.4 之后版本引用模型 IDmlx-community/VGGT-Omega-1B-512-bf16自动下载权重或先 clone 本地仓库一行命令导出.npz.ply点云或几行 Python 拿到深度图/位姿用depth_conf过滤低置信区域得到干净的 3D 重建结果从照片序列到可交互 3D 点云Mac 本地全程只需几十秒——现在就可以拍一段绕房间的视频试试它。赞分享【免费下载链接】VGGT-Omega-1B-512-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VGGT-Omega-1B-512-bf16点击查看免费下载相关推荐VGGT-Omega-1B-512-bf16 权重转换内幕bf16 折叠 bias、float32 头部上转与 8.6e-4 精度实测VGGT Omega 1B 512 bf16 权重转换内幕bf16 折叠 bias、float32 头部上转与 8.6e 4 精度实测 VGGT OmegaVGGT-Omega-1B-512-bf16完全指南Mac上一次前向推理搞定相机位姿、深度图与3D点云重建VGGT Omega 1B 512 bf16完全指南Mac上一次前向推理搞定相机位姿、深度图与3D点云重建 VGGT Omega 1B 512 bf16 是一条命令搞定视频3D重建VGGT-Omega-1B-512-bf16命令行工具generate实战指南一条命令搞定视频3D重建VGGT Omega 1B 512 bf16命令行工具generate实战指南 本文带你用一条 generate 命令快速上手 V创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
