【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载在 V2D ChallengeVideo to Data Challenge中eval_e2e.py是官方评估流水线的入口而 AUC、SP-SR、MP-SR、MPPE 是决定排名的四大核心指标。本文带你完整拆解 NVIDIA 这套从人类演示视频到机器人行为基准的官方评估流程从数据准备、评测脚本使用到每个指标到底在衡量什么帮助新手在跑通第一次评测前建立准确预期。一、30 秒看懂 V2D Challenge三条赛道一张表V2D Challenge Dataset 是 NVIDIA 开发的基准研究完整路径人类演示视频 → 物理可信的机器人行为。仓库内共有三条互相耦合的赛道详见 README.md赛道输入目标评估方式Track 1Reconstruction单目第三人称 RGB 视频重建度量尺度的 4D 人-物交互场景与多视角参考的精度 物理合理性Chamfer 距离、加速度误差、接触穿透误差Track 2Robotic Grounding不同噪声层级的 4D 人-物轨迹重定向并学习可执行策略每个层级分别计分指标为AUC、SP-SR、MP-SR、MPPETrack 3Egocentric第一视角egocentric人类演示视频产出可执行的机器人策略由官方评估脚本产出最终成绩 三条赛道共享同一批操作任务Track 1 考察重建得准不准Track 2 考察上游噪声如何传导到策略Track 3 考察端到端整条链路。二、官方评估流水线eval_e2e.py 是如何工作的主 README.md 中关于 Track 3 有一句关键说明Useeval_e2e.pyfrom the starter toolkit to package the required reconstructions and recorded policy evaluations.也就是说官方流水线的设计思想是参赛者打包结果官方脚本统一评分流程可以拆成三步生成重建结果参赛者用自己的方法显式的重建 重定向流水线、端到端模型、预训练 VLA 模型、世界-动作模型或混合方案均可——赛道对方法不作限制从第一视角视频产出所需的 reconstruction 与策略评估记录用eval_e2e.py打包提交该脚本属于官方 starter toolkit启动工具包负责把重建结果 录制的策略评估按照协议要求的格式打包成可提交的产物官方脚本统一出分Track 3 的最终成绩由官方评估脚本产出参赛者本地跑出的数字只用于自我验证榜单以官方流水线结果为准。这样做的好处是消除评分端的人为差异所有人面对同一套数据格式、同一套评测协议分数才有可比性。Track 3 公开数据本身也为此做了严格对齐——每个 parquet 行与三路 egocentric 视频逐帧精确对应见 track_3/README.md官方已验证全部 60 段视频与轨迹的帧级一致性。Track 3 公开集的基本盘来源track_3/public/meta/info.json项目数值Episodes20总帧数5,246平均 262 帧/集采集帧率20.25 fps任务数10视频流3 路 egocentric 相机共 60 段物体10 个均带纹理 3D mesh三、四大指标逐个拆解每个指标到底在衡量什么以下四个指标是 Track 2 每个层级tier独立计分的核心README.md 明确写道Each tier is scored separately. Metrics includeAUC,SP-SR,MP-SR, andMPPE它们共同回答一个问题机器人策略离像人一样把物体放到位还有多远。精确的阈值与聚合公式以官方评估协议为准这里给出理解它们的标准框架。3.1 AUC整条轨迹的全程成功率AUCArea Under the Curve统计的是成功率曲线对时间的积分。官方协议会先算出每一帧或每个时间步策略是否还在正轨上把这条 0/1 序列画成曲线AUC 就是曲线下面积。衡量什么不只是最后放没放对而是整个动作过程中持续跟得上参考轨迹的程度特点中途失败和结尾失败都会扣分是四个指标中最全面的一个也是最能拉开策略差距的指标。3.2 SP-SR单点成功率SP-SRSingle-Point Success Rate只在一个关键检查点通常是动作末帧/物体最终落点判定成败参考物体位姿与目标位姿的偏差在容差内记为成功。衡量什么任务最核心的最后一厘米——物体最终是否放到了该去的位置特点直观、贴近人类对任务完成的直觉但对过程中的大幅偏差完全不敏感。3.3 MP-SR多点成功率MP-SRMulti-Point Success Rate把检查点从一个扩展为多个关键里程碑例如抓取、抬起、移动、放置等阶段要求各检查点的位姿偏差同时达标才算成功。衡量什么轨迹整体形态是否与参考一致而不仅是终点与 AUC 的区别MP-SR 是离散里程碑上的全或无判定AUC 是连续时间的平滑积分——前者更严格地标出哪个阶段掉链子后者给出更细粒度的分数。3.4 MPPE平均位姿误差MPPEMean Per-object Pose Error计算预测/重建物体位姿与参考位姿之间的平均位置误差米制距离对整段轨迹逐帧求均值。衡量什么轨迹级的几何精度——不是成功/失败的二元判断而是差了多少米特点连续型指标适合横向对比接近成功的策略之间谁更精细也直接反映上游重建质量如何传导到下游这正是 Track 2 的设计意图不同噪声 tier 下 MPPE 的变化暴露了误差放大效应。3.5 四个指标如何组合成一张成绩单指标类型关注点一句话解读AUC连续积分全程成功率大部分时间都在正轨上吗SP-SR单点判定终点成败最后放对位置了吗MP-SR多点判定关键里程碑每个关键阶段都到位吗MPPE连续误差轨迹精度平均差多少米读分技巧SP-SR 高但 AUC 低 → 策略抄近道过程不可复现MPPE 低但 MP-SR 低 → 轨迹整体贴着参考走却卡在个别里程碑常见于抓取瞬间。四个指标交叉看才能定位策略瓶颈到底在重建端还是策略端。四、Track 2 计分机制噪声层级就是实验变量Track 2 的核心设计见 track_2/README.md同一批 30 集人-物交互、22,990 帧时间线以两个 tier 目录发布Tier目录人体轨迹物体轨迹Tier 1multiview captiontier_1_multiview_caption/原始 SOMA-X 重建上界输入原始位姿 对齐 meshTier 2synthetic noisetier_2_synthetic_noise/合成扰动后的人体轨迹合成扰动后的物体轨迹mesh 保持原始两个 tier刻意保持 episode 与全局帧索引重叠方便逐帧对比observation.images.exo_camera视频流在两个 tier 间逐字节相同。官方还提醒不要把 tier 目录拼接成一个数据集而是各选一个 tier 作为数据集根目录独立评测——这正是每个 tier 独立计分AUC/SP-SR/MP-SR/MPPE的原因。每个 episode 的评分资产随数据一起发布评测前必须核对地面平面ground_plane/sequence_id.json提供归一化[a, b, c, d]平面系数与物体位姿同一 OpenCV 世界系。SOMA→G1 重定向要基于它的首帧锚点变换不能用水平世界面估计替代tier_1 README 有明确警告支撑面几何support_surface/sequence_id_support.usda是 G1 重定向世界系米制、Z-up的静态碰撞场景放置路径有固定约定episode 级元数据tier_1_multiview_caption/meta/episodes_metadata.jsonl 记录 episode 到源序列、任务、物体、mesh 路径的映射。五、跑评测前的数据排雷清单 各 Track 的 README 中藏着几个容易翻车的约定评测打包eval_e2e.py输入前建议逐条核对先过滤visible再使用位姿。当observation.object.visible为 false 时位姿是全零——那是零四元数而非单位旋转直接参与计算会污染误差统计tier_1 README、tier_2 README 均加粗强调位姿格式统一为[x, y, z, qw, qx, qy, qz]平移单位米、四元数w 在前且是world_T_object坐标系不跨集共享Track 3 中 x、y 按 episode 中心偏移偏移已烘焙进数值、不存储z 不做中心化桌面静置高度约 0.61 m 保持物理意义跨 episode 拼接前必须自己对齐原点track_3/README.md物体名即 mesh 文件夹名如white_pot→ track_3/public/mesh/white_pot/white_pot.glb命名不一致会直接丢几何标定边界Track 3 的 camera_calibration.json 含两套原始机位的内参但没有相机到 mocap 世界系的外参想把 mesh 投影进图像必须先解算该外参帧级对齐已官方验证parquet 第 i 行 ↔ 每路视频第 i 帧20.25 fps 名义帧率提交前抽查几帧即可确认数据未被破坏。六、总结一套流水线四个视角V2D Challenge 的官方评估设计非常克制数据端用 LeRobot v2.1 标准格式meta/data/videos/如 track_1/meta/info.json保证可复现评分端用eval_e2e.py统一打包、官方脚本出分指标端用 AUC、SP-SR、MP-SR、MPPE 从全程成功率、终点成败、里程碑一致性、轨迹精度四个正交视角交叉验证。对新手而言抓住两件事就能顺利起步✅ 评测前把visible过滤、坐标系约定、mesh 命名三处核对清楚第三节排雷清单✅ 提交前用eval_e2e.py完成打包并以官方流水线的输出作为最终成绩依据。数据侧资料索引Track 1 概览见 track_1/README.mdTrack 2 双 tier 规格见 track_2/README.mdTrack 3 公开集说明与数据集卡见 track_3/README.md 与 track_3/v2d-challenge-track3.md任务描述action prompt可在 track_2/tier_1_multiview_caption/meta/tasks.jsonl 中查阅。赞分享【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载相关推荐sr-bench 数据与目标准备指南基于 vllm-sr CLI 冻结数据集、预留命名评测历史并注册评测目标sr bench 数据与目标准备指南基于 vllm sr CLI 冻结数据集、预留命名评测历史并注册评测目标 本指南讲解 semantic router 仓库后端API网关模型推理服务AI AgentESRGAN 感知指数评估与 PIRM18-SR 挑战赛复现指南基于 QA.md 的完整实操解读ESRGAN 感知指数评估与 PIRM18 SR 挑战赛复现指南基于 QA.md 的完整实操解读 ESRGANEnhanced Super Resoluti人工智能深度学习计算机视觉图像处理OpenRC核心组件解析服务脚本、运行级别与依赖管理的终极指南OpenRC核心组件解析服务脚本、运行级别与依赖管理的终极指南 OpenRC是一款轻量级、模块化的初始化系统init system广泛应用于类Unix系操作系统上一篇微信聊天记录永久保存终极方案WeChatMsg开源工具完全指南下一篇告别卡顿与黑屏ExoPlayer HLS加密播放全流程解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
