数据集人工智能【免费下载链接】object-permanence项目地址https://ai.gitcode.com/hf_mirrors/Hokin/object-permanence点击查看免费下载object-permanence是由 WROP 团队发布的物体恒存性Object Permanence视频训练语料库包含150 万条 Blender 渲染的视频续写样本专为微调视频生成模型、提升世界模型的物理推理与物体恒存能力而设计。本文将从获取数据、校验、加载到训练策略带你完整走通一遍。一、先认识 object-permanence 数据集object-permanence 是一个认知科学驱动的合成视频数据集150 个人工设计的认知任务如抽屉取物、挡板遮挡、漏斗分流等每个任务用 Blender 生成器随机化速度、光照、相机角度等参数产出10,000 条以上样本总计1.5M 样本 / 214 GB。属性规格任务数150 个覆盖 6 类认知能力样本量1,500,000每任务 10,000 条打包方式150 个 tar 包每包 0.7–4.1 GB解压后总大小214 GB分辨率1280 × 72024 fps片段结构60 帧输入视频 → 60 帧目标视频2.5s → 2.5s 续写 数据集的每条样本都是输入视频 目标视频配对天然适合**视频续写video continuation**式微调模型看前 60 帧预测后 60 帧。二、获取数据clone 仓库与完整性校验2.1 克隆仓库git clone https://gitcode.com/hf_mirrors/Hokin/object-permanence⚠️ 注意每个 tar 包都通过Git LFS存储镜像仓库中可见version https://git-lfs.github.com/spec/v1指针完整克隆约需214 GB 磁盘空间。如果你只想跑其中几个任务可以结合git sparse-checkout只拉取需要的 tar 包节省大量带宽。2.2 校验数据完整性下载完成后务必用官方校验文件 train/checksums.txt 核对每个 tar 包的 SHA-256cd object-permanence/train awk !/^#/{print $1 $2} checksums.txt | sha256sum -c输出全部OK即说明 150 个压缩包无损。三、数据包结构一个样本长什么样仓库布局非常清晰详见 README.md. ├── LICENSE └── train/ ├── checksums.txt # 每个 tar 的 sha256 成员数50,000 个 ├── cabinet_task.tar # 任务压缩包共 150 个 └── …解压任意一个任务包以 train/cabinet_task.tar 为例目录结构为train/ └── shard1/ └── cabinet_task/ ├── cabinet_0000/ │ ├── input_video.mp4 # 60 帧输入上下文 │ ├── target_video.mp4 # 60 帧目标要预测的续写 │ ├── prompt.txt # 场景描述文本 │ ├── trajectory.npz # 120 帧全部刚体的真实位姿 │ └── metadata.json # 参数、来源、video_split ├── cabinet_0001/ └── …每条样本5 个文件各有妙处文件用途input_video.mp4训练时的上下文帧前 2.5starget_video.mp4监督信号正确的后 2.5sprompt.txt文生视频模型的条件文本前缀为Continue this scene as a short video.trajectory.npz刚体真实轨迹可用于几何/物理辅助损失或推理时校验metadata.json渲染参数与 provenance 信息方便溯源四、数据加载实战读取 input/target 视频对写一个极简的Dataset把样本读成帧张量即可这里只列核心逻辑import imageio.v3 as iio from pathlib import Path def load_sample(sample_dir: Path): input_frames iio.imread(sample_dir / input_video.mp4) # (60,720,1280,3) target_frames iio.imread(sample_dir / target_video.mp4) prompt (sample_dir / prompt.txt).read_text().strip() return input_frames, target_frames, prompt再配合 PyTorch 的Dataset/DataLoader注意num_workers和pin_memory遍历train/shard*/task_task/下的样本目录即可组成完整训练流。加载提速小贴士1280×720 帧较大训练前可先下采样到 512×512 或 480p显存占用直接减半按任务tar 包粒度并行多个 worker 进程各解一个 tar避免重复 IO若只需部分任务优先挑选认知类别互补的任务组合覆盖度比单纯堆量更重要。五、训练视频生成模型续写式微调策略5.1 任务定义object-permanence 的训练范式是标准的视频续写输入前 60 帧 可选 prompt→ 输出后 60 帧如果你微调的是扩散/自回归视频模型把input_video作为条件帧、target_video作为去噪/回归目标即可文本条件直接取prompt.txt。5.2 推荐训练策略分阶段学习率视觉骨干小学习率如 1e-5 量级 新加的条件注入模块大学习率防止灾难性遗忘利用 trajectory.npz 加辅助损失解码出的帧可与真实刚体位姿做一致性约束显著提升遮挡后的物体恒存能力按任务采样150 个任务建议均衡采样每任务等权重而不是按文件顺序读避免模型只学会前几个任务的模式验证指标除了常见的 FVD建议对比遮挡任务screen/occluder 类下物体消失再出现帧的重建质量这是该数据集的核心卖点。5.3 参考实现项目方已开源了配套的PWM 训练栈和 16B 模型PWM-WROP权重基于 AWS Trainium2 的原生 PyTorch 实现可作为数据 pipeline 与训练循环的对照参考。六、注意事项与许可证项目说明许可证CC BY-NC 4.0见 LICENSE仅限非商业用途商用需联系作者授权署名要求需注明作者 Hokin Deng存储需求全量解压约需 400 GB建议挂载大容量盘数据特点纯 Blender 合成数据风格统一与真实世界混合训练可防止风格过拟合核心文件速查项目说明README.md校验清单train/checksums.txt许可证LICENSE任务数据包目录train/ 总结一下object-permanence 用输入-目标成对视频 文本 prompt 真实轨迹的形式把视频续写微调的每一步都铺好了路。挑几个任务包先跑通 pipeline再逐步扩展到 150 个任务你就能得到一版具备更强物理常识的视频生成模型。赞分享数据集人工智能【免费下载链接】object-permanence项目地址https://ai.gitcode.com/hf_mirrors/Hokin/object-permanence点击查看免费下载相关推荐nunif 视频修复模型训练全指南基于 iw3 的数据集生成、训练与微调实战nunif 视频修复模型训练全指南基于 iw3 的数据集生成、训练与微调实战 本篇技术指南围绕 nunif 仓库中的视频修复video inpainting如何用 REA 在本地完成可核验的 AI 逆向工程如何用 REA 在本地完成可核验的 AI 逆向工程 REAReverse Engineer Anything是一个开源的本地 AI 逆向工程项目它把你在用逆向工程MCP 服务AI 技能T5微调实战如何用自定义数据训练专属模型T5微调实战如何用自定义数据训练专属模型 想要在NLP领域快速构建高性能文本生成模型吗T5Text to Text Transfer Transforme人工智能大模型预训练微调NLP上一篇Pinpoint告警抑制策略避免告警风暴下一篇Feather iOS 证书侧载完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
