一帧换人26秒出片Viggle-Animate视频角色替换完全指南Viggle-Animate 是一个开源的 AI 视频角色替换工具你只需从原视频里挑一帧把其中的人物画成你想要的样子它就能在 26 秒内把整段视频的角色全部替换掉——动作、运镜、灯光分毫不差。这是目前最轻量、最快的视频换人方案之一本文将带你从零跑通它。 一帧换人到底强在哪里传统视频角色替换通常需要一整套脚手架姿态骨架、分割掩码、人脸追踪、背景分离……每个环节都是要单独运行的模型。而 Viggle-Animate 的核心理念是全都不需要只有 2 个输入一段驱动视频提供动作 这视频里的一帧重绘图提供长相只要 3 次前向推理通过 DMD 蒸馏把采样步数压缩到极致26 秒出一个镜头单卡 B200 上渲染 124 帧约 5.2 秒视频比同类方案 Wan2.2-Animate-14B 快 6.1 倍不加载任何文字编码器条件是一个随权重一起发布的固定嵌入写死在 assets/fixed_embed_fwd_anyframe.pt 中你甚至不用写提示词。关键指标数值单次渲染耗时26 s124 帧 / 480×832前向推理次数3 次输入视频 一帧重绘图视频阶段的其他模型0 个更妙的是它的泛化能力因为模型内部没有任何角色必须是人的假设只要你画得出来宠物柯基、熊猫、企鹅甚至飞机、机器人、黏土人都能被动画化到视频里。 工作原理为什么一帧就够角色替换其实同时回答两个问题新角色长什么样它在这个镜头里怎么动。Viggle-Animate 的做法非常聪明——外观只来自那帧重绘图几何只来自驱动视频。因为参考帧本身就取自这段视频它的姿态、机位、构图和光线天然与画面一致不需要任何下游对齐。这个设计让它能精准追踪甩头、踢腿、跳跃等快速动作而不会糊掉。技术上它是 MiniMax-H3 的ref2vatransformer33.1B 参数上的完整微调并用 DMD 做联合蒸馏高噪声端由微调模型监督负责换对人低噪声端由原 MiniMax-H3 监督负责画质两全其美。 最快上手4 步跑通第一个替换⚠️ 硬件提醒bf16 全精度下需要≥ 96 GB 显存transformer 常驻 62 GiB显存不够可以加--offload从 CPU 流式加载常驻约 12 GB速度慢很多。第 1 步克隆仓库git clone https://gitcode.com/hf_mirrors/Viggle/Viggle-Animate cd Viggle-Animate第 2 步安装依赖依赖已锁好版本直接按 requirements.txt 安装其中diffusers固定到了经过测试的 commitpip install -r requirements.txt第 3 步下载基础模型组件本仓库只提供 transformer 和 LoRAVAE、音频 VAE 与调度器需要来自底座的 MiniMax-H3推理只用到其中 11 GBhf download MiniMaxAI/MiniMax-H3 --local-dir ./MiniMax-H3 \ --include modular_model_index.json vae/* audio_vae/* \ scheduler/* audio_scheduler/* assets/ref2va.mp4最后那个--include是为了让自带 demo 能直接跑。第 4 步运行官方 demo 自检examples/demo.sh 会用底座自带的示例视频做一次完整的角色替换把年轻男子换成一位虚构的老妇人也是验证 LoRA 是否加载成功的最快方式./examples/demo.sh /path/to/MiniMax-H3跑完后把demo_out/output.mp4和examples/media/output.mp4对比如果输出的是老妇人说明一切正常如果还是原来的年轻男子说明 LoRA 没加载成功。 替换你自己的视频只需 3 条命令1️⃣ 从视频里抽一帧ffmpeg -ss 1.5 -i driving.mp4 -frames:v 1 ref.png小技巧不一定要第一帧——模型并不知道参考帧来自哪里挑人物最清晰、正面、无遮挡的那一帧保持与原视频相同分辨率在图像编辑工具里把人物画掉换成新角色明确什么不能变姿态、手部、道具、构图、背景、光线。编辑器若悄悄改变了构图会和驱动视频里的动作打架尽量选机位稳定一侧对机的镜头。2️⃣ 运行推理python inference/sample.py \ --cond driving.mp4 --ref ref.png --out swapped.mp4 \ --model-dir ./MiniMax-H33️⃣ 常用参数速查核心参数都在 inference/sample.py 中定义参数默认值说明--cond必填驱动视频提供动作、构图、背景、灯光--ref必填重绘后的单帧决定换成谁--out必填输出视频路径--steps4蒸馏模型的工作点不是取巧值调高反而过锐--flow-shift3.0少步采样专用底座默认是 12--num-frames124约 5.2 秒 24 fps--audio无钉住一段真实音轨让嘴型对上说话见下文--offload关显存不足时从 CPU 流式加载--seed42随机种子方便复现输出的宽高自动跟随驱动视频且两个维度都必须是 32 的倍数。 想要口型对齐加一个--audio默认配置下模型生成自己的音轨且被要求是静音嘴形不会跟着对白走。把驱动视频自带的音频钉上去即可无需重训python inference/sample.py --model-dir ./MiniMax-H3 \ --cond driving.mp4 \ --ref ref.png \ --audio driving.mp4 \ --out swapped.mp4同一文件传两次一次提供动作一次提供音轨。 仓库里都是什么路径内容transformer/33.1B 全量微调权重bf1614 个分片lora/rank 128 的 DMD2 蒸馏 LoRA2.5 GB把采样压到 3 次前向inference/推理入口 sample.pyApache 2.0examples/一键自检脚本 demo.sh 与示例媒体assets/fixed_prompt.txt固定提示词原文透明可查MODIFICATIONS.md相对 MiniMax-H3 的改动清单⚠️ 注意LoRA 是加载在微调后的 transformer上的增量装到原始transformer_ref上会得到乱码。⚖️ 使用须知边界与许可已知局限来自官方说明结果继承你的笔触画里没画的东西模型不会凭空添加画与视频冲突时形状听视频的复杂场景更难多人同框、近距离互动、快速切镜的画面质量会下降官方表示更好的模型正在训练中唇语同步默认配置下较弱建议配合--audio使用。合规与伦理身份来自你画的那一帧模型本身无法验证身份与授权。请只在你有权处理的素材上运行不要用在未同意出镜的真人身上并给生成内容标注 AI 生成。许可权重遵循 MiniMax H3 Community License商业使用前务必阅读代码inference/ 与 examples/为 Apache 2.0LICENSE-CODE。 小结Viggle-Animate 用一帧重绘这个极简交互砍掉了视频角色替换里所有繁琐的中间模型没有提示词、没有骨架、没有掩码两个输入、三次前向、26 秒出片。如果你正好在找一套快速验证创意、低成本产出 AI 视频换人效果的开源工具它目前是最值得尝试的选择之一。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
