Stable Video Infinity ComfyUI 完整指南一张图生成无限长视频参数推荐值与避坑清单【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-InfinityStable Video InfinitySVI是一个开源的无限长视频生成工具给它一张参考图配合提示词流它可以连续扩展出数分钟长、主体与场景不漂移的视频核心机制叫 Error Recycling。本文带你先跑通第一段视频再拆解 ComfyUI 工作流的每个节点最后给出参数推荐值和常见问题的解法。快速上手先跑通一段视频整套环境在 A100 80G、CUDA 12.0 下验证过依赖以 Python 3.10 和 PyTorch 2.5.0 为主。克隆仓库并初始化环境git clone https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity cd Stable-Video-Infinity conda create -n svi python3.10 conda activate svi pip install -e . pip install flash_attn2.8.0.post2 # 装不上可查仓库 Issue #3 conda install -c conda-forge ffmpeg librosa libiconv推理依赖两部分权重都放在weights/下底模 Wan2.1-I2V-14B-480Phuggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./weights/Wan2.1-I2V-14B-480PSVI 的 LoRA只调了 LoRA体积很小。以单场景模型 SVI-Shot 为例huggingface-cli download vita-video-gen/svi-model version-1.0/svi-shot.safetensors \ --local-dir ./weights/Stable-Video-Infinity下载完成后weights/里应有Wan2.1-I2V-14B-480P/和Stable-Video-Infinity/version-1.0/svi-shot.safetensors两项。然后直接用官方脚本跑仓库自带的示例首帧图在data/toy_test/shot/是一艘游艇bash scripts/test/svi_shot.sh输出写入videos/svi_shot/。默认生成 10 个 clip每个 clip 81 帧拼起来约 50 秒。不想写脚本、想用界面的话SVI-Shot 和 SVI-Film 两个模式都接入了 Gradiobash gradio_demo.sh浏览器打开http://localhost:7860即可上传图片和提示词。下面这张图是 SVI 各分支的示例效果汇总能直观看到它能覆盖的题材范围核心工作流拆解ComfyUI 插件里每个节点在做什么ComfyUI 用户不用跑 Python 脚本直接导入仓库里的工作流文件comfyui_workflow_svi_1.0/SVI-Shot-StreamingPrompt-1028.json。这个工作流基于 ComfyUI-WanVideoWrapper 的节点集不能拿原始 Wan 2.1 工作流换 LoRA 就用——SVI 的 LoRA 依赖修改过的 padding 设置用错工作流会直接漂移。工作流是首帧 → 逐 clip 生成 → 串联的结构文件里把 10 个以上的 clip 全部展开了每个 clip 内部重复一套相同节点。关键节点及其取值如下节点作用文件中的实际取值WanVideoModelLoader加载 Wan 2.1 I2V 14B 底模wan2.1_i2v_480p_14B_fp16.safetensors精度 fp16LoadWanVideoT5TextEncoder文本编码器umt5-xxlfp8 量化CLIPVisionLoader图像条件编码器clip_vision_h.safetensorsWanVideoVAELoaderVAEbf16WanVideoLoraSelect挂载 SVI LoRA可选再挂 lightx2v 步数蒸馏 LoRAsvi-shot.safetensors权重 1.0WanVideoTextEncode逐 clip 文本编码每个 clip 一段独立提示词支持流式换内容WanVideoSampler采样euler8 步每个 clip 一个不同的固定 seed0、1、2……递增WanVideoVACEStartToEndFrameVACE 参考帧 padding81 帧ColorMatch跨 clip 颜色匹配抑制色偏mkl 模式VHS_VideoCombine拼接并保存视频每个 clip 一个实例ImageResizeKJv2首帧缩放到训练分辨率832×448lanczos 采样几个值得记住的取值逻辑分辨率官方按 480p832×448处理首帧。模型就是在 480×832 附近训练的放大只会变慢且容易丢运动。采样步数挂 lightx2v 蒸馏 LoRA 时 8 步就够如果你换成了量化底模步数要往上调README 建议比 4/8 步更多否则画质受损。seed全工作流里每个 clip 的 seed 都不同。这不是可选项后文避坑部分会讲原因。提示词WanVideoTextEncode是每 clip 一份这就是工作流名里 StreamingPrompt 的含义——内容可以一段一段变。模型家族怎么选Shot、Film、Talk、DanceSVI 的每个分支就是一个 LoRA 文件任务不同、加载的 LoRA 和推理脚本也不同。仓库scripts/test/下每个脚本就是一个分支的完整配置分支LoRA输入用途对应脚本SVI-Shotsvi-shot.safetensors图 单条提示词单场景长镜头20 分钟测试不漂移svi_shot.shSVI-Filmsvi-film-opt-10212025.safetensors图 提示词流多场景、可换镜头5 秒一条提示词svi_film.shSVI-TomJerrysvi-tom.safetensors图 提示词流卡通风格长视频svi_tom.shSVI-Talksvi-talk.safetensors图 音频长对话人物视频svi_talk.shSVI-Dancesvi-dance.safetensors图 骨架视频长舞蹈视频svi_dance.shSVI-2.0version-2.0/...lora_v2.0.safetensors图 提示词流在 1.0 基础上的整体改进版svi_2.0.sh测试数据都在data/toy_test/下改脚本里的路径即可换成你自己的素材。比如 SVI-Film 的示例首帧就是这张戴草帽的猫分支之间最关键的差异在--num_motion_frames跨 clip 参考帧数Shot/Talk/Dance 用 1 帧Film 用 5 帧这两个值和训练时对齐建议照抄官方脚本不要随意改。进阶玩法对话视频、骨架舞蹈与流式提示词适用场景长对话视频SVI-Talk。输入是一张人物图加一段音频wav。它比多模态口型方案多一步音频编码依赖chinese-wav2vec2-base音频编码器和MeiGen-MultiTalk权重下载后要把multitalk.safetensors软链进weights/Wan2.1-I2V-14B-480P/README 有完整命令。跑通示例bash scripts/test/svi_talk.sh示例数据在data/toy_test/talk/人物图 5 分钟音频官方做了 10 分钟不漂移的测试。三种方案长视频片段对比适用场景舞蹈视频SVI-Dance。输入是人物图 骨架姿态视频dwpose 输出格式示例在data/toy_test/dance/pose.mp4。需要额外下载UniAnimate-DiT权重。姿态序列可用utils/run_align_pose.py做对齐训练用的姿态预处理脚本在scripts/data_preprocess/prepare_video_pose.py。适用场景多镜头叙事提示词流。Film 和 2.0 分支的核心用法每 5 秒一条提示词按剧情顺序写成列表。data/toy_test/svi_2.0/prompt.txt里有一条完整的 120 条海洋题材提示词流每条都带运镜描述dolly、pan、orbit写自己的提示词时可以照这个格式一句画面内容 一句运镜。对应首帧是这张海底珊瑚礁注意事项提示词风格偏LLM 生成的长句效果最好训练数据的提示词就是这种格式提示词和训练分布差异大时把--cfg_scale_text从 5.0 提到 7 左右。原理简说Error Recycling 到底解决了什么传统长视频自回归生成的问题训练时模型只看干净数据推理时它却是在自己上一段带误差的输出上接着画误差逐 clip 累积画面慢慢漂移、崩坏。常见的抗漂移手段改噪声调度、锚定首帧治标不治本且大多只能跑单提示词。SVI 的做法是把误差变成训练素材推理轨迹上注入 DiT 自己历史生成中产生的误差用单步双向积分快速算出残差把这些误差按时间步分桶存进错误银行训练时再从银行里重采样、注入干净输入。于是模型训练时见过的就是带误差的输入学会了主动识别并纠正自己的错误训练与推理的假设差被闭环消除。它只训 LoRA推理不加成本且兼容文本、音频、骨架等各类条件。避坑与调优现象、原因和解法现象原因解法用原始 Wan 2.1 工作流颜色和内容漂移SVI LoRA 依赖修改过的 padding 设置必须用官方工作流comfyui_workflow_svi_1.0/长视频出现叠加伪影、画面糊成一团每个 clip 用了相同 seed噪声误差同相位累积每个 clip 换一个 seed这是官方反复强调的一条长视频运动量明显变弱首帧分辨率远超训练分辨率如 2150×1204 被缩到 1472×832调小--max_width默认 832终端日志会打印实际分辨率确认在 480p 附近文字提示不生效、出现重影文本 CFG 偏低--cfg_scale_text从 5.0 提到 7静态背景出现块状伪影VAE bf16 tiling 在静态区域累积像素级误差关掉 tilingComfyUI 里对应enable_vae_tiling显存不够14B 底模 长序列占用高调小--num_persistent_param_in_dit默认 6×10⁹减少常驻显存ComfyUI 里可开 VAE tiling量化/蒸馏后画质下降少步数推理放大量化误差把采样步数从 8 提到 20 左右再对比另外提醒一点官方说得很直白的Error Recycling 解决的是漂移但时间闪烁、物体融合、细节丢失这类问题属于底模能力上限短片里也会出现不要全归因于 SVI 配置。性能方面社区经验值得参考480p 是最佳性价比分辨率提示词用 LLM 扩写好一些能减少跑偏后重跑的浪费超长视频在 ComfyUI 里就是多复制一组 clip 循环节点注意每组 seed 不重复。继续深入的入口SVI 的门槛其实很低——它只调 LoRA用少量数据就能给自己的题材训一个分支。仓库里这些位置可以直接往下走模型加载配置diffsynth/configs/model_config.py训练入口与示例数据train_svi.py、scripts/train/、data/toy_train/含 Talk/Dance 的预处理后数据测试素材与提示词流data/toy_test/更多问题与训练技巧docs/FAQ.md、docs/DevLog.md含自定义部署 SVI 的 5 条建议把scripts/test/里对应分支的脚本跑通、参数表对着改基本就能覆盖从单镜头到多镜头叙事的全部需求。【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
