让图像模型动起来用 AnimateDiff 把一条提示词变成 16 帧动画【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiffAnimateDiff 解决的问题很直接手里有个会出图的 Stable Diffusion 模型想让它输出连贯动画又不想从头训一个视频模型。它的做法是给 U-Net 挂上一个独立的 Motion Module用少量新增参数补上时间维度的信息让原本逐帧独立的采样结果在时间轴上连贯起来。适合已经跑通过 SD 文生图、想给现有模型加动态效果的开发者读完能拿到三样东西模块怎么插、最小配置怎么写、镜头怎么控制。插一个 Motion Module 为什么就能让模型动起来Motion Module 是 AnimateDiff 的核心部件可以把它理解成给一个只会画单张图的画师配了一只会连续运镜的手。技术上它是个 Temporal Transformer 分支插进 U-Net 各分辨率层之间在原有空间注意力之外补一层时间自注意力让模型去噪时能看到同一序列里前后帧的关系。因为出口层做了零初始化刚接上去时不会破坏原模型的输出所以任意社区微调模型都能直接复用。v3 还额外加了一个 Domain Adapter本质是 LoRA先把静态帧里的风格属性吸收掉好让运动模块专心建模运动本身。三个模型组件分别往哪放跑之前要把 AnimateDiff 需要的三块权重备齐各自有固定目录。基础 Stable Diffusion V1.5 放models/StableDiffusion/运动模块放models/Motion_Module/想要特定画风再配一个社区 DreamBooth 或 LoRA 模型放models/DreamBooth_LoRA/。⚠️ 这一步的坑在于目录名必须和配置文件里写的一字不差大小写或拼错一个字母加载时都会直接报找不到文件。基础模型可以从对应模型仓库 clone运动模块用仓库里的download_bashscripts/0-MotionModule.sh一键拉取具体地址以脚本内容为准。跑通一条动画的最小配置怎么搭最省事的路径是先用现成的 prompt 配置跑通再照着configs/prompts/里的格式改成自己的。一条命令就能触发python -m scripts.animate --config configs/prompts/v3/v3-1-T2V.yaml跑完会在samples/目录下得到一个 GIF打开就能看时间轴连不连贯。如果要用自己的提示词就在本地新建一个 yaml别动仓库里的文件只改这几个关键字段- motion_module: models/Motion_Module/v3_sd15_mm.ckpt dreambooth_path: models/DreamBooth_LoRA/your_model.safetensors prompt: [your positive prompt] # 通常重复两次对应首尾帧 n_prompt: [worst quality, low quality]字段和可选写法仓库configs/下的示例已经覆盖得很全改完还是用上面那条命令触发即可。帧数建议保持 16 帧、分辨率 512和训练设定对齐时质量最稳。想控镜头或不想写代码怎么办镜头怎么动v2 里是拿 MotionLoRA 解决的ZoomIn、PanLeft、TiltUp 这些基本运镜各对应一个约 74MB 的小模型在配置里加一段motion_module_lora_configs指向对应 ckpt 就能切换运镜方向不用重新训练。想要更自由的控制v3 走 SparseCtrl 路线能直接吃 RGB 参考图或手绘草图当条件输入把按参考图动起来和草图转动画都覆盖了。如果连代码都不想碰AnimateDiff 自带一个 Gradio demopython app.py默认在浏览器打开 localhost:7860下拉选运动模块、填提示词、点 Generate 就能看到结果。真要做定制风格训练入口在train.py流程细节见 训练与推理文档。最实际的起步方式是先挑一个你已经在用的社区图像模型配上 v3 的运动模块和一张参考图走 SparseCtrl 路线看单张图怎么动。跑通之后再往 MotionLoRA 和草图控制上叠把手感慢慢调到想要的镜头语言。【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
