AI视频生成这件事我从去年开始断断续续折腾了快一年从最早的几张图拼幻灯片到后来能跑出带运镜、带角色一致性、带对白的完整短片中间踩过的坑比做出来的片子还多。很多人以为AI视频就是“输入一句话等几分钟出来一条大片”实际完全不是这么回事。真正决定成片质量的是剧本拆解、分镜设计、提示词工程、素材拼接、后期处理这一整条链路任何一个环节偷懒最后出来的东西都会露馅。这篇内容我打算把整条流程从头到尾讲清楚从零基础也能上手不需要你会画画、不需要你会剪辑软件、不需要你有任何编程基础。我会把每一步为什么这么做、参数怎么定、哪些地方最容易翻车全部摊开讲。适合想认真做AI短视频的创作者、想给产品做宣传片的小团队、以及纯粹想玩明白这套工具链的爱好者。看完你至少能独立跑通一条30秒到1分钟的AI视频并且知道后续怎么往上加质量。1. 整体流程设计与工具选型思路1.1 为什么要把流程拆成五段而不是一把梭很多人第一次接触AI视频习惯性去找那种“一站式生成”的工具输入剧本直接出片。我试过市面上大部分号称端到端的产品结论很直接目前阶段端到端生成的成片在角色一致性、镜头语言、节奏控制上都不太行。原因不复杂视频生成模型本质上是逐帧或逐片段预测像素它不理解“叙事”只理解“这一帧应该长什么样”。你把整段剧本丢给它它没有能力帮你做分镜、控制景别、保持人物脸不变。所以我推荐的流程是拆成五段剧本拆解 → 分镜与提示词设计 → 分镜图/关键帧生成 → 视频片段生成 → 拼接与后期。每一段单独可控出问题能定位改起来也快。这个思路跟传统动画制作其实是一样的只不过原来需要画师和建模师干的活现在一部分交给了模型。拆段还有一个好处成本可控。视频生成是按秒或按次计费的如果你一次性生成整条废片率极高钱花得冤枉。分段生成的话你可以先只生成关键帧图片确认构图和人物没问题再去跑视频废片率能降一大半。1.2 工具选型图片、视频、音频分别用什么工具这块我不做具体品牌推荐因为这类工具迭代太快今天好用的下个月可能就落后了。我讲选型逻辑你按这个逻辑去挑当前市面上符合的就行。图片生成环节核心看三点角色一致性能力、风格控制能力、分辨率上限。角色一致性现在主流方案有两种一种是用参考图加身份保持一种是用LoRA或类似的小模型微调。前者上手快后者一致性更强但需要训练。零基础建议先用参考图方案。视频生成环节核心看四点单次生成长度、运动幅度控制、首尾帧控制、是否支持图生视频。单次生成长度直接决定你的分镜粒度如果一次只能生成4秒那你的分镜就得按4秒切。首尾帧控制非常关键它决定了你能不能把两个片段无缝接起来。音频环节包括配音和音效。配音现在TTS质量已经很高了关键是选对音色和语速。音效建议用现成素材库不要指望模型生成音效生成目前还不太稳定。下面这张表是我总结的选型对照你可以按自己的预算和需求对号入座环节关键能力零基础优先选进阶可选避坑点剧本拆解结构化输出通用大模型对话带长上下文的大模型别让它直接写分镜先出大纲分镜图角色一致性参考图身份保持自训小模型参考图要正脸清晰、光线均匀视频生成首尾帧控制图生视频首尾帧支持运镜指令的模型单段别超过模型上限配音音色自然度主流TTS声音克隆语速别超过1.1倍后期剪辑调色免费剪辑软件专业剪辑软件别在生成阶段追求完美1.3 零基础需要准备什么硬件上如果你只用云端工具一台能上网的电脑就够了浏览器别太老。如果你想本地跑一些开源模型那需要一张显存至少12G的显卡24G会更舒服。我自己的机器是16G显存的卡跑一些中等规模的视频模型勉强够用但生成速度慢所以我大部分环节还是走云端。软件上你需要一个浏览器、一个剪辑软件免费的够用、一个文件夹用来管理素材。素材管理这件事我要单独强调因为AI视频会产生大量中间文件分镜图、视频片段、配音文件、音效如果不按规范命名和归档做到一半你就乱了。我的习惯是按“项目名_场次_镜号_版本”来命名比如gufeng_s01_c03_v2.mp4这样后期拼接的时候一眼就能找到。时间预期上一条30秒的AI视频从剧本到成片零基础第一次做大概需要6到10小时熟练之后能压到2到3小时。别信那些“10分钟出片”的说法那要么是模板套用要么是质量极低。2. 剧本拆解与分镜设计的核心细节2.1 剧本怎么写才适合AI生成AI视频的剧本和传统剧本不一样它有几个硬性约束。第一场景不能太复杂一个镜头里出现的人物最好不超过两个因为人物越多一致性越难保持。第二动作不能太剧烈跑跳打斗这类大幅度动作目前模型生成出来容易糊。第三每个镜头的时长要提前规划好一般按3到5秒一个镜头来切。我一般会先写一个200到300字的故事梗概然后把它拆成8到15个镜头。每个镜头用一句话描述谁、在哪、做什么、什么景别、什么情绪。举个例子做一个3D古风短片梗概可能是“一位剑客在竹林中等候故人从清晨等到黄昏最终等来的是一封信”。拆成镜头就是远景竹林全景晨雾弥漫剑客背影立于竹间中景剑客侧脸手按剑柄眼神平静特写剑柄上的纹路手指微微收紧中景阳光角度变化剑客换了个站姿远景夕阳西下竹林染成金色特写一只信鸽落在剑客肩上脚上绑着信筒中景剑客取下信筒展开信纸特写剑客眼神变化从期待到释然这样拆完每个镜头对应一次图片生成和一次视频生成工作量清晰进度可控。2.2 分镜提示词的结构化写法提示词工程这个词听起来玄乎其实核心就一句话把你想看到的画面用模型能理解的方式拆成结构化的描述。我用的结构是五段式主体 动作 环境 风格 镜头。主体要具体到外貌特征比如“一位三十岁左右的男性剑客黑色长发束起身穿深灰色交领长袍腰间佩剑”。动作要简单明确“站立右手按在剑柄上”。环境要包含光线和时间“清晨竹林薄雾侧逆光”。风格要统一“3D渲染古风电影质感冷色调”。镜头要指定景别和角度“中景平视浅景深”。这五段拼起来就是一条完整的提示词。我实测下来结构化的提示词比随手写的提示词出图可用率能高出一倍以上。原因是模型在训练时见过大量结构化描述它对这种格式的理解更准确。还有一个技巧是负面提示词。很多人忽略这个其实它很重要。常见的负面词包括多余的手指、扭曲的脸、模糊、低分辨率、水印、文字。把这些加上能过滤掉很多明显废片。2.3 角色一致性的保持方法这是AI视频里最难的一环也是区分业余和专业的分水岭。角色一致性做不好观众一眼就能看出来“这不是同一个人”整个片子就废了。我的做法分三步。第一步先生成一张角色定妆照正脸、光线均匀、背景干净。这张图是后续所有镜头的参考基准。第二步在每个镜头的提示词里都带上这张定妆照作为参考图并且用身份保持功能。第三步如果某个镜头生成出来脸偏了不要将就重新生成直到脸对为止。这里有个细节参考图的权重不能设太高太高会导致所有镜头的人物姿势都跟定妆照一样失去变化太低又保持不住脸。我一般从0.6开始试根据效果微调。这个值没有标准答案跟模型和参考图质量都有关需要你自己试几次找到甜点。另外服装和发型也要在提示词里反复强调因为模型很容易在换场景时把衣服颜色改了。我的习惯是把服装描述写成固定短语每个镜头原样复制不做任何改动。2.4 分镜图到视频的衔接设计分镜图生成好之后不要急着全部转成视频。先做一件事检查首尾帧衔接。具体来说就是看第N个镜头的结尾画面和第N1个镜头的开头画面能不能自然过渡。如果不能要么调整分镜要么在后期加转场。我一般会在生成视频时把下一个镜头的首帧作为当前镜头的尾帧参考这样两个片段接起来会顺很多。如果模型支持首尾帧控制就直接指定如果不支持就在剪辑时用交叉溶解过渡但溶解时间不要太长0.3到0.5秒就够了太长会显得拖沓。还有一个经验相邻镜头的景别要有变化。如果连续三个镜头都是中景观众会觉得平。远景接特写特写接中景这样节奏才有起伏。这个原则在传统影视里叫“景别跳跃”AI视频同样适用。3. 实操过程与核心环节实现3.1 第一步用大模型拆剧本出分镜表打开你常用的大模型对话工具把故事梗概丢进去用下面这个提示词模板你是一位专业的影视分镜师。请把下面的故事拆解成10个镜头每个镜头包含以下字段 - 镜号 - 景别远景/全景/中景/近景/特写 - 画面描述谁、在哪、做什么50字以内 - 情绪基调 - 建议时长秒 故事一位剑客在竹林中等候故人从清晨等到黄昏最终等来的是一封信。这里要注意不要让它直接写视频生成提示词先出分镜表你人工审核一遍确认叙事逻辑没问题再去写提示词。我见过太多人跳过审核直接生成结果做到一半发现故事讲不通返工成本极高。分镜表出来之后我会手动调整几个地方把人物过多的镜头合并或删减把动作太复杂的镜头简化把时长不合理的镜头改掉。这一步花10分钟能省后面1小时。3.2 第二步批量生成分镜图分镜图生成我建议批量做但不要盲目批量。具体操作是先把第一个镜头生成出来确认风格、人物、色调都对了再以它为基准去生成后续镜头。如果第一个就没对后面全白做。生成时每个镜头的提示词按前面说的五段式写。我拿第2个镜头举例主体一位三十岁左右的男性剑客黑色长发束起身穿深灰色交领长袍腰间佩剑 动作侧身站立右手按在剑柄上眼神平静 环境清晨竹林薄雾侧逆光竹叶上有露水 风格3D渲染古风电影质感冷色调高细节 镜头中景平视浅景深 负面词多余手指扭曲的脸模糊低分辨率水印文字生成参数上分辨率我一般设1920x1080采样步数25到30CFG值7到9。这些值不是绝对的不同模型有差异但大致在这个范围。生成出来后逐张检查脸不对的重生成构图不好的重生成不要凑合。这里有个提效技巧一次生成4张挑最好的。很多工具支持批量出图虽然费一点额度但比一张一张试要快得多。3.3 第三步图生视频的关键参数分镜图确认后进入视频生成。这一步的核心参数有三个运动幅度、时长、帧率。运动幅度我一般设中等偏低。设太高画面会抖得厉害人物会变形设太低又像静止图片。中等偏低的意思是让画面有轻微的风吹竹叶、衣角飘动、光影变化就够了不要追求大幅度运镜。时长按分镜表来一般3到5秒。如果模型单次只能生成4秒那就按4秒切。帧率设24或3024更有电影感30更流畅看你的风格需求。首尾帧控制如果模型支持一定要用。把当前镜头的首帧图和后一个镜头的首帧图分别设为起始和结束生成出来的片段衔接会非常自然。如果不支持就先生成后期再处理。生成视频的废片率比图片高我的经验是大概3条里能出1条可用的。所以每个镜头我至少生成3次挑最好的。这一步不要心疼额度废片是常态。3.4 第四步配音与音效的处理配音我用TTS工具把每个镜头的旁白或对白单独生成。这里有个细节按镜头分段生成不要整段生成。因为整段生成的话语速和停顿不好控制而且后期对不上画面。分段生成每个片段单独调整语速和停顿对齐画面就很容易。音效分两类环境音和动作音。环境音比如竹林的风声、鸟鸣动作音比如剑出鞘的声音、信纸展开的声音。这些我建议直接用素材库不要用模型生成。素材库的音效质量稳定而且版权清晰。背景音乐选的时候注意不要选旋律太强的否则会抢戏。古风片子选古琴、箫这类乐器为主的纯音乐音量压到人声的30%左右。3.5 第五步拼接与后期处理所有素材齐了之后进剪辑软件。拼接顺序按分镜表来每个片段之间如果衔接不顺加0.3秒交叉溶解。然后铺配音、铺音效、铺背景音乐。调色这一步很多人忽略但其实很重要。AI生成的片段之间色调往往有细微差异不调的话会有跳变。我的做法是给所有片段套一个统一的调色预设把色温、对比度、饱和度拉到一个基准线上。这样整条片子的观感会统一很多。最后导出分辨率1920x1080码率10到15Mbps格式MP4。如果平台有特殊要求按平台要求来。4. 常见问题与排查技巧实录4.1 人物脸变了怎么办这是最高频的问题。排查顺序是先看参考图质量如果参考图本身脸就不清晰那后面肯定保持不住再看参考图权重太低就调高再看提示词里的人物描述是否一致如果每个镜头描述都不一样模型也会困惑。如果以上都排查了还是不行那就换方案用自训小模型。训练一个角色LoRA大概需要20到30张该角色的多角度图片训练时间看工具一般1到2小时。训练完之后一致性会有一个质的提升。4.2 视频片段衔接处跳变跳变的原因通常是两个片段的色调、光线、人物位置不一致。解决办法有三个一是生成时用首尾帧控制二是后期加交叉溶解三是调整分镜让相邻镜头的景别差异大一点跳变就不明显了。我实测下来首尾帧控制加0.3秒溶解基本能解决90%的跳变问题。4.3 生成速度太慢速度慢一般是两个原因分辨率设太高或者采样步数设太多。零基础阶段分辨率设1280x720就够了后期可以超分。采样步数20到25也够用再高收益递减。如果是云端工具还跟排队有关换个时间段可能就快了。4.4 提示词写了但模型不听话这种情况通常是提示词太抽象。比如你写“悲伤的氛围”模型不知道该怎么表现。改成具体的画面描述“人物低头眼神下垂嘴角微抿冷色调阴影覆盖半张脸”。模型对具体描述的响应远好于抽象概念。还有一个可能是提示词太长超过了模型的有效理解长度。我一般控制在150字以内重点放前面。4.5 常见问题速查表问题可能原因解决方向脸不一致参考图差/权重低/描述不一致换参考图调权重统一描述画面抖动运动幅度太高调低运动幅度衔接跳变色调光线不一致首尾帧控制交叉溶解生成慢分辨率高/步数多降分辨率降步数不听话提示词抽象/太长改具体缩短重点前置手部畸形模型通病避免手部特写或用负面词服装变色描述不固定服装描述写成固定短语复制4.6 几个我踩过的坑第一个坑是贪多。一开始我想做3分钟的片子结果做到一半素材管理就崩了文件太多太乱。后来改成先做30秒跑通全流程再往上加。这个建议我给所有新手先做短的做完整再做长的。第二个坑是在生成阶段追求完美。有些镜头生成了十几次还是不满意其实后期调色和剪辑能救回来不少。不要在单个镜头上死磕先保证整条片子跑通再回头优化个别镜头。第三个坑是忽略音频。画面再好音频拉胯观感直接掉一个档次。配音要清晰音效要贴切背景音乐要压得住。这三样缺一不可。第四个坑是不备份。AI生成的东西有时候会丢工具抽风、网络中断都可能。我的习惯是每生成一批就下载到本地按规范命名归档。这个习惯救过我好几次。5. 进阶方向与质量提升路径5.1 从能看 to 好看的关键跃迁跑通全流程之后你会发现片子“能看”但不够“好看”。这个差距主要在三个地方运镜、光影、节奏。运镜方面可以尝试在提示词里加入镜头运动描述比如“缓慢推近”“环绕拍摄”“从下往上摇”。支持运镜指令的模型会响应这些描述画面会更有电影感。光影方面可以尝试更复杂的光线描述比如“伦勃朗光”“逆光轮廓”“丁达尔效应”。这些词模型见过能理解。节奏方面可以尝试调整镜头时长快慢结合。紧张的地方用短镜头抒情的地方用长镜头。这个需要你多看片子培养感觉。5.2 3D古风风格的特殊处理3D古风是我做得比较多的类型有几个特殊经验。第一材质描述要具体比如“丝绸质感”“青铜纹理”“竹子的半透明感”。第二古风场景里常见的元素比如灯笼、屏风、竹林、庭院模型都见过可以直接用。第三人物服装的形制要准确交领、圆领、褙子这些词模型能区分写对了出来的衣服才对。还有一个技巧是用国画或古画作为风格参考。把一张古画作为风格参考图生成出来的画面会带那种韵味比纯文字描述效果好。5.3 后续可以扩展的方向跑通基础流程后可以往几个方向扩展。一是多角色对话这个难度高需要解决多角色一致性和口型同步。二是长片叙事把多个30秒的片段串成一个完整故事需要更强的剧本能力。三是风格迁移把同一条片子做成不同风格比如水墨、油画、赛博朋克。我个人觉得零基础阶段先把单角色、单场景、30秒的片子做扎实比什么都强。基础打牢了往上加东西才稳。最后分享一个小技巧每次做完一条片子把用到的提示词、参数、遇到的问题都记下来形成一个自己的知识库。下次做的时候直接翻记录效率会高很多。我现在的提示词库已经攒了几百条大部分镜头都能找到参考这就是经验积累的价值。
