说实话AI真人短剧这条赛道现在进场的人不少但真正能把“角色一致性”和“商业变现”这两头都串起来的人没几个。大部分人卡在中间那一段图能出脸稳不住脸稳住了视频一动就崩视频勉强能看一算成本和工期直接劝退。我从去年开始陆续做了一批AI真人短剧的样片和商单踩过的坑基本覆盖了从角色设定、模型训练、分镜拆解、图生视频、口型对齐到接单交付的全流程这套笔记就是把这套流程原原本本拆开讲。这篇内容适合三类人看一是手里有剧本但不知道怎么把真人演员成本降下来的内容团队二是已经会用图生图、图生视频工具但角色脸一换镜头就变人的个人创作者三是想把这项技能变成收入但不知道报价、交付和平台规则怎么处理的新手。我不讲虚的参数、步数、抽卡数量、废片率、单集成本都会给到具体数字你可以直接照着改。1. 先想清楚AI真人短剧到底难在哪1.1 三个卡点决定你能不能做完一集很多新手以为难点是“生成得像真人”其实真人的质感在现在的模型能力下属于最容易解决的一环。真正拖垮项目的是另外三件事。第一是角色一致性。同一集里女主从客厅走到厨房一共五个镜头如果五个镜头的脸型、发型、瞳色、皮肤质感有偏差观众三秒就出戏。观众对真人脸的辨识精度极高人能容忍场景假、道具假但不能容忍“这女的一会儿像A一会儿像B”。第二是动作与口型的可信度。图生视频模型在静态或微动的情况下表现很好一旦让人物走路、转身、快速手势就容易出现肢体形变、穿模、脸部拉伸。而短剧的核心恰恰是对话和情绪人物不说话、嘴不动就变成了PPT动态播放。第三是投入产出比。一集三分钟的短剧如果按平均每个镜头抽卡五次、每次生成都要等单集素材生成时间很容易压到八小时以上加上剪辑、配音、对口型一个人干一天只能出一集。算上算力和时间成本如果没有一套标准化的流程这个项目在第二集就会崩盘。所以我的整体思路是把不可控的生成环节尽可能拆成可控的资产化环节。脸做成资产、场景做成资产、提示词做成模板剩下的才是抽卡。这套思路贯穿后面每一个章节。1.2 为什么“脸稳不住”会直接吃掉你的收益从商业角度看角色一致性不只是审美问题它直接关联三件事。一是完播率与追更率。短剧的付费转化高度依赖角色粘性观众追的其实是“这个人后面怎么样了”。脸一变情感连接就断了第3集之后的付费转化会断崖式下滑。我对比过自己两个系列的数据脸稳的那个系列第5集的完播率比不稳定那个高出接近一倍。二是素材复用率。角色资产一旦稳定你的封面图、切片、二创分发的素材都可以从同一套资产里出边际成本极低。反之每集都要重新抽脸等于每集都从零开始。三是接单时的议价能力。客户看到你交付的样片里角色前后一致才会相信你能交付完整项目。我接过的一个商单对方第一句话就是“你能不能保证主角的脸在十集里不变”这个问题答不上来单子基本就没了。提示不要先做长片再验证一致性。正确顺序是先做15秒的测试片段把同一个角色放在三个不同场景、三个不同景别里确认脸不崩再往下推进整集。2. 角色资产建立把一张脸变成可复用的资产2.1 角色设定表与三视图是后面所有工作量的地基这一步跳过的人后面一定会返工。我要求自己每个主要角色都要有一份角色设定表至少包含以下字段字段说明举例写法姓名/代号内部调用名角色A年龄段决定皮肤与骨相26-30脸型骨相描述具体避免“好看”窄长脸颧骨略高下颌线清晰五官特征眼型、鼻型、唇形内双眼尾微下垂鼻梁直唇偏薄发型发色含长度、分缝、发质及肩黑发中分微卷肤色肤质决定后期调色偏冷白哑光有轻微雀斑常穿服装2-3套固定造型米色针织开衫 / 白衬衫标志细节便于观众记忆左耳小痣、银色细项链三视图正面、侧面45度、半身不是给美术看的是给你抽卡时做参考图用的。我一般用同一角色的三视图 5张表情图组成“参考图包”喂给支持参考图的生成流程。参考图包的图片必须是同一张脸、同一光线、同一妆容混进不同风格的照片会直接污染结果。注意参考图不要用过度美颜或强滤镜的图片磨皮过度会让模型学不到皮肤纹理生成出来是“塑料脸”一到近景就露馅。2.2 角色LoRA训练数据集、参数与一次能跑通的配置想让脸在任何场景、任何角度都稳定最可靠的办法还是训练一个角色LoRA。我试过纯靠参考图提示词硬控短片段可以一旦镜头数上到二十个以上崩的概率会明显上升。数据集我一般准备18-30张这个数量是我反复测试后的甜点区少于15张泛化不足换个角度就变人多于40张容易把背景、服装一起学进去导致换场景时把旧背景带出来。选图的原则很明确6-8张正面、微侧、侧面45度覆盖角度3-5张不同表情平静、微笑、皱眉、惊讶3-4张半身与全身让人物比例被学到2-3张不同光线室内暖光、室外散射光全部为同一人、同一时期、无浓妆变化。打标caption我用统一前缀加触发词的方式比如ohwx person, a woman, ...触发词用一个无意义字符串避免和已有词冲突。每张图的描述写“人物特征 服装 背景 光线”不要写情绪和故事情绪留给提示词阶段。训练参数这套是我目前跑得最稳的底模写实类基础模型真人质感优先不要用二次元底模 分辨率768 或 1024按显存选1024更吃显存但细节更好 batch size1-2 学习率1e-4UNet文本编码器 5e-5 或更低 训练步数1200-180020张图 × 60-90步 网络维度 dim32-64alpha 取 dim 的一半 正则化图可选30-50张通用人像防止过拟合 保存策略每200步存一个最后手动挑为什么是1200-1800步步数太少脸学不进去生成出来是“有点像但不对”步数太多会过拟合表现为换个发型就崩、脸部僵硬、皮肤像蜡。我习惯每200步存一版训练完后用同一组提示词分别生成五张对比哪一版最自然。通常最优解在总步数的60%-75%区间。为什么dim取32-64角色LoRA学的是单一身份信息量不大维度拉太高反而容易把训练图的背景、服装细节一起记住泛化变差。32-64在“像”和“能换场景”之间比较平衡。2.3 不训练模型也能稳住脸的三个替代方案不是每个人都有显卡和时间训练这三种替代方案我实测过各有适用边界。方案一参考图注入 中等重绘幅度。用参考图作为条件输入重绘幅度控制在0.45-0.6之间。低于0.4画面几乎不动场景换不了高于0.65脸就开始漂移。这个方案的优点是快缺点是只能应付近景和固定角度全景基本没法用。方案二种子池锁定。每个角色固定3-5个种子提示词主体描述一字不改只改场景和动作部分。这套方法在“同一场景内换表情”时非常有效跨场景时稳定性一般需要配合参考图一起用。方案三先出全身定妆图再逐镜头局部重绘。先用一张高质量的定妆图作为全片的“锚”每个新镜头都以它为底图做局部重绘只改背景、改手势、改表情人物主体区域用遮罩保护。这套方法稳定性最好缺点是操作繁琐适合镜头数不多、精度要求高的商业单。我的实操建议主角色一定训LoRA配角用方案三路人和背景用方案一。这样算力和时间分配最合理。3. 分镜拆解与画面生成把剧本变成可控的镜头3.1 分镜表怎么写才不会被生成环节卡住剧本是给人看的分镜表是给模型和剪辑看的。我用的分镜表长这样镜号景别时长画面内容人物动作台词/情绪备注S01中景3s客厅沙发暖光坐着低头看手机无建立镜头S02近景2s同场景抬头眼神停顿“你怎么才回来” 平静需口型S03特写2s手部手指收紧无情绪铺垫S04中近景3s玄关方向站起转身“我等了两个小时” 压抑转身易崩这张表有两个关键点。一是每个镜头必须写清“能不能动”。像“转身”“快步走”“大幅手势”这类动作是图生视频的高风险区要提前标注能拆成两个镜头就拆。二是标出口型镜头只有需要口型的镜头才走对口型流程其余镜头用配音环境音覆盖能省掉大量时间。分镜的景别配比我一般按 中景40%、近景30%、特写15%、全景15% 来排。全景最容易暴露场景假和人物比例问题控制比例就是在控制废片率。3.2 提示词模板化固定结构只换变量抽卡效率低八成是因为提示词每次重写。我用的结构是固定的六段式[角色触发词 身份描述] [服装] [动作/表情] [场景与道具] [光线] [镜头与画质]举个实际用的例子ohwx person, a 28-year-old woman with narrow face and thin lips, shoulder-length black hair parted in middle, wearing beige knit cardigan and white shirt, sitting on sofa, looking down at phone, calm expression, modern living room, warm floor lamp, blurred background, soft warm side light, shallow depth of field, medium shot, 50mm lens, photorealistic, natural skin texture这套模板的好处是换镜头时只需要改第三段和第四段前两段角色和服装一个字都不动。角色描述的不一致是脸漂移最常见的原因之一很多人换个镜头就把“thin lips”漏了模型自然给你换一张脸。画质词我建议克制。堆一堆“8K、masterpiece、best quality”对写实类模型意义不大反而容易让皮肤变得像磨皮。我通常只留photorealistic, natural skin texture, film grain三个词效果更接近真人短剧的质感。3.3 批量抽卡与筛选把废片率当成核心指标我给自己定的标准是单镜头抽卡不超过6张废片率控制在50%以内。超过这个数说明提示词或参考图有问题继续抽是浪费算力。抽卡流程是先用低分辨率快速出4张构图选构图最对的1张再用高分辨率重绘细化。这比直接高分辨率抽4张省一半以上时间。筛选只看三个点脸对不对、手和肢体有没有明显畸形、构图能不能用。三个都过就留不要纠结“这张光影更好看”光影可以后期调。生成时我会把同一个角色的种子记下来建立一个种子表角色种子适用景别备注角色A1234567近景/特写脸部最稳角色A7654321中景身体比例好角色B2468135中景侧脸自然有了种子表紧急补镜头时就不用重新抽卡。注意每次切换场景先把参考图重新挂上不要指望模型“记得”上一张的脸。上下文记忆在多数生成流程里是不存在的。4. 图生视频让静帧动起来的实操要点4.1 首帧质量决定成片上限图生视频模型本质上是“在给定首帧的基础上推测后续帧”所以首帧有任何瑕疵后面都会被放大。我总结的首帧验收标准是放大到200%看脸部没有糊、眼神有焦点、手指数量正确、衣物边缘干净。任何一条不过回去重出图不要指望视频环节能救。另一个容易忽略的点是首帧的构图要预留运动空间。如果人物已经贴到画面边缘一旦模型让人物往前走就会出画或者脸部被裁。我一般让人物主体占画面中间60%的区域四周留出余量。4.2 运动幅度与运镜提示写什么不写什么图生视频的提示词和出图逻辑完全不同它更关注“变化”。我一般只写三类信息主体动作she slowly turns her head to the left and blinks镜头运动slow push in、static camera、slight handheld shake环境动态curtains gently moving、light flickering运动幅度控制是关键。我的经验值是单镜头内只允许一个主要动作。想让人物“站起来转身说话”几乎必崩。拆成三个镜头每个镜头一个动作稳得多。不同动作的风险等级我整理成这样动作类型风险处理方式眨眼、微笑、轻微点头低直接生成转头、低头、抬手中缩短时长至2s内多抽卡站起、坐下中高拆成两个镜头用剪辑接走路、跑动高只拍中远景避免近景全身快速手势、递东西高用特写切镜规避4.3 口型对齐三条路线按预算选口型是AI真人短剧的“信任门槛”。三条路线我都跑过路线一通用对口型工具。上传人物视频和配音音频自动对齐嘴型。优点是快缺点是侧脸和遮挡场景容易出错牙齿细节一般。适合中近景对话。路线二先生成音频再驱动。用音频驱动人脸生成口型精度更高但人物头部动作会受限容易变成“只有嘴在动”。适合特写镜头。路线三规避。用背影、侧脸、低头、遮挡、切镜、画外音来绕开正面说话镜头。这是最省钱也最省时的做法我现在的片子里真正需要正面口型的镜头控制在30%以内。实际排期上我建议先配音再对口型。如果先做视频再配音你会在音频长度上被卡死只能反复调速最后声音变得不自然。配音时按分镜表逐句录每句留0.3-0.5秒停顿方便后期切。4.4 拼接与节奏短剧的“钩子”在剪法上素材生成完之后剪辑阶段才是真正决定观众留不留的地方。我遵守几条硬规则前3秒必须出现冲突或悬念每个镜头不超过4秒情绪镜头可以放到5秒转场尽量用硬切少用花哨转场。帧率统一到25或30所有素材先统一分辨率再剪避免混用导致画面抖动。调色统一放在最后一步先粗剪定节奏再统一套一个色调最后回到单个镜头微调。这个顺序能省掉大量重复工作。5. 声音、调色与成片统一5.1 音色选择别让声音毁了一张好脸配音是很多人忽略的一环。AI真人短剧的配音我优先选中低音、语速偏慢、气息自然的音色。语速快、音调高的音色听起来像广告观众第一反应就是“假的”。实操上我会给每个角色固定一个音色ID记录下来和角色设定表放在一起。同一角色跨集必须用同一音色否则观众会认为是换了人。语速我一般调到 0.9-0.95 倍句尾做轻微降调处理听起来更像真人说话。背景音不要全程铺满留白反而是真实感的来源。5.2 调色与画质统一消除“镜头间跳色”AI生成的镜头之间色温、对比度、噪点往往不一致直接拼在一起会有明显的“闪”。我的做法是粗剪完成后对所有镜头统一套一个基础LUT再做逐镜头匹配——以第一个镜头为基准把后面镜头的白平衡、亮度往基准上靠。另一个细节是统一颗粒感。生成图有的干净有的带噪点我会给全片统一加一层很轻的胶片颗粒把所有镜头拉到同一个质感基准上。这一步做完成片的“塑料感”会明显下降。我的经验不要试图让每个镜头都完美要让每个镜头“属于同一部片”。统一感比单帧精美更重要。6. 成本核算与提效一集三分钟到底花多少6.1 算一笔明白账以一集3分钟、约45个镜头为例我的实际消耗大致如下项目消耗说明角色LoRA训练1-2小时20张图1500步出图抽卡3-4小时45镜头×平均4张图生视频2-3小时含排队与重抽对口型1-1.5小时约15个正面镜头配音与音效1小时含剪辑调整剪辑调色2小时粗剪统一调色合计约10-12小时单人单机算力成本按云端按量计费一集约在几十到一百多元区间具体取决于分辨率和重抽次数。真正贵的是时间所以提效的核心不是省钱是减少重抽。6.2 四个真正有效的提效动作第一建立提示词库。把常用的场景、光线、景别描述存成片段用的时候拼接。我现在出图基本不手写提示词全靠拼。第二建立角色种子表。前面讲过补镜头时直接调种子省掉大量试错。第三分层渲染。人物和背景分开处理人物用高分辨率背景可以降低一档。成片里观众注意力在脸上背景糊一点没人发现。第四控制正面口型镜头比例。这一条能省下30%以上的时间前面已经展开讲过。7. 商业变现路径与交付规范7.1 四条变现路线按门槛从低到高一是平台分账与流量收益。把成片发到有短剧分账机制的平台上靠播放和完播拿收益。这条路门槛最低但需要持续更新单集收益不稳定适合作为流量入口。二是商单定制。品牌方、本地商家、知识付费从业者需要短剧形式的宣传片。这是目前现金流最稳的一条单条报价根据时长和复杂度从几百到几千不等。接单的关键是先给样片再谈价格样片必须体现角色一致性。三是代做与外包。给其他内容团队做角色资产、图生视频、对口型等单项服务。适合技术强但不擅长谈客户的人单价低但需求量大。四是教程与模板售卖。把提示词库、分镜表模板、训练配置整理成产品。这条路边际成本最低但需要你先有可验证的作品。7.2 接单报价与交付清单我的报价逻辑是按时长定基础价按镜头复杂度加价按修改轮次封顶。比如基础价按每分钟计包含角色一致性处理需要正面口型的镜头每个加价修改超过两轮另计。这样说清楚后面不会扯皮。交付时我一定会给这几样东西成片横竖两版、封面图3张、切片素材3-5条、角色设定表、源工程文件。客户拿到这些能自己二次分发满意度会高很多。7.3 合规底线别在小事上翻车这块必须单独说因为它决定你能不能长期做。肖像与素材来源训练和参考图用的照片必须是自有或已获授权的。用网上随便找的真人照片训练角色模型风险极高我不碰。日常素材尽量用自己拍的、购买的商用素材库或完全由模型生成的虚构人物。AI生成内容标识各内容平台对AI生成内容一般都有主动标注的要求发布时按平台规则如实勾选或注明不要心存侥幸。这既是规则问题也是信任问题。内容本身剧情、台词、画面避免涉及真实机构、真实人物、争议话题也不要做擦边内容。短剧是面向大众的内容稳妥比刺激更值钱。音乐与字体背景音乐用可商用曲库字体用开源可商用字体这两个是最容易被告的细节点。8. 常见问题速查与踩坑记录8.1 问题排查表现象最可能的原因处理方式换镜头脸就变角色描述不一致/未挂参考图固定前两段提示词重挂参考图皮肤像塑料画质词堆太多/训练图磨皮过度删掉质量词换训练图手部畸形手部占画面比例过大改构图手放在画面边缘或遮挡视频人物脸部拉伸运动幅度过大缩短时长只保留一个动作口型对不上音频与视频长度不匹配先配音按句切分再对口型镜头间跳色未统一调色统一LUT 逐镜头白平衡匹配角色过拟合训练步数过高/图太单一降步数增加角度和光线多样性8.2 我踩过的几个坑坑一训练图混了不同妆容。早期我图省事把角色不同时期的照片混在一起训练结果模型学到的是“平均脸”生成出来谁都不像。后来严格限定同一时期、同一妆容问题才解决。坑二追求单帧精美忽略统一感。有段时间我每张图都精修结果拼起来像五个不同剧组拍的。后来放弃单帧完美转向统一质感成片观感反而提升明显。坑三正面口型镜头拍太多。第一集我几乎每个对话都用正面口型工期直接翻倍还有几个镜头怎么都对不上。第二集开始大量用侧脸、背影、切镜效率和质量同时上来了。坑四没做种子表补镜头全靠重抽。客户临时要加一个镜头我花了四十分钟才抽出一张脸对得上的图。做了种子表之后这类补拍基本五分钟搞定。坑五交付没写修改轮次。有个单子客户反复改台词导致口型和配音全部重做来回改了六轮。后来我在报价单里明确写清包含两轮修改超出另计扯皮少了很多。这套流程跑顺之后我一个人稳定产出是两天一集质量能撑住商单交付。真正拉开差距的不是你用哪个模型而是你有没有把角色、提示词、种子、分镜这些东西资产化。模型每几个月就换一代但资产和流程是可以一直复用的——我现在换个新模型第一件事就是把旧的提示词库和角色参考图包直接迁移过去半天就能恢复产能。
