1. 从图文到短视频的自动化链路拆解公众号文章和视频号短视频本质上就是两种完全不同的内容形态。前者是线性阅读读者可以自己控制节奏扫一眼小标题就能决定要不要继续看后者是时间轴驱动观众被动接收信息前3秒抓不住注意力就直接划走。我做过一个粗略统计同一篇内容纯文字在公众号的完读率大概在15%到25%之间但转成短视频之后如果前5秒没有强钩子完播率连10%都不到。这个数据差异决定了我们不能简单地把文章“读一遍”就当成视频发出去。1.1 为什么需要智能体而不是手动剪辑手动做一条3分钟的视频号短视频流程大概是这样的先通读文章提炼核心观点写口播脚本录音或者找配音找素材画面对齐音画时间轴加字幕调色导出。这一套下来熟手也要40分钟到1小时。如果一天要发3条那就是3个小时纯体力活。更麻烦的是这种重复劳动会让人产生严重的倦怠感做到第十条的时候质量一定会下滑。智能体在这里的价值不是“替代创作”而是“替代重复劳动”。你把文章丢进去它自动完成脚本提炼、语音合成、画面匹配、字幕生成、视频合成这一整条流水线。你需要做的只是最后审一遍调整几个关键帧或者换一段BGM。我实测下来一条3分钟的视频从输入文章到导出成品整个链路跑通之后大概在2到4分钟之间具体取决于文章长度和TTS服务的响应速度。1.2 整条链路的核心模块划分把这条自动化流水线拆开来看其实就四个核心模块内容理解与脚本生成读取公众号文章提取核心论点生成适合口播的脚本。这一步可以用大语言模型来完成关键是提示词的设计要控制好输出格式。语音合成把脚本转成音频文件同时拿到每个句子的时间戳。时间戳是后面做字幕和画面切换的依据没有它整个链路就断了。画面素材匹配与合成根据脚本内容匹配对应的图片或视频片段用ffmpeg把音频、画面、字幕合成最终视频。自动化调度把上面三步串起来通过CDPChrome DevTools Protocol控制浏览器完成公众号文章抓取和视频号发布形成一个闭环。这四个模块里最容易被低估的是时间戳的精度。我一开始用普通的TTS接口返回的音频没有逐句时间戳只能按字数估算结果字幕和语音对不上观众看着非常别扭。后来换成Whisper做强制对齐精度才上来。1.3 适用人群与前置知识这套方案适合谁呢如果你是一个人运营公众号同时想拓展视频号渠道但又不愿意花大量时间在剪辑上那这套东西就是为你准备的。如果你是小团队的内容运营每天需要批量产出短视频那这套方案可以帮你把人力从重复劳动中解放出来。前置知识方面你不需要是程序员但需要能看懂基本的命令行操作知道什么是API Key能在终端里跑Python脚本。如果你完全没接触过编程建议先花半天时间了解一下Python的基本语法和pip安装包的方法后面操作起来会顺畅很多。2. 核心工具选型与底层原理工具选型这件事我的原则是能用成熟方案就不自己造轮子但关键环节必须可控。下面逐个拆解每个模块的选型逻辑。2.1 ffmpeg视频合成的基石ffmpeg在这条链路里的角色是“总装车间”。所有音频、画面、字幕最终都要靠它来合成。为什么不用剪映或者Premiere的自动化接口因为那些工具的自动化能力要么收费要么不稳定而且很难做到完全无人值守。ffmpeg是命令行工具只要参数写对了它就能稳定输出结果适合嵌入到自动化流程里。安装ffmpeg在Windows上稍微麻烦一点。官网只提供源码普通用户需要下载编译好的二进制文件。我一般推荐用winget安装命令是winget install ffmpegmacOS用户直接用Homebrewbrew install ffmpegLinux用户用apt或者yum都行。安装完之后在终端输入ffmpeg -version能看到版本号就说明成功了。这里有一个坑要注意ffmpeg有GPL和LGPL两个版本。GPL版本包含了一些专利编码器比如x264功能更全LGPL版本去掉了这些编码器但可以用于商业闭源软件。如果你只是自己用直接装GPL版本就行功能最完整。2.2 Whisper语音识别与时间戳对齐Whisper是OpenAI开源的语音识别模型它的核心价值在于两点一是识别准确率高二是能输出词级别的时间戳。时间戳这个东西对于做字幕和画面同步来说太重要了。Whisper有多个尺寸的模型tiny、base、small、medium、large。模型越大识别越准但速度越慢。我实测下来small模型在中文语音上的表现已经足够好了识别准确率大概在95%以上而且速度可以接受。如果你用的是带独立显卡的机器medium模型也可以考虑但large模型就没必要了速度太慢性价比不高。安装Whisper很简单pip install openai-whisper但要注意Whisper依赖PyTorch如果你没有GPU它会自动用CPU跑速度会慢很多。一段3分钟的音频CPU跑small模型大概需要2到3分钟GPU大概20到30秒。如果你经常用建议搞一块入门级显卡体验会好很多。2.3 CDP浏览器自动化的关键CDP全称是Chrome DevTools Protocol它是Chrome浏览器提供的一套调试接口。通过CDP你可以用代码控制浏览器的行为比如打开网页、点击按钮、输入文字、截图等等。为什么不用Selenium或者Puppeteer因为CDP更底层控制更精细而且不需要额外安装WebDriver。你只需要在启动Chrome的时候加一个参数chrome --remote-debugging-port9222然后就可以用Python的websocket-client库或者pychrome库来连接了。我一般用pychrome封装得比较好用起来顺手。CDP在这条链路里的作用是自动打开公众号文章页面提取正文内容以及自动打开视频号发布页面上传视频、填写标题和描述、点击发布。这两个环节如果手动做每次至少花5分钟用CDP自动化之后几秒钟就搞定了。2.4 智能体框架调度中枢智能体框架的作用是把上面这些工具串起来形成一个完整的流水线。你可以用Coze、Dify这类平台来搭建也可以用Python自己写。平台搭建的好处是可视化拖拖拽拽就能完成适合不熟悉编程的人Python搭建的好处是灵活想怎么改就怎么改而且不依赖第三方平台的稳定性。我自己的选择是Python因为整条链路里有很多细节需要微调比如ffmpeg的参数、Whisper的模型选择、CDP的超时设置这些在平台上很难做到精细控制。而且Python脚本可以本地跑不依赖网络速度更快。3. 实操全流程从文章到视频的完整实现下面进入实操环节。我会按照数据流动的顺序一步一步拆解每个环节的具体操作。3.1 第一步用CDP抓取公众号文章正文公众号文章的正文在HTML里是动态加载的直接用requests库抓不到完整内容。用CDP就简单了因为它控制的是真实浏览器页面渲染完成之后再去取内容就能拿到完整的正文。具体操作是这样的先启动Chrome的远程调试模式然后写一个Python脚本连接上去打开目标文章链接等待页面加载完成然后用JavaScript获取正文元素的innerText。import pychrome import time browser pychrome.Browser(urlhttp://127.0.0.1:9222) tab browser.new_tab() tab.start() tab.Page.navigate(urlhttps://mp.weixin.qq.com/s/xxxxx) time.sleep(3) # 等待页面加载 result tab.Runtime.evaluate(expressiondocument.querySelector(#js_content).innerText) content result[result][value] tab.stop()这里有一个细节要注意time.sleep(3)这个等待时间不是固定的取决于网络速度和页面复杂度。更稳妥的做法是轮询检查某个元素是否出现而不是死等固定时间。拿到正文之后我一般会做一次清洗去掉多余的空行和特殊字符然后保存成txt文件方便后续处理。3.2 第二步用大语言模型生成口播脚本拿到文章正文之后下一步是把它转成适合口播的脚本。这一步的关键是提示词的设计。口播脚本和书面文章的区别很大书面文章可以用复杂的长句和嵌套结构口播必须用短句一句话只说一个意思而且要有节奏感。我用的提示词大概是这样的你是一个短视频口播脚本写手。请把下面的文章改写成一段3分钟左右的口播脚本。要求1. 开头3秒必须有强钩子用提问或者反常识的观点抓住注意力2. 每句话不超过20个字3. 每段之间要有自然的过渡4. 结尾要有明确的行动号召。输出格式为纯文本每句话一行。这个提示词里最核心的是“每句话不超过20个字”和“每句话一行”。前者保证了口播的节奏感后者方便后续按行做时间戳对齐。生成脚本之后我一般会人工过一遍改掉几个不太顺的地方。这一步不能省因为大语言模型有时候会生成一些书面语味道很重的句子读起来很别扭。3.3 第三步用Whisper生成带时间戳的音频脚本确定之后下一步是生成音频。这里有两种方案一种是用TTS接口直接生成音频然后用Whisper做强制对齐拿到时间戳另一种是直接用Whisper的TTS功能但Whisper本身不是TTS工具所以还是得用第一种方案。TTS我一般用Edge TTS免费而且效果不错。安装很简单pip install edge-tts生成音频的命令是edge-tts --text 你的脚本内容 --write-media output.mp3 --voice zh-CN-YunxiNeuralzh-CN-YunxiNeural是一个男声语速适中适合知识类内容。如果你想要女声可以用zh-CN-XiaoxiaoNeural。拿到音频之后用Whisper做强制对齐import whisper model whisper.load_model(small) result model.transcribe(output.mp3, word_timestampsTrue) for segment in result[segments]: print(segment[start], segment[end], segment[text])Whisper返回的segments里包含了每个句子的开始时间、结束时间和文本内容。这些数据就是后面做字幕和画面切换的依据。3.4 第四步用ffmpeg合成最终视频这是整条链路里最复杂的一步因为ffmpeg的参数很多稍微写错一个地方就会报错。我一般把合成过程分成三个子步骤先生成字幕文件再准备画面素材最后合成。字幕文件用SRT格式结构很简单1 00:00:00,000 -- 00:00:03,500 这是第一句字幕 2 00:00:03,500 -- 00:00:07,200 这是第二句字幕用Python根据Whisper的输出生成SRT文件然后就可以用ffmpeg烧录字幕了。画面素材方面我一般用两种方案一种是纯色背景加文字适合口播类内容另一种是用Pexels或者Unsplash的免费图片根据脚本内容自动匹配。纯色背景的方案更简单也更稳定推荐新手先用这个。合成命令大概是这样的ffmpeg -i audio.mp3 -vf subtitlessubtitle.srt:force_styleFontSize24,PrimaryColourHFFFFFF -c:v libx264 -c:a aac -shortest output.mp4这个命令的意思是以音频为基准把字幕烧录到画面上输出一个H.264编码的MP4文件。-shortest参数保证视频长度和音频一致不会出现黑屏或者静音的情况。3.5 第五步用CDP自动发布到视频号视频合成好之后最后一步是发布。视频号的发布页面可以用CDP自动化操作打开页面点击上传按钮选择文件填写标题和描述点击发布。tab.Page.navigate(urlhttps://channels.weixin.qq.com/platform/post/create) time.sleep(5) # 上传视频文件 tab.Runtime.evaluate(expressiondocument.querySelector(input[typefile]).click()) # 这里需要用CDP的DOM.setFileInputFiles方法选择文件上传文件这一步比较特殊不能直接用JavaScript设置文件路径需要用CDP的DOM.setFileInputFiles方法。具体操作是先找到文件输入元素的nodeId然后调用这个方法。发布之前一定要人工检查一遍确认标题、封面、描述都没问题再点发布。我一般会把发布按钮的点击操作单独放在最后前面所有步骤都确认无误之后再执行。4. 常见问题与排查技巧实录这条链路我跑了大概三个月踩过的坑不少。下面整理几个最典型的问题和解决方法。4.1 字幕和语音对不上怎么办这是最常见的问题原因通常有两个一是Whisper的时间戳精度不够二是ffmpeg的字幕渲染有延迟。如果是Whisper的问题可以尝试换更大的模型比如从small换成medium。但更根本的解决方法是做一次手动校准把音频和字幕同时播放找到偏移量然后在生成SRT文件的时候统一加上这个偏移量。如果是ffmpeg的问题检查一下-vf参数里有没有加setpts滤镜。有时候音频和视频的起始时间不一致会导致字幕整体偏移。加一个-async 1参数可以强制音频同步。4.2 ffmpeg合成速度太慢怎么优化ffmpeg默认用CPU编码速度确实慢。如果你有NVIDIA显卡可以用硬件编码ffmpeg -i audio.mp3 -vf subtitlessubtitle.srt -c:v h264_nvenc -c:a aac output.mp4h264_nvenc是NVIDIA的硬件编码器速度比CPU快3到5倍。AMD显卡对应的是h264_amfIntel核显对应的是h264_qsv。但要注意硬件编码的画质会比CPU编码稍微差一点如果你对画质要求很高还是用CPU编码只是多等一会儿。4.3 CDP连接不稳定怎么处理CDP连接有时候会断尤其是在页面加载时间比较长的时候。解决方法是在每次操作之前检查连接状态如果断了就重新连接。另外Chrome的远程调试端口有时候会被占用启动之前先确认端口没有被其他程序占用。还有一个坑是Chrome更新之后CDP的接口可能会有变化。如果你发现之前能用的代码突然报错了先检查Chrome版本然后去官方文档看看接口有没有变动。4.4 常见问题速查表问题现象可能原因解决方法字幕整体偏移音频和视频起始时间不一致加-async 1参数或手动校准偏移量ffmpeg报错“Unknown encoder”使用了不支持的编码器检查ffmpeg版本确认编码器已编译进去Whisper识别准确率低模型太小或音频质量差换medium模型或先做降噪处理CDP连接超时页面加载太慢或端口被占用增加等待时间检查端口占用情况视频号上传失败文件格式或大小不符合要求确认是MP4格式大小不超过1GB4.5 几个容易被忽略的细节第一个细节是音频的采样率。Edge TTS默认输出24kHz的音频但ffmpeg默认按44.1kHz处理如果不做转换可能会导致音画不同步。解决方法是在ffmpeg命令里加-ar 44100参数强制统一采样率。第二个细节是字幕的字体。ffmpeg烧录字幕的时候如果系统里没有对应的字体会显示成方块。解决方法是在force_style里指定一个系统里肯定有的字体比如FontNameSimHei。第三个细节是视频号的封面。视频号发布的时候如果不手动设置封面它会自动截取视频的第一帧。第一帧如果是黑屏或者模糊的画面封面就会很难看。解决方法是在合成视频的时候把第一帧设成一张精心设计的封面图。5. 智能体调度的工程化思考把上面这些步骤串起来之后你会发现整个链路其实是一个典型的ETL流程提取抓取文章、转换生成脚本和音频、加载合成视频并发布。智能体在这里的角色是调度器它负责按顺序执行每个步骤处理异常记录日志。5.1 异常处理与重试机制自动化流程最怕的就是某个环节卡住导致整个链路中断。我的做法是给每个步骤都加上重试机制如果某个步骤失败了等几秒钟再试一次最多试三次。三次都失败就跳过这一步继续执行后面的步骤同时记录错误日志。比如Whisper识别失败的时候可以先检查音频文件是否存在如果存在就重试如果重试三次还是失败就跳过字幕生成直接合成一个没有字幕的视频。虽然效果差一点但至少不会整个流程卡死。5.2 日志记录与进度追踪日志这个东西平时觉得没用出问题的时候就是救命稻草。我一般会在每个步骤开始和结束的时候各打一条日志记录时间戳、步骤名称、执行结果。这样出问题的时候一眼就能看出是哪个环节卡住了。日志的格式我一般用JSON方便后续做统计分析{timestamp: 2026-01-15T10:30:00, step: whisper_transcribe, status: success, duration: 25.3}5.3 性能优化的几个方向如果你每天要处理大量文章性能就是一个必须考虑的问题。我总结下来有三个优化方向并行处理Whisper识别和ffmpeg合成这两个步骤可以并行因为它们之间没有依赖关系。用Python的concurrent.futures库可以轻松实现。缓存机制如果同一篇文章被多次处理可以把中间结果缓存起来避免重复计算。比如Whisper的识别结果可以存成JSON文件下次直接读取。硬件加速前面提到的GPU编码和GPU推理是最直接的提速手段。如果预算允许搞一块带Tensor Core的显卡Whisper的推理速度能提升10倍以上。5.4 关于智能体框架的选择建议最后说一下智能体框架的选择。如果你只是想快速验证想法用Coze或者Dify这类平台就够了拖拖拽拽就能搭出一个能跑的流程。但如果你打算长期用而且对稳定性和可控性有要求建议还是用Python自己写。平台搭建的智能体和Python搭建的智能体最大的区别在于调试能力。平台上出了问题你只能看日志很难深入排查Python脚本出了问题你可以打断点、单步调试定位问题的效率高很多。而且Python脚本可以版本控制每次改动都有记录回滚也方便。我自己是先用Coze搭了一个原型验证了整条链路的可行性然后花了两天时间用Python重写了一遍。重写之后的版本运行速度提升了大概40%而且稳定性好了很多连续跑一周都没有出过问题。这套方案后续还可以扩展的方向包括自动生成视频封面、自动匹配BGM、多平台同步发布比如同时发到视频号和其他短视频平台。核心思路是一样的就是把重复劳动交给代码把创造力留给自己。
