【免费下载链接】tongflowModality-First GenAI Platform项目地址https://gitcode.com/gh_mirrors/to/tongflow点击查看免费下载TongFlow 是一个开源的 Modality-First GenAI 工作流平台把文字、图片、音频、视频当作可连接的材料用可视化画布把 AI 生成串成流水线。本文带你用 TongFlow 从零生成一首完整 MV先写歌词再生成带人声的歌曲然后产出人物与场景图按分镜生成视频片段最后拼接合成为成片。整个过程无需写代码全部在画布上拖拽连线完成。TongFlow 是什么一块把 AI 能力接成流水线的画布TongFlow 的核心思想是模态优先每个节点代表一种信息形态文本、图像、音频、视频……每种能力又分四类基本操作操作作用本教程用到了添加放入原材料文本输入、添加图片转换一种模态变另一种文生文写歌词、文生音乐、文生图、多图生视频组合多个材料合成一个视频拼接、音视频合并拆分与批量拆解与批量处理排列与批量分组分镜批处理官方功能表与 MV 示例见中文说明文档 docs/README_ZH.md仓库还预置了一个可导入的示例工作流 public/example.json适合先在画布上跑一遍熟悉节点。环境准备安装 TongFlow 并装好插件有两种上手方式桌面版 / 云版下载安装包后登录即可使用插件与执行由云端托管最简单。自托管用 Docker 一条命令拉起docker-compose.yml数据存本地、无需账号docker compose up -d打开画布后做两件事安装插件右上角打开插件管理器。生成 MV 至少需要三类插件——文本生音乐如tongflow-modal-ace-step或tongflow-modal-minimax-music3、文生图如tongflow-modal-z-image、图生视频如tongflow-modal-minimax-h3。配置凭据右上角齿轮打开设置填入对应 API Key如MODAL_TOKEN_ID/MODAL_TOKEN_SECRET。设置是通用的环境变量编辑器改完即时生效、无需重启。第一步写歌词——用文本节点产出歌词添加一个文本输入节点写下你的主题例如一首关于夏夜星空的民谣温暖治愈。接一个文本生成文本生成 / 改写节点在提示词里要求输出完整歌词含主歌、副歌结构并指定风格与语言。运行后歌词就作为一个文本材料留在画布上——后续节点直接连它无需复制粘贴。 歌词不满意只重跑这一个节点即可后面的歌曲、分镜流程原样保留。第二步生成歌曲——歌词变带人声的完整歌曲把歌词文本节点连到文本生成音乐节点源码见 packages/tongflow/src/canvas/nodes/transfer/text-gen-music.tsx节点上可以直接选语言中/英/粤/日/韩等、BPM60–180 或 auto、调式如 C major和时长让歌曲节奏贴合你的 MV 氛围歌词 风格描述一起提交插件会输出一段带人声的完整歌曲主流音乐生成插件最长约 5 分钟立体声。跑完后画布上多了一个音频节点点开即可试听。这一步的能力和实现是分离的同一首歌你之后可以随时换成另一家音乐生成插件重跑其余流程不用动。第三步生成人物与场景——文生图打底MV 的视觉基础是一组风格统一的图用文本生成文本节点把歌曲提炼成视觉设定主角形象、场景、色调、服装等一段设定描述比一句一句好。接文本生成图像节点把设定 character design, 场景关键词作为提示词分别生成人物设定图 1–2 张主场景图 2–3 张生成结果都是图片材料可继续分支觉得哪张不对从它重新生成而不是推翻重来。第四步搭分镜、生成视频——核心环节这一步决定 MV 的镜头感也是 TongFlow 工作流最能体现价值的地方1. 规划分镜用排列与批量分组节点把每个镜头写成一行文本镜头描述 用到的参考图编号例如镜头1主角仰望星空慢推镜头参考人物图1镜头2星空延时云层流动参考场景图1镜头3主角奔跑裙摆飘动参考人物图1 场景图22. 分镜生视频每个镜头接一个视频生成节点按效果需求选节点适用场景说明多图生视频有角色 场景参考图最多 9 张参考图 文本融合生成新镜头适合保持角色一致性见 packages/tongflow/src/canvas/nodes/compose/images-gen-video.tsx首尾帧生成视频需要镜头间平滑转场上一镜头尾帧 下一镜头首帧插值图生视频单张场景图动起来静态图动态化节点上可统一设置分辨率如 1280×720、画幅比例与时长每镜 5 秒左右最稳。把歌曲的节奏段落和镜头顺序对齐画面切换就自然有卡点感。3. 批量跑镜头分镜多的时候不用一个个点运行切到执行模式画布支持批量执行整条流水线镜头按顺序逐个产出视频片段。第五步后期合成——拼接、合并音轨、导出视频拼接把所有镜头片段按分镜顺序连入拼接节点packages/tongflow/src/canvas/nodes/compose/concat-video.tsx得到无音频的完整画面音视频合并把拼接后的视频与第二步生成的歌曲音频一起连入合并节点packages/tongflow/src/canvas/nodes/compose/merge-video-audio.tsx输出带音乐的最终 MV 文件。如果你的分镜顺序想调整拖动节点、改连线即可——这就是工作流的优势改一处全链路可重跑。常见问题MV 生成时怎么避坑角色脸变了优先用多图生视频并把人物设定图作为参考图而不是纯文字描述镜头太长易崩坏单镜控制在 5–10 秒长镜头拆成两镜再用拼接接上想换音乐模型只替换歌曲节点背后的插件歌词和分镜全部复用结果也是材料从任意中间产物比如某张图、某段视频都能继续分支做新版本不用从头再来。为什么值得用 TongFlow 做 MVTongFlow 是开源项目AGPL-3.0画布、导出器与 Agent 工具共用同一套节点注册表你可以在 Claude Code 或任意 MCP 客户端里让 Agent 帮你搭工作流生成物旁边存一份.tongflow.json随时回画布打开、修改、重跑。插件生态遵循统一的 ABI 契约packages/tongflow/abi/tongflow.abi.json想自己接模型参考插件开发文档 docs/plugins.md。喜欢这个项目Star 一下支持开源小结文本歌词→ 音乐歌曲→ 图像人物/场景→ 视频分镜镜头→ 拼接合并成片五步全部在 TongFlow 画布上连线完成。把本文的分镜表换成你的主题你就能做出第一支 AI MV 了 赞分享【免费下载链接】tongflowModality-First GenAI Platform项目地址https://gitcode.com/gh_mirrors/to/tongflow点击查看免费下载相关推荐如何用YuE生成专业级音乐从歌词到编曲的完整流程指南如何用YuE生成专业级音乐从歌词到编曲的完整流程指南 想要创作属于自己的专业级音乐却苦于没有音乐基础YuE开源音乐生成模型为你打开了一扇新的大门YuE是一人工智能音乐生成媒体生成音频大模型本地部署AI 技能模型评测CANN/asc-devkit bfloat16精度转换函数\_\_bfloat162bfloat16\_rd 产品支持情况 | 产品 | 是否支持 | | | | | Ascend 950PR/Ascend 950DTAI 技能/插件前端移动开发后端图形学YuE2 歌曲生成实战指南从风格与歌词到 48kHz 立体声的完整管线YuE2 歌曲生成实战指南从风格与歌词到 48kHz 立体声的完整管线 本篇技术指南完整讲解如何在本地运行 YuE2 的端到端歌曲生成流程从书写风格提示s人工智能音乐生成媒体生成音频大模型本地部署AI 技能模型评测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
解法)
