【免费下载链接】FireRedTTS3FireRedTTS3: Multilingual and Multi-Dialect Voice Cloning with Instruction-Guided Voice Design and Speech Editing项目地址https://gitcode.com/gh_mirrors/fi/FireRedTTS3点击查看免费下载FireRedTTS3 是一个统一的多语言语音生成与编辑 TTS 系统Base 版支持24 种语言、21 种中文方言的零样本语音克隆Instruct 版还能用自然语言完成音色设计与语音编辑。其核心思路是把Qwen3 1.7B 大语言模型当作自回归骨干用DiT 流匹配头以 patch4 帧 latent约 160ms为粒度做扩散解码全程在连续语音 latent上操作而非离散 token。下面按模块拆解这套 patch 级扩散自回归 TTS 架构的每个关键设计。1. 项目总览一个仓库搞定克隆、音色设计与语音编辑 FireRedTTS3 提供两个模型变体FireRedTTS3-Base给一段参考音频 其文本即可克隆音色合成任意新文本24 语言 21 种中文方言FireRedTTS3-Instruct单模型统一 4 类任务零样本语音克隆in-context learning音色设计只给年轻女性、温柔、语速稍慢这样的自然语言描述就能造出全新声音语义编辑按指令插入 / 删除 / 替换词声学编辑按指令调整语速 / 音高 / 音量对外入口只有两个类定义在 fireredtts3/core.pyFireRedTTS3Base 管线与FireRedTTS3Instruct指令管线。2. 整体架构图解三大组件如何协作整条管线可以概括为tokenizer 定表示、LLM 管规划、DiT 出细节组件角色关键文件RedAE Tokenizer24kHz 波形 ↔ 25Hz×64 维连续 latentfireredtts3/redae/redae.pyBackbone TransformerQwen3 1.7B 自回归生成 停止判断fireredtts3/llm/fireredtts3_base.pyPatch Encoder4 帧 latent 聚合成 1 个 LLM tokenfireredtts3/llm/patch_encoder.pyDiT 流匹配头10 步 ODE 去噪出当前 patchfireredtts3/llm/dit.pyCAM512 维说话人向量克隆音色的来源fireredtts3/campp/campp.py3. RedAE把 24kHz 波形压成 25Hz 的 64 维连续 latent 传统 TTS 常把音频量化成离散 token量化必然丢信息。FireRedTTS3 选择语义丰富的连续表示其编码器RedAEAudioEncoder分四步切块24kHz 波形按 480 个采样点20ms切块得到 50Hz 帧序列Qwen3 编码18 层、hidden 896 的 Qwen3 Transformer带滑动窗口注意力逐帧编码CLS 下采样Qwen3ClsDownsample 用可学习 CLS token 再下采样 2 倍 →25Hz 帧率瓶颈压缩输出压到64 维latent解码方向完全镜像Qwen3 解码器上采样后接一个 ISTFTHead——直接回归对数幅度谱与相位cos/sin 分解再用可微 ISTFT 合成波形。训练时用重建损失 语义蒸馏损失联合约束见架构图 (a) 部分让 64 维 latent 既保留声学细节又携带语义信息——这正是语义丰富的来源。帧率账1 秒音频 25 个 latent 6.25 个 patch。LLM 每生成 1 个音频 token 就对应 160ms 语音自回归步数非常省。4. Qwen3 1.7B 自回归骨干PatchEncoder 如何把音频喂给 LLM 骨干是标准 Qwen3 1.7B28 层、hidden 2048、16 头GQA 8 KV 头、FlashAttention-2、bf16配置见 Qwen3_1_7B_ConfigDict。关键问题LLM 吃的是文本 embedding音频怎么进去答案是PatchEncoderforward 逻辑输入 4 个连续 latent即 160ms 音频前置一个可学习[CLS] token接 8 层 TransformerRMSNorm Attention 1D ConvBlock FFNRoPE 位置编码取 CLS 位置输出并投影到 2048 维作为 1 个音频 token于是 Base 版的输入序列在 generate() 中拼成三段[ 说话人向量(CAM) | 文本token | 参考音频的patch token ]说话人向量经spk_proj_llm512→2048投影充当全局音色条件文本用 Qwen3 词表151936直接 tokenize语言以|zh|这类 tag 显式标记参考音频 latent 经 PatchEncoder 变成 prompt token实现 in-context 克隆5. DiT 流匹配头10 步 ODE 去噪生成 160ms 音频 ⚡LLM 每前向一步DiT11 层、hidden 1024、16 头就把这一步翻译成 4 帧真实 latent。流匹配推理的输入拼成三条通道通道内容xt去噪对象前 2 个 patch8 帧干净历史 当前 4 帧高斯噪声backbone condLLM 最近 3 个 patch 的 hidden经dit_head投影到 1024 维后repeat_interleave到帧级speaker condCAM 说话人向量投影沿时间维全程拼接去噪用流匹配 Euler 积分t_span 1 - cos(π/2 · linspace(0,1,n1)) # 余弦间隔默认 n10 步 for t in t_span: v DiT([xt, cond], t) # 预测速度场 v (1cfg)·v_cond - cfg·v_uncond # CFG 引导Base 默认 cfg2.0 xt dt · v # 只更新当前 patch两个细节值得注意余弦时间步让去噪在首尾更细、中段更快10 步即可出可用音频历史 latent 保持干净、只对当前 patch 去噪长语音生成时误差不会持续累积6. 自回归循环LLM 何时停generate() 里的循环逻辑非常清晰repeat最多 400 patch ≈ 64 秒: 1. Qwen3 前向一步KV cache取最后 hidden 2. stop_head 输出停止概率≥0.5 且已生成 ≥6 个 patch → 结束 3. DiT 流匹配去噪出当前 patch4 帧 latent 4. patch_encoder 把新 latent 变回 1 个 token喂回 Qwen3最后由 RedAE 解码器把整条 latent 序列还原为 24kHz 波形并裁掉 prompt 部分。7. Instruct 版CoT 文本推理 语音编辑 ✂️Instruct 核心fireredtts3_instruct.py复用同一套 Qwen3 PatchEncoder DiT差别有三骨干换成带 lm_head 的Qwen3ForCausalLM——除了生成音频还能说话输出文本ChatML 模板模板函数音频 latent 用占位符|latent_in|/|latent_out|表示推理时由 PatchEncoder 输出经masked_scatter原位替换latent 乘 0.4 缩放先文本、后音频的两阶段生成任务文本阶段输出音频阶段音色设计CoT 语音属性规划采样temp 0.7 / top-p 0.8 / top-k 20按规划生成全新音色语义编辑听写 按指令改写的文本贪心解码重新生成整段音频声学编辑无文本阶段直接按指令重生成这就是一个模型统一 TTS 与编辑的底层逻辑语义编辑 ≈ LLM 改写文本 扩散重新渲染音频。8. 文本前端语种检测、TN 归一化与自动拆句 ️TextFrontendMixin 被 Base 与 Instruct 共享保证各任务走同一套文本规整语种自动检测可选加载 FastTextlid.176模型未加载时需显式传language文本归一化TN默认走本地 wetext中/英/粤语/方言把数字、时间、货币转成口语形式其他语言可启用 LLM-based TN需.env配置 OpenAI 兼容接口自动拆句中文按字符、其他语言按 token上限 80切分过短句自动合并cross-fade 拼接多句结果用 50ms 线性交叉淡化无缝拼接cross_fade9. 性能一览FireRedTTS3 的基准表现 基准指标FireRedTTS3 成绩Seed-TTS-eval 零样本克隆平均 WER / 说话人相似度3.04 / 78.8对比同榜单均最佳MiniMax-MLS-Test 多语言克隆平均 WER/CER / 相似度3.754 / 84.824 语言均最佳Instruct 音色设计ZHAPS / DSD / RP85.8 / 82.0 / 69.710. FireRedTTS3 快速上手一键安装与模型下载 第一步克隆仓库并安装依赖git clone https://gitcode.com/gh_mirrors/fi/FireRedTTS3 cd FireRedTTS3 pip install -r requirements.txt第二步下载预训练模型pip install huggingface_hub[cli] hf download FireRedTeam/FireRedTTS3 --local-dir pretrained_models/第三步跑 Gradio 演示pip install gradio python gradio_base.py --host 0.0.0.0 --port 7860 # Base python gradio_instruct.py --host 0.0.0.0 --port 7860 # Instruct或者直接调 Python API完整示例见 core.py 主入口from fireredtts3.core import FireRedTTS3 tts FireRedTTS3(pretrained_models, use_wetextTrue) gen_audio, sr tts.generate( languageNone, # None 自动检测语种 prompt_text参考音频文本, prompt_audioprompt_audio, # 参考音频波形 prompt_audio_srprompt_audio_sr, text今天天气很好我们一起去公园散步吧。, ) 小技巧参考音频尽量用目标语种/方言的录音输出会继承参考音频的说话风格克隆效果最佳。11. 目录结构导读从源码读架构 ️路径说明fireredtts3/llm/fireredtts3_base.pyBase 版 LLM-DiT 核心与 AR 循环fireredtts3/llm/fireredtts3_instruct.pyInstruct 版文本推理 4 类任务入口fireredtts3/llm/dit.pyDiT 流匹配去噪头fireredtts3/llm/patch_encoder.pypatch → LLM token 聚合器fireredtts3/redae/redae.pyRedAE 连续语音 tokenizerfireredtts3/campp/campp.pyCAM 说话人向量提取fireredtts3/utils/chatml.pyInstruct 任务的 ChatML 模板gradio_base.py / gradio_instruct.pyWeb 演示入口一句话总结FireRedTTS3 的精髓在于连续 latent patch 级扩散自回归——Qwen3 LLM 负责节奏与语义的长程规划DiT 负责短时程的声学细节RedAE 保证 64 维 latent 不丢语义三者咬合出一个既快又稳的多语言 TTS 系统。赞分享【免费下载链接】FireRedTTS3FireRedTTS3: Multilingual and Multi-Dialect Voice Cloning with Instruction-Guided Voice Design and Speech Editing项目地址https://gitcode.com/gh_mirrors/fi/FireRedTTS3点击查看免费下载相关推荐突破TTS音质极限Tortoise-TTS自回归与扩散解码器协同架构解析突破TTS音质极限Tortoise TTS自回归与扩散解码器协同架构解析 Tortoise TTS作为一款强调多语音质量的文本转语音系统其核心优势在于高度逼人工智能语音音频Qwen3-TTS架构深度解析离散多码本LM端到端方案如何绕开LMDiT瓶颈Qwen3 TTS架构深度解析离散多码本LM端到端方案如何绕开LMDiT瓶颈 Qwen3 TTS 是 Qwen 团队开源的语音合成TTS模型系列核心亮人工智能大模型语音基础模型媒体生成微调Qwen内存优化实战MiniMax-Music3-mxfp4在Apple Silicon上的性能调优与资源管理指南内存优化实战MiniMax Music3 mxfp4在Apple Silicon上的性能调优与资源管理指南 MiniMax Music3 mxfp4 是一款专创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
