Pocket TTS在Unity中的集成教程给游戏角色配上实时语音【免费下载链接】pocket-ttsA TTS that fits in your CPU (and pocket)项目地址: https://gitcode.com/GitHub_Trending/po/pocket-ttsPocket TTS 是一款专为 CPU 打造的轻量级文本转语音TTS工具无需 GPU 和网络 API仅 100M 参数就能以约 200ms 的延迟流式输出语音。本教程将带你完成 Pocket TTS 与 Unity 的集成用实时语音合成让游戏里的 NPC、主角和语音助手开口说话支持声音克隆与多语言。 为什么选择 Pocket TTSCPU 也能跑实时语音游戏开发者最怕的语音方案往往又重又慢云端 API 需要联网、有延迟、按量计费本地大模型则要一块 GPU。Pocket TTS 把这些门槛全部抹掉了特性说明对游戏的意义纯 CPU 运行仅需 PyTorch CPU 版占 2 个核心打包进游戏不要求玩家显卡配置约 200ms 首包延迟音频流式输出对话几乎即时出声不尴尬约 6 倍实时速度MacBook Air M4 实测长台词也能边生成边播放声音克隆20 秒样本即可复刻音色为不同角色定制专属嗓音多语言英/法/德/葡/意/西语出海项目直接切换语言Python API CLI HTTP 服务三种接入方式编辑器离线生成或运行时实时调用核心能力都封装在 pocket_tts/models/tts_model.py 的TTSModel类中这也是我们在 Unity 侧对接的基础。 Pocket TTS 工作原理200ms 低延迟如何实现理解架构有助于你在 Unity 中合理分配线程。Pocket TTS 的推理链路大致是文本编码输入文本切分为 token经嵌入层变成文本条件潜变量音色条件角色音色样本或克隆声音经 Mimi VAE 编码为音频条件潜变量自回归生成flow_lm模块逐块生成音频潜变量解码还原Mimi VAE 解码出 80ms 一帧的音频块边生成边流式输出。流式输出正是实时感的来源——不需要等整句生成完第一块音频约 200ms 就能开始播放。 集成方案一一键启动本地 TTS 服务推荐运行时实时合成的推荐路线是在后台跑一个 Pocket TTS HTTP 服务Unity 通过POST /tts请求音频。服务端实现在 pocket_tts/main.py返回的正是流式 WAV 数据。第 1 步启动 Pocket TTS 服务在开发机或游戏打包时随附的本地进程中执行# 无需安装uvx 自动拉取依赖 uvx pocket-tts serve # 或先安装再运行 pip install pocket-tts pocket-tts serve --default-voice alba --quantize服务启动后监听http://localhost:8000模型常驻内存后续请求免加载。更多参数见 docs/CLI Commands/serve.md。第 2 步Unity 侧发起实时语音请求在场景中创建一个挂载以下脚本的 GameObject配合AudioSource播放using System.Collections.Generic; using UnityEngine; using UnityEngine.Networking; public class PocketTTSCaller : MonoBehaviour { [SerializeField] AudioSource voiceSource; string server http://127.0.0.1:8000/tts; public void Speak(string text, string voice alba) { var form new Dictionarystring, string { [text] text, [voice_url] voice // 内置音色名或音色文件 }; var req new UnityWebRequest(server, UnityWebRequest.kHttpVerbPOST, form); req.SendRequest().completed r { byte[] pcm r.downloadHandler.data; var clip WAAPI.CreateAudioClip(tts, pcm.Length / 2, 24000); clip.SetData(pcm, 0); voiceSource.clip clip; voiceSource.Play(); }; } }角色头顶弹出对话框时调用npc.GetComponentPocketTTSCaller().Speak(欢迎来到王都)即可听到实时生成的语音。voice_url既可以是内置音色名也可以是音色文件地址为不同角色换嗓子只需换一个参数。 集成方案二批量预生成 NPC 台词离线配音对于过场动画、固定对白更稳妥的做法是在 Unity 编辑器阶段一次性生成全部 WAV# 命令行逐条生成 pocket-tts generate --text 前方危险建议升级后再来。 --voice george --output boss_warning.wav也可以写个 Python 脚本批量产出核心 API 见 docs/API Reference/python-api.mdfrom pocket_tts import TTSModel import scipy.io.wavfile model TTSModel.load_model() # 只加载一次 voice model.get_state_for_audio_prompt(alba) # 音色状态也复用 for name, line in dialogues.items(): # 遍历台词表 audio model.generate_audio(voice, line) scipy.io.wavfile.write(fAssets/Audio/{name}.wav, model.sample_rate, audio.numpy())生成的 WAV 拖入 Unity 后设为Load In Background / Stream即可作为常规 AudioClip 使用零运行时开销。️ 为游戏角色克隆专属声音Pocket TTS 支持声音克隆准备约 20 秒干净人声样本先导出为音色状态文件加载速度比每次解析音频快得多pocket-tts export-voice hero_recording.wav hero.safetensors pocket-tts generate --text 出发 --voice hero.safetensors详细说明见 docs/CLI Commands/export_voice.md。为每个角色导出一个.safetensors文件放进项目serve服务可通过--default-voice或请求中的voice_url字段切换主角、反派、旁白各用一个音色互不干扰。⚡ 性能调优把语音延迟压到最低常驻模型load_model()与音色解析属于慢操作务必用serve服务或缓存 voice state避免每次请求冷启动开启 int8 量化serve --quantize或 API 中quantizeTrue见 docs/quantization.md降低内存占用并提速音质损失极小复用音色状态同一角色的.safetensors音色状态只需加载一次可服务全部台词流式播放运行时方案利用/tts的 chunked 流式响应收到音频块即可开始解码播放CPU 预留推理只占 2 个核心与游戏主线程几乎无冲突低配机器也可跑。❓ 常见问题Q开发机和玩家机器都需要 Python 吗离线方案方案二只有开发者需要运行时方案需要随游戏分发一个本地服务进程玩家机器无需手动安装。Q想换语言怎么办serve --language french_24l等即可切换模型配置文件在 pocket_tts/config/ 目录下如 pocket_tts/config/english.yaml。Q长文本会不会卡顿Pocket TTS 支持任意长度输入内部按句自动切分逻辑见 pocket_tts/models/text_chunking.py建议单条请求控制在一两句以内以获得最低延迟。Q如何快速试听各种音色浏览器打开http://localhost:8000的 Web 界面即可在线试听、换音色比命令行效率高得多。小结Pocket TTS 让游戏角色实时说话从昂贵工程变成了三步集成启动服务 → 发一个 HTTP 请求 → 播放 WAV。离线批量生成与运行时流式合成两条路线可按场景混用加上声音克隆能力你的游戏主角和 NPC 从此都能拥有独一无二的嗓音。完整 API 与命令参考可查阅仓库内 docs/index.md 文档索引。【免费下载链接】pocket-ttsA TTS that fits in your CPU (and pocket)项目地址: https://gitcode.com/GitHub_Trending/po/pocket-tts创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
