GPT-SoVITS5秒人声起步的少样本语音克隆RTF低至0.014【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS传统TTS要先备几十分钟干净录音再熬几小时训练门槛不低。GPT-SoVITS把素材要求压到5秒参考音频零样本就能直接合成有1分钟录音再做一轮微调音色贴合度就上来了。4090上RTF合成耗时与语音时长之比约0.0141400词约4分钟的文本只需3.36秒算完。和传统TTS流水线比一下对比项GPT-SoVITS传统TTS流水线起步素材5秒参考音频即可零样本几十分钟干净录音第一条结果装完即推理分钟级训练数小时出可用音色1分钟数据微调一次重新标注、重训语言覆盖中、英、日、韩、粤等多为单语言硬件门槛GTX 1060级别可跑通常要专用服务器最快安装方式Windows直接下官方整合包双击 go-webui.bat 就行不碰终端。Linux和macOS跑这段git clone https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS cd GPT-SoVITS conda create -n GPTSoVits python3.10 conda activate GPTSoVits bash install.sh --device CU128 --source HF # 设备: CU126|CU128|ROCM|MPS|CPU按你的显卡和驱动选 # 来源: HF | HF-Mirror | ModelScope国内网络后两者更稳 # macOS: --device MPS需要人声分离功能加 --download-uvr5脚本会自动拉底模、G2PW中文拼音模型、NLTK数据不用手动搬文件。硬件要求最低GTX 1060 / 8GB内存 / 20GB磁盘推荐RTX 3090 / 32GB内存。拿到第一条克隆语音的最短路径先在项目根目录跑python webui.py浏览器打开 9874 端口。再到顶部推理页签填三样东西参考音频对应的文字、上传那段5秒音频、输入你要它说的话。最后点合成几秒后试听区就出新音色的语音。这一步是零样本不训练音色贴合度受参考音频质量限制但足以先验效果。微调完整流程1分钟录音出稳定音色在0-数据集获取页填音频路径先跑UVR5把人声从伴奏和环境声里分离出来。自动切片再跑ASR自动语音识别批量出文本逐条校对。进1-文本处理页一键生成hubert、说话人向量、语义特征三类特征。依次训练GPTs1模型和SoVITSs2模型两个都跑完。回推理页签选刚才训出的权重再合成和零样本结果一对比就清楚。想跳过界面直接手写训练列表格式每行一条音频路径|说话人|语言|文本 ./a.wav|我|zh|你好世界语言标签支持 zh / en / ja / ko / yue 五种。效果不对时先查这三处合成出现错字、变调 → 训练文本和音频没对上或语言标签标错 → 把ASR文本和音频逐条核对改完重训s1。底噪大、听感浑浊 → 参考音频本身带噪 → 先用UVR5分离人声或换安静环境重录别拿原音直接推。训练显存爆掉 → 切片太长、单帧帧数过多 → 把切片时长调短或开is_halfTrue走fp16混合精度。音色像又不像、不稳定 → 零样本本身的上限 → 数据加到1分钟以上做一次微调比调参数管用。源码导航GPT_SoVITS/AR/— GPT侧自回归生成音素序列的模型与数据加载GPT_SoVITS/module/— SoVITS声学模型、注意力与VQ量化结构GPT_SoVITS/TTS_infer_pack/— 推理主流程、文本预处理与断句GPT_SoVITS/prepare_datasets/— 文本、hubert特征、语义特征三步预处理docs/cn/README.md— 中文文档安装、格式与训练参数速查建议先拿5秒人声跑通零样本听清差距在哪再把数据补到1分钟做微调。这条路比反复调参数更实在。【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
