RVC变声Retrieval-based-Voice-Conversion-WebUI10分钟语音数据训练专属AI音色【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI简称 RVC是一款开源的语音转换/变声框架用 10 分钟低底噪录音就能训练出一个专属 AI 音色再把任意音频替换成这个声音。底模由约 50 小时开源 VCTK 语料训练无版权顾虑4G 显存即可开训没有独显也能用 CPU 跑离线推理。适合变声整活玩家、翻唱爱好者与视频创作者。两个最常见的场景开黑实时变声与翻唱换音色开黑连麦时想用别人的嗓门说话要求实时、低延迟、不装一堆乱七八糟的软件——这是实时变声。做翻唱时想把自己的声音或某个你喜欢的声音替到原唱的位置上——这是离线音色转换。这两件事一个项目就能同时做RVC 把训练、推理、人声伴奏分离、实时变声打包在一起入口是一个网页界面。只录 10 分钟自己的声音能借出一个 AI 嗓音吗项目给出的答案是肯定的。RVC 能力速览关键数字一览项目说明训练数据量10–50 分钟低底噪语音音色有特色且质量高5 分钟也成立硬件门槛4G 显存可训练AMD 卡/Intel 核显/CPU 均有对应依赖包Windows 走 DirectMLLinux 走 CPU界面形式网页操作Gradio 搭建默认监听 7865 端口实时变声延迟端到端约 170ms换用 ASIO 输入输出设备约 90ms底模来源接近 50 小时开源 VCTK 训练集可放心商用学习防音色泄漏top1 检索替换机制从源头掐断输入源的串味音色转换的原理三层乐谱加一条检索规则任何一段声音都可以拆成三层内容说了什么、音高曲线旋律怎么走的、音色是谁在说。RVC 做的事就是把前两层从你的音频里读谱出来再用目标说话人的音色重新演奏一遍原音频的第三层直接丢弃。真正容易踩坑的是音色泄漏模型对目标声音记忆不够牢时会从你的输入音频或底模身上借音色。RVC 的解法是在训练前给训练语料建一个 faiss 索引推理时每帧先做一次 top1 检索——从原主的语料里找与当前帧最接近的音色样本当参照相当于定下翻唱只许参考原唱的处理不许带自己的味这条规则泄漏从机制上被堵死。幕后干活的是三组组件HubertContentVec负责读出说了什么RMVPEInterSpeech 2023 论文算法负责测量音高主要功劳是减少哑音、纠正跑调VITS 加 HiFiGAN 负责最终的声音合成。整条推理链的主逻辑可以对照 infer/vc/pipeline.py 阅读。安装启动从零到打开网页界面的 5 步 前置条件Python 3.12 x64Ubuntu 推荐 24.04 x86_64系统需有 ffmpeg。Ubuntu 可一条 apt 命令装齐含 python3.12、ffmpeg、libportaudio2 等Windows 用户需把ffmpeg.exe和ffprobe.exe放进项目根目录。第 1 步拉取项目# 克隆仓库并进入根目录 git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI第 2 步建虚拟环境# 创建并激活虚拟环境Ubuntu 写法Windows 用 py -3.12 -m venv .venv python3.12 -m venv .venv source .venv/bin/activate第 3 步按硬件装依赖NVIDIA 卡需先安装对应 CUDA 版本的 Torch版本与下载源见 README再装项目依赖文件硬件依赖文件NVIDIARTX 50 系以前requirments_cu118_py312.txtNVIDIA RTX 50 系requirments_cu128_py312.txtCPU / AMD / Intelrequirments_cpu_py312.txt# 以 CUDA 11.8 的 N 卡为例其余硬件换成对应文件名即可 python -m pip install -r requirments_cu118_py312.txt第 4 步下载预训练模型Hubert 特征模型、RMVPE 权重、v1/v2 底模推理与训练都必需# 安装 hf 工具并拉取模型 python -m pip install --upgrade huggingface_hub hf download lj1995/VoiceConversionWebUI --revision main --include hubert_base/* --local-dir assets hf download lj1995/VoiceConversionWebUI rmvpe.pt --revision main --local-dir assets/rmvpe hf download lj1995/VoiceConversionWebUI --revision main --include pretrained/* pretrained_v2/* --local-dir assets第 5 步启动网页界面# 启动 WebUI无桌面的服务器加 --noautoopen python webui.py启动后浏览器访问http://localhost:7865即可操作。Windows 用户也可以直接双击go-webui.bat省去命令行。之后训练、推理、模型处理全部在网页里点选完成不需要再碰终端。实战场景训练专属音色、直播变声与模型融合直播、开黑实时变声开黑玩家和主播用这个场景最多。双击go-realtime_gui.bat入口 realtime_gui.py加载训练好的模型说话声会即时换成目标音色官方口径的端到端延迟约 170ms换成 ASIO 设备约 90ms。比较实用的细节参数是热更新的加载模型后改音高、索引比例立即生效不用停掉重来输入输出设备要选同一种类型例如都选 MME否则会出怪声。翻唱、配音离线音色替换流程是先用内置 UVR5代码在 tools/uvr5/把人声和伴奏从歌曲里分开长录音切成片段然后走一键训练——数据预处理、音高提取、特征提取、训练、建索引在一个页面里串行跑完训练入口 train/train.py。训练完成后把约 60MB 的小.pth模型放进assets/weights/.index索引放进assets/indices/在推理选项卡就能批量替换音色。担心输入音频的音色串进来就把 index_rate 往高调值越接近 1输出越贴着训练集的声音代价是训练集质量不高时音质会被拉低。对单一音色不满意模型融合两个声音都喜欢就在ckpt 处理选项卡里用 ckpt-merge 给两个模型分配权重比例混合出一个新音色推理试听后按喜好反复调比例。底层技术各自负责什么VITS—— 语音合成模型骨干决定音色转换的上限ContentVec—— 把说了什么编码成向量让内容与音色可分离HiFiGAN—— 高质量声码器把合成结果润得更接近人声RMVPE—— 人声音高提取InterSpeech 2023 算法音高更准、哑音更少Gradio—— 撑起整个网页界面UVR5—— 人声与伴奏分离audio-slicer—— 把长录音切成训练片段FFmpeg—— 各类音频格式读写的底座常见坑新手高频问题与解法训练素材要准备多少推荐 10–50 分钟低底噪比时长更重要音色有特色且质量高5–10 分钟就够。素材底噪大的话别盲目加轮数20–30 个 epoch 就差不多——底模的音质带不动你的低质素材。显存不够、报 Cuda out of memory训练先把 batch size 调小4G 显存仍能训4G 以下如 1060 3G建议放弃 GPU 训练。推理爆显存时调小 configs/config.py 末尾的x_pad、x_query等参数。报 ffmpeg error / utf8 error大概率不是 ffmpeg 的问题而是路径问题路径带空格、括号会触发 ffmpeg error训练集走中文路径在写 filelist 时可能报 utf8 error。把目录改成纯英文加数字基本就解决。训练完推理时看不到自己训的音色先点刷新音色还没有的话去查训练过程是否报错logs/实验名下的 log 文件是第一个该看的地方。更多细节可翻 docs/cn/faq.md 和 docs/cn/Changelog_CN.md。先把最短闭环跑通克隆仓库、录一段 10 分钟的低底噪声音、走通网页里的一键训练拿到一个能放进assets/weights/的.pth模型。离线跑通后再把实时变声界面打开去语音通话里试试那个 170ms 的延迟——到这里这个项目的核心能力你已经全部拿到手了。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
