RVC 语音转换实战指南用 10 分钟数据训练一个变声模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI简称 RVC是一个基于 VITS 的开源变声框架覆盖数据切片、特征提取、模型训练、特征索引构建到推理的完整流程提供 Gradio 网页界面和批处理命令行两种使用方式官方给出的目标是用 10 分钟量级的低底噪语音数据训练出一个可用的音色转换模型。1 项目定位与能力边界它解决的典型场景很具体虚拟主播直播时把主播原声实时换成另一个音色给游戏角色批量换配音避免重新录制把已有配音素材转成目标音色再进入多语言课程制作环节。这些场景共同的特点是只需要换音色而不需要改变说话内容。RVC 的技术栈构成底模沿用 VITS用约 50 小时 VCTK 数据集训练仓库已随附权重HuBERT 负责内容特征提取RMVPE 负责音高F0提取官方称其效果显著优于 Crepe 且资源占用更小FAISS 负责特征检索实现顶部的核心机制UVR5 用于伴奏与人声分离作为预处理可选步骤Gradio 承载 Web 界面实时变声界面 已做到端到端 170ms 延迟。2 核心机制检索替换而非重新生成传统端到端方案让模型学习源音色特征 → 目标音色特征的映射训练数据不足时源音色会残留也就是常说的音色泄漏。RVC 的做法是换个方向推理时不再相信模型对源特征的判断而是直接从目标音色的特征库里找最像的帧来替换。特征库在训练阶段建立训练脚本 产出模型后Web 入口 用 MiniBatchKMeans 对训练集特征聚类并写入 FAISS 索引。推理时每个特征帧检索 top-8 邻居按相似度加权平均再与 HuBERT 提取的原始特征按index_rate比例线性混合混合发生在 推理管线 中。这个设计有两个直接收益源音色特征在替换这一步被目标特征覆盖泄漏问题被从源头规避模型只需学特征 → 波形不必学跨音色的映射因此 10 分钟数据量级就能收敛到可用效果。3 环境准备与首次运行3.1 安装依赖要求 Python 3.8 以上依赖清单按硬件分四份N 卡用requirements.txtA/I 卡走 DirectMLA 卡 Linux 走 ROCmI 卡 Linux 走 IPEX。pip install torch torchvision torchaudio # 二选一按显卡类型 pip install -r requirements.txt # NVIDIA pip install -r requirements-dml.txt # AMD / Intel (DirectML)依赖装好后还需要 ffmpeg以及放到指定目录的预训练文件assets/hubert/、assets/pretrained/v2 底模另需assets/pretrained_v2/、assets/uvr5_weights/音高提取需要rmvpe.pt。仓库的 tools/download_models.py 和dlmodels.sh可以批量拉取。3.2 启动推理python infer-web.py浏览器打开后依次点击0-前置数据集处理 → 1-GPT-SOVITS训练/切片RVC 语境下为 1-训练前数据集处理→ 2-训练 → 3-推理即可在推理页加载模型转换音频。不走网页、只做批处理时命令行入口 提供了最小组合python tools/infer_cli.py --input_path src.wav \ --model_name logs/xxx/xxx_e80.ckpt \ --index_path logs/xxx/index \ --f0method rmvpe --index_rate 0.66 \ --opt_path out.wav4 数据流拆解从音轨到波形输入端原始音轨可选先经 UVR5 分离出纯人声再由 音频切片器 按能量和静音切成分片分片进入数据集。特征端数据集预处理 对每个分片同时跑两条线HuBERT 提取内容特征RMVPE或 pm、crepe提取 F0 轨迹。训练时 训练脚本 用这些特征优化 VITS 生成器收敛后另建特征索引得到推理必需的模型文件加索引文件。推理端推理管线 依次执行重采样与切片、提取 F0 并按f0_up_key半音数平移、HuBERT 提特征、FAISS 检索与加权混合、送入 声码器 还原波形、按rms_mix_rate做响度对齐。实时模式则是把同一管线按block_time分块流式执行。5 参数与调优对照调优主要发生在推理端configs/config.json保存界面最近一次使用的参数关键项如下参数作用默认值推荐范围与说明index_rate检索特征与原始特征的混合比例0.00.6~0.8越大目标音色越浓过小会有源音色残留filter_radiusF0 曲线平滑半径3保持 3 左右调大会把音高细节抹平、声音发闷rms_mix_rate输出响度与源音量对齐强度0.50.3~0.7音量忽大忽小时优先调它protect非人声保护阈值0.33转换后伴奏串音时适当调低f0_up_key半音升降0女声转男声常取 -2 以下配合 formant 微调block_time / use_jit实时分块时长 / JIT 编译0.15 / false实时场景保留 0.15批处理可开 use_jit 提速训练端参数批次大小、轮数、学习率在界面2-训练页配置显存不足时减小 batch 并增加轮数官方文档 训练技巧 中有更细的建议。6 高频问题速查现象转换后出现哑音、漏音。原因是 F0 在静音段被误检。解决优先选 RMVPE 提取音高并调低protect让算法在无人声段保持沉默。现象RTX 30 系显卡报 CUDA 错误。原因是 PyTorch 默认 CUDA 版本与驱动不匹配。解决按官方说明安装 cu117 构建的 PyTorch 再装项目依赖。现象启动时 faiss、llvmlite 相关报错。原因是依赖版本冲突。解决按requirements*.txt锁定的版本安装勿单独升级 numpy、llvmlitepoetry 方案下 Python 需限定 3.7~3.10。现象想融合两个模型或导出推理引擎。这不是 bugckpt 处理模块 提供模型合并与提取子模型功能ONNX 导出 与 实时 API 面向二次集成属于从用改的入口而非调参范畴。7 延伸方向生态上i18n 目录 维护着 13 种界面语言多语言文档集中在docs/下预训练资产统一放在assets/社区模型可放入assets/weights/后在界面选择。若要做二次开发三个方向值得先看模型融合改音色、ONNX 导出降低部署门槛、以及 实时变声管线 对接 ASIO 设备把延迟压到 90ms。整个仓库以 MIT 协议分发底模训练数据无版权问题直接集成到商业流程里没有额外限制。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RVC 语音转换实战指南：用 10 分钟数据训练一个变声模型
RVC 语音转换实战指南用 10 分钟数据训练一个变声模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI简称 RVC是一个基于 VITS 的开源变声框架覆盖数据切片、特征提取、模型训练、特征索引构建到推理的完整流程提供 Gradio 网页界面和批处理命令行两种使用方式官方给出的目标是用 10 分钟量级的低底噪语音数据训练出一个可用的音色转换模型。1 项目定位与能力边界它解决的典型场景很具体虚拟主播直播时把主播原声实时换成另一个音色给游戏角色批量换配音避免重新录制把已有配音素材转成目标音色再进入多语言课程制作环节。这些场景共同的特点是只需要换音色而不需要改变说话内容。RVC 的技术栈构成底模沿用 VITS用约 50 小时 VCTK 数据集训练仓库已随附权重HuBERT 负责内容特征提取RMVPE 负责音高F0提取官方称其效果显著优于 Crepe 且资源占用更小FAISS 负责特征检索实现顶部的核心机制UVR5 用于伴奏与人声分离作为预处理可选步骤Gradio 承载 Web 界面实时变声界面 已做到端到端 170ms 延迟。2 核心机制检索替换而非重新生成传统端到端方案让模型学习源音色特征 → 目标音色特征的映射训练数据不足时源音色会残留也就是常说的音色泄漏。RVC 的做法是换个方向推理时不再相信模型对源特征的判断而是直接从目标音色的特征库里找最像的帧来替换。特征库在训练阶段建立训练脚本 产出模型后Web 入口 用 MiniBatchKMeans 对训练集特征聚类并写入 FAISS 索引。推理时每个特征帧检索 top-8 邻居按相似度加权平均再与 HuBERT 提取的原始特征按index_rate比例线性混合混合发生在 推理管线 中。这个设计有两个直接收益源音色特征在替换这一步被目标特征覆盖泄漏问题被从源头规避模型只需学特征 → 波形不必学跨音色的映射因此 10 分钟数据量级就能收敛到可用效果。3 环境准备与首次运行3.1 安装依赖要求 Python 3.8 以上依赖清单按硬件分四份N 卡用requirements.txtA/I 卡走 DirectMLA 卡 Linux 走 ROCmI 卡 Linux 走 IPEX。pip install torch torchvision torchaudio # 二选一按显卡类型 pip install -r requirements.txt # NVIDIA pip install -r requirements-dml.txt # AMD / Intel (DirectML)依赖装好后还需要 ffmpeg以及放到指定目录的预训练文件assets/hubert/、assets/pretrained/v2 底模另需assets/pretrained_v2/、assets/uvr5_weights/音高提取需要rmvpe.pt。仓库的 tools/download_models.py 和dlmodels.sh可以批量拉取。3.2 启动推理python infer-web.py浏览器打开后依次点击0-前置数据集处理 → 1-GPT-SOVITS训练/切片RVC 语境下为 1-训练前数据集处理→ 2-训练 → 3-推理即可在推理页加载模型转换音频。不走网页、只做批处理时命令行入口 提供了最小组合python tools/infer_cli.py --input_path src.wav \ --model_name logs/xxx/xxx_e80.ckpt \ --index_path logs/xxx/index \ --f0method rmvpe --index_rate 0.66 \ --opt_path out.wav4 数据流拆解从音轨到波形输入端原始音轨可选先经 UVR5 分离出纯人声再由 音频切片器 按能量和静音切成分片分片进入数据集。特征端数据集预处理 对每个分片同时跑两条线HuBERT 提取内容特征RMVPE或 pm、crepe提取 F0 轨迹。训练时 训练脚本 用这些特征优化 VITS 生成器收敛后另建特征索引得到推理必需的模型文件加索引文件。推理端推理管线 依次执行重采样与切片、提取 F0 并按f0_up_key半音数平移、HuBERT 提特征、FAISS 检索与加权混合、送入 声码器 还原波形、按rms_mix_rate做响度对齐。实时模式则是把同一管线按block_time分块流式执行。5 参数与调优对照调优主要发生在推理端configs/config.json保存界面最近一次使用的参数关键项如下参数作用默认值推荐范围与说明index_rate检索特征与原始特征的混合比例0.00.6~0.8越大目标音色越浓过小会有源音色残留filter_radiusF0 曲线平滑半径3保持 3 左右调大会把音高细节抹平、声音发闷rms_mix_rate输出响度与源音量对齐强度0.50.3~0.7音量忽大忽小时优先调它protect非人声保护阈值0.33转换后伴奏串音时适当调低f0_up_key半音升降0女声转男声常取 -2 以下配合 formant 微调block_time / use_jit实时分块时长 / JIT 编译0.15 / false实时场景保留 0.15批处理可开 use_jit 提速训练端参数批次大小、轮数、学习率在界面2-训练页配置显存不足时减小 batch 并增加轮数官方文档 训练技巧 中有更细的建议。6 高频问题速查现象转换后出现哑音、漏音。原因是 F0 在静音段被误检。解决优先选 RMVPE 提取音高并调低protect让算法在无人声段保持沉默。现象RTX 30 系显卡报 CUDA 错误。原因是 PyTorch 默认 CUDA 版本与驱动不匹配。解决按官方说明安装 cu117 构建的 PyTorch 再装项目依赖。现象启动时 faiss、llvmlite 相关报错。原因是依赖版本冲突。解决按requirements*.txt锁定的版本安装勿单独升级 numpy、llvmlitepoetry 方案下 Python 需限定 3.7~3.10。现象想融合两个模型或导出推理引擎。这不是 bugckpt 处理模块 提供模型合并与提取子模型功能ONNX 导出 与 实时 API 面向二次集成属于从用改的入口而非调参范畴。7 延伸方向生态上i18n 目录 维护着 13 种界面语言多语言文档集中在docs/下预训练资产统一放在assets/社区模型可放入assets/weights/后在界面选择。若要做二次开发三个方向值得先看模型融合改音色、ONNX 导出降低部署门槛、以及 实时变声管线 对接 ASIO 设备把延迟压到 90ms。整个仓库以 MIT 协议分发底模训练数据无版权问题直接集成到商业流程里没有额外限制。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考