ClearerVoice-Studio语音处理工具包上手全攻略四行代码搞定降噪、人声分离与音质修复【免费下载链接】ClearerVoice-StudioAn AI-Powered Speech Processing Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Enhancement, Separation, and Target Speaker Extraction, etc.项目地址: https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio你有没有遇到过这样的时刻熬夜赶完的访谈录音回放时发现窗外车流声、键盘声盖过了受访者的关键回答整理一场多人会议记录两个说话人的声音交叠在一起怎么都听不清谁说了什么翻出一段十年前的珍贵录音沙哑模糊得几乎无法辨认内容。这些困扰背后是同一个需求——让语音变得清晰、纯净、可用。ClearerVoice-Studio 正是为这类场景而生的开源 AI 语音处理工具包它把语音增强、语音分离、语音超分辨率、目标说话人提取等能力封装成了几乎零门槛的 Python 接口安装后几行代码即可上手。一、先理解它是怎么听懂噪声的在动手之前不妨先用一个生活化的比喻建立认知一段含噪语音就像一张被雨淋花的照片。传统去噪好比拿抹布擦拭照片表面只能处理表层的污渍容易把画面本身也擦糊。而 ClearerVoice-Studio 所采用的深度学习模型更像一位经验丰富的修图师——它先反复看过海量干净照片和花掉照片的对照样本学会了区分什么是人声纹理、什么是噪点颗粒再对每一张新照片进行精准的修补与重绘。具体到技术实现这些模型的工作可以拆解为三步先把音频切成一帧帧的短时片段并转换到频域让模型在频率—时间二维图上识别噪声的模式与位置然后生成一个掩码Mask相当于给每个频率分量标出该保留多少、该削弱多少最后把处理后的频谱还原成波形。整个过程对使用者完全透明——你只需要负责输入和输出中间的修图交给模型完成。二、四张王牌能力各管一摊活ClearerVoice-Studio 预置了覆盖四类任务的预训练模型每一类都能直接对应一个真实使用场景能力典型场景你能拿到什么语音增强会议录音去噪、播客降噪、电话语音清晰化干净无噪的语音文件16kHz 或 48kHz 可选语音分离多人访谈、圆桌讨论、双人对话整理按说话人拆分的多个独立音轨语音超分辨率老旧录音修复、低码率音频升质从 16k/24k/32kHz 提升至 48kHz 的高保真音频目标说话人提取视频会议、庭审录像中锁定某人声音仅保留目标说话人声音的音频或视频以最常用的语音增强为例工具包提供了三个不同定位的模型FRCRN_SE_16K轻快高效适合实时或批量快速处理MossFormerGAN_SE_16K在降噪效果与速度之间取得平衡MossFormer2_SE_48K面向全频带高质量输出满足对音质有苛刻要求的场景。在 VoiceBankDEMAND 公开测试集上MossFormerGAN_SE_16K 的 PESQ 得分可达 3.47对比未处理的 1.97 有显著提升直观感受就是沙沙声消失了人声更立体。语音分离方面MossFormer2_SS_16K 模型在 LRS2_2Mix 测试集上的 SI-SNR 提升达到 15.5dB明显领先于 Conv-TasNet10.6dB等经典方案这意味着即使两人同时说话分离后的每条音轨也足够干净可辨。上图是项目官方交流群二维码扫描后可以与维护者及社区用户交流语音处理技术问题。三、实战演练从一段嘈杂录音到干净成片下面我们以给一段含噪会议录音降噪这个最常见任务为主线完整走一遍流程。整个过程只需要三步。第一步安装环境最简单的安装方式是通过 PyPI 直接安装pip install clearvoice如果你希望获取最新代码或参与开发也可以选择源码安装git clone https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio cd ClearerVoice-Studio/clearvoice pip install --editable .提示如果只需要处理.wav格式无需额外安装任何东西想处理 MP3、AAC、FLAC、OGG 等格式请提前装好 FFmpeg。第二步用四行代码完成降噪from clearvoice import ClearVoice myClearVoice ClearVoice(taskspeech_enhancement, model_names[MossFormer2_SE_48K]) output_wav myClearVoice(input_pathsamples/input.wav, online_writeFalse) myClearVoice.write(output_wav, output_pathsamples/output_enhanced.wav)运行完毕后output_enhanced.wav就是处理好的干净音频。模型权重会在首次调用时自动从 HuggingFace 下载到本地checkpoints目录无需手动操作。第三步进阶调用方式工具还支持三种不同的输入形态可以按需选择# 方式一批处理整个目录下的音频 myClearVoice(input_pathsamples/path_to_input_wavs, online_writeTrue, output_pathsamples/path_to_output_wavs) # 方式二用 .scp 列表文件指定要处理的音频清单 myClearVoice(input_pathsamples/scp/audio_samples.scp, online_writeTrue, output_pathsamples/path_to_output_wavs_scp) # 方式三直接传 NumPy 数组拿回 NumPy 数组适合嵌入自己的训练/推理流程 import soundfile as sf audio, sr sf.read(samples/input.wav) output_wav myClearVoice(audio, False) # 输入输出均为 [batch, length]值得说明的是目录批处理与列表批处理非常适合一次性处理几十条录音的场景配合online_writeTrue参数处理结果会自动落盘到指定目录。四、组合玩法让不同任务协同工作单个任务很容易上手但真实需求往往是复合的——比如一段又老又吵的录音就需要先降噪、再做超分辨率。ClearerVoice-Studio 允许你把多个处理器像积木一样串联起来# 先降噪 myClearVoice_SE ClearVoice(taskspeech_enhancement, model_names[MossFormer2_SE_48K]) clean_wav myClearVoice_SE(input_pathsamples/input.wav, online_writeFalse) # 再提升采样率至 48kHz myClearVoice_SR ClearVoice(taskspeech_super_resolution, model_names[MossFormer2_SR_48K]) sr_wav myClearVoice_SR(clean_wav, online_writeFalse) myClearVoice_SR.write(sr_wav, output_pathsamples/output_restored.wav)这种先净后升的流水线在修复老旧磁带转录、低码率网络语音等场景中效果尤为明显。五、训练自己的模型从使用者到调优者如果你的需求超出了预训练模型的覆盖范围——比如针对特定领域的口音、特定类型的噪声——Train 目录提供了完整的训练与微调脚本支持语音增强、语音分离、语音超分辨率、目标说话人提取四大任务配置入口位于 train/speech_enhancement/config/train/ 等目录。以语音增强为例流程是准备数据集参考data/下的.scp列表格式整理训练/验证清单→ 在config/train/*.yaml中指定模型与数据路径 → 运行bash train.sh启动训练。如果希望从现有权重继续微调只需在脚本中设置init_checkpoint_path指向预训练模型路径train_from_last_checkpoint1即可断点续训。值得一提的还有配套的SpeechScore评估工具包。它内置了 PESQ、STOI、DNSMOS、SI-SDR、NISQA 等十多种主流语音质量指标既能做有参考评估需要干净音频对照也支持无参考评估仅凭模型输出即可打分。训练完成后用它跑一遍就能用客观数据判断模型是否真的变强了from speechscore import SpeechScore mySpeechScore SpeechScore([PESQ, STOI, DNSMOS, SISDR]) scores mySpeechScore(test_pathaudios/noisy.wav, reference_pathaudios/clean.wav, windowNone, score_rate16000, return_meanFalse)六、绕开这几个坑效率翻倍结合社区反馈与源码细节以下四个问题最常困扰新手坑一非 WAV 格式报错。工具对 WAV 原生支持但处理 MP3、AAC、FLAC 等格式依赖 FFmpeg 完成转码。报错时先检查ffmpeg -version是否能正常输出再确认 FFmpeg 已加入系统 PATH。坑二模型下载失败。首次运行需要从 HuggingFace 拉取权重网络不稳定时容易中断。此时可以手动从 ModelScope 下载权重放入./clearvoice/checkpoints目录或在网络通畅的环境下先跑一次 demo 预热缓存。坑三采样率不匹配。不同模型有固定的输入采样率16kHz 或 48kHz。直接传入不匹配的音频虽然不会报错但会明显影响效果。建议在预处理阶段用librosa.resample统一采样率再送入模型。坑四长音频一次跑不完。处理超过数分钟的长音频时建议先切分为 30~60 秒的片段批量处理既能规避显存压力也便于对异常片段单独排查。无 GPU 环境同样可以运行——代码会自动检测 CUDA找不到 GPU 时回退到 CPU只是速度会慢一些。七、下一步从哪里开始如果你还没想好从哪入手按这个顺序行动即可先pip install clearvoice再运行仓库里的demo.py记得把对应的if False改成if True来激活想试的示例用samples/目录自带的音频感受一下降噪前后对比之后替换成你自己的录音文件。想深入研究的读者可以通读demo_with_more_comments.py了解每个参数的细节或者翻阅demo_Numpy2Numpy.py学习如何把工具嵌入既有代码管线。遇到问题不用慌——README 中提供了项目维护者的联系邮箱仓库 Issues 区也是提问与反馈的好去处同时欢迎扫描上文二维码加入官方交流群与维护者和其他使用者一起交流算法心得与使用经验。让每一段声音都被清晰听见从今天的第一行代码开始。【免费下载链接】ClearerVoice-StudioAn AI-Powered Speech Processing Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Enhancement, Separation, and Target Speaker Extraction, etc.项目地址: https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ClearerVoice-Studio语音处理工具包上手全攻略：四行代码搞定降噪、人声分离与音质修复
ClearerVoice-Studio语音处理工具包上手全攻略四行代码搞定降噪、人声分离与音质修复【免费下载链接】ClearerVoice-StudioAn AI-Powered Speech Processing Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Enhancement, Separation, and Target Speaker Extraction, etc.项目地址: https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio你有没有遇到过这样的时刻熬夜赶完的访谈录音回放时发现窗外车流声、键盘声盖过了受访者的关键回答整理一场多人会议记录两个说话人的声音交叠在一起怎么都听不清谁说了什么翻出一段十年前的珍贵录音沙哑模糊得几乎无法辨认内容。这些困扰背后是同一个需求——让语音变得清晰、纯净、可用。ClearerVoice-Studio 正是为这类场景而生的开源 AI 语音处理工具包它把语音增强、语音分离、语音超分辨率、目标说话人提取等能力封装成了几乎零门槛的 Python 接口安装后几行代码即可上手。一、先理解它是怎么听懂噪声的在动手之前不妨先用一个生活化的比喻建立认知一段含噪语音就像一张被雨淋花的照片。传统去噪好比拿抹布擦拭照片表面只能处理表层的污渍容易把画面本身也擦糊。而 ClearerVoice-Studio 所采用的深度学习模型更像一位经验丰富的修图师——它先反复看过海量干净照片和花掉照片的对照样本学会了区分什么是人声纹理、什么是噪点颗粒再对每一张新照片进行精准的修补与重绘。具体到技术实现这些模型的工作可以拆解为三步先把音频切成一帧帧的短时片段并转换到频域让模型在频率—时间二维图上识别噪声的模式与位置然后生成一个掩码Mask相当于给每个频率分量标出该保留多少、该削弱多少最后把处理后的频谱还原成波形。整个过程对使用者完全透明——你只需要负责输入和输出中间的修图交给模型完成。二、四张王牌能力各管一摊活ClearerVoice-Studio 预置了覆盖四类任务的预训练模型每一类都能直接对应一个真实使用场景能力典型场景你能拿到什么语音增强会议录音去噪、播客降噪、电话语音清晰化干净无噪的语音文件16kHz 或 48kHz 可选语音分离多人访谈、圆桌讨论、双人对话整理按说话人拆分的多个独立音轨语音超分辨率老旧录音修复、低码率音频升质从 16k/24k/32kHz 提升至 48kHz 的高保真音频目标说话人提取视频会议、庭审录像中锁定某人声音仅保留目标说话人声音的音频或视频以最常用的语音增强为例工具包提供了三个不同定位的模型FRCRN_SE_16K轻快高效适合实时或批量快速处理MossFormerGAN_SE_16K在降噪效果与速度之间取得平衡MossFormer2_SE_48K面向全频带高质量输出满足对音质有苛刻要求的场景。在 VoiceBankDEMAND 公开测试集上MossFormerGAN_SE_16K 的 PESQ 得分可达 3.47对比未处理的 1.97 有显著提升直观感受就是沙沙声消失了人声更立体。语音分离方面MossFormer2_SS_16K 模型在 LRS2_2Mix 测试集上的 SI-SNR 提升达到 15.5dB明显领先于 Conv-TasNet10.6dB等经典方案这意味着即使两人同时说话分离后的每条音轨也足够干净可辨。上图是项目官方交流群二维码扫描后可以与维护者及社区用户交流语音处理技术问题。三、实战演练从一段嘈杂录音到干净成片下面我们以给一段含噪会议录音降噪这个最常见任务为主线完整走一遍流程。整个过程只需要三步。第一步安装环境最简单的安装方式是通过 PyPI 直接安装pip install clearvoice如果你希望获取最新代码或参与开发也可以选择源码安装git clone https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio cd ClearerVoice-Studio/clearvoice pip install --editable .提示如果只需要处理.wav格式无需额外安装任何东西想处理 MP3、AAC、FLAC、OGG 等格式请提前装好 FFmpeg。第二步用四行代码完成降噪from clearvoice import ClearVoice myClearVoice ClearVoice(taskspeech_enhancement, model_names[MossFormer2_SE_48K]) output_wav myClearVoice(input_pathsamples/input.wav, online_writeFalse) myClearVoice.write(output_wav, output_pathsamples/output_enhanced.wav)运行完毕后output_enhanced.wav就是处理好的干净音频。模型权重会在首次调用时自动从 HuggingFace 下载到本地checkpoints目录无需手动操作。第三步进阶调用方式工具还支持三种不同的输入形态可以按需选择# 方式一批处理整个目录下的音频 myClearVoice(input_pathsamples/path_to_input_wavs, online_writeTrue, output_pathsamples/path_to_output_wavs) # 方式二用 .scp 列表文件指定要处理的音频清单 myClearVoice(input_pathsamples/scp/audio_samples.scp, online_writeTrue, output_pathsamples/path_to_output_wavs_scp) # 方式三直接传 NumPy 数组拿回 NumPy 数组适合嵌入自己的训练/推理流程 import soundfile as sf audio, sr sf.read(samples/input.wav) output_wav myClearVoice(audio, False) # 输入输出均为 [batch, length]值得说明的是目录批处理与列表批处理非常适合一次性处理几十条录音的场景配合online_writeTrue参数处理结果会自动落盘到指定目录。四、组合玩法让不同任务协同工作单个任务很容易上手但真实需求往往是复合的——比如一段又老又吵的录音就需要先降噪、再做超分辨率。ClearerVoice-Studio 允许你把多个处理器像积木一样串联起来# 先降噪 myClearVoice_SE ClearVoice(taskspeech_enhancement, model_names[MossFormer2_SE_48K]) clean_wav myClearVoice_SE(input_pathsamples/input.wav, online_writeFalse) # 再提升采样率至 48kHz myClearVoice_SR ClearVoice(taskspeech_super_resolution, model_names[MossFormer2_SR_48K]) sr_wav myClearVoice_SR(clean_wav, online_writeFalse) myClearVoice_SR.write(sr_wav, output_pathsamples/output_restored.wav)这种先净后升的流水线在修复老旧磁带转录、低码率网络语音等场景中效果尤为明显。五、训练自己的模型从使用者到调优者如果你的需求超出了预训练模型的覆盖范围——比如针对特定领域的口音、特定类型的噪声——Train 目录提供了完整的训练与微调脚本支持语音增强、语音分离、语音超分辨率、目标说话人提取四大任务配置入口位于 train/speech_enhancement/config/train/ 等目录。以语音增强为例流程是准备数据集参考data/下的.scp列表格式整理训练/验证清单→ 在config/train/*.yaml中指定模型与数据路径 → 运行bash train.sh启动训练。如果希望从现有权重继续微调只需在脚本中设置init_checkpoint_path指向预训练模型路径train_from_last_checkpoint1即可断点续训。值得一提的还有配套的SpeechScore评估工具包。它内置了 PESQ、STOI、DNSMOS、SI-SDR、NISQA 等十多种主流语音质量指标既能做有参考评估需要干净音频对照也支持无参考评估仅凭模型输出即可打分。训练完成后用它跑一遍就能用客观数据判断模型是否真的变强了from speechscore import SpeechScore mySpeechScore SpeechScore([PESQ, STOI, DNSMOS, SISDR]) scores mySpeechScore(test_pathaudios/noisy.wav, reference_pathaudios/clean.wav, windowNone, score_rate16000, return_meanFalse)六、绕开这几个坑效率翻倍结合社区反馈与源码细节以下四个问题最常困扰新手坑一非 WAV 格式报错。工具对 WAV 原生支持但处理 MP3、AAC、FLAC 等格式依赖 FFmpeg 完成转码。报错时先检查ffmpeg -version是否能正常输出再确认 FFmpeg 已加入系统 PATH。坑二模型下载失败。首次运行需要从 HuggingFace 拉取权重网络不稳定时容易中断。此时可以手动从 ModelScope 下载权重放入./clearvoice/checkpoints目录或在网络通畅的环境下先跑一次 demo 预热缓存。坑三采样率不匹配。不同模型有固定的输入采样率16kHz 或 48kHz。直接传入不匹配的音频虽然不会报错但会明显影响效果。建议在预处理阶段用librosa.resample统一采样率再送入模型。坑四长音频一次跑不完。处理超过数分钟的长音频时建议先切分为 30~60 秒的片段批量处理既能规避显存压力也便于对异常片段单独排查。无 GPU 环境同样可以运行——代码会自动检测 CUDA找不到 GPU 时回退到 CPU只是速度会慢一些。七、下一步从哪里开始如果你还没想好从哪入手按这个顺序行动即可先pip install clearvoice再运行仓库里的demo.py记得把对应的if False改成if True来激活想试的示例用samples/目录自带的音频感受一下降噪前后对比之后替换成你自己的录音文件。想深入研究的读者可以通读demo_with_more_comments.py了解每个参数的细节或者翻阅demo_Numpy2Numpy.py学习如何把工具嵌入既有代码管线。遇到问题不用慌——README 中提供了项目维护者的联系邮箱仓库 Issues 区也是提问与反馈的好去处同时欢迎扫描上文二维码加入官方交流群与维护者和其他使用者一起交流算法心得与使用经验。让每一段声音都被清晰听见从今天的第一行代码开始。【免费下载链接】ClearerVoice-StudioAn AI-Powered Speech Processing Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Enhancement, Separation, and Target Speaker Extraction, etc.项目地址: https://gitcode.com/gh_mirrors/cl/ClearerVoice-Studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考