Demucs音频分离实战一条命令拆出人声、鼓点和伴奏【免费下载链接】demucsCode for the paper Hybrid Spectrogram and Waveform Source Separation项目地址: https://gitcode.com/gh_mirrors/de/demucs这段伴奏能不能单独导给我做过翻唱视频或混音的朋友大概率被这句话问住过。原唱伴奏版权不好拿手动消音的效果又像裹了一层噪音折腾半天下载到伪伴奏一开口全是和声。其实这种从混音里拆轨道的工作专业上叫音频分离Source Separation而目前开源界最好用的解法之一就是 Meta 开源的Demucs。Demucs 是一个基于深度学习的音频分离工具只需一行命令就能把任意歌曲拆成人声、鼓点、贝斯、伴奏四条独立轨道全程不用专业设备也不用手工对齐波形。这篇实战指南不讲晦涩的数学推导只回答四个问题它凭什么能打、怎么装、怎么用、怎么把效果调到最好。新手照着复制命令就能跑通第一个案例进阶玩家也能在这里找到调优方向。先别急着装看看它凭什么能打音频分离这个赛道并不冷清Spleeter、Open-Unmix 都是成名已久的老将。但 Demucs 能后来居上靠的是三个硬事实指标能打在 MUSDB HQ 测试集上综合SDR 达到 9.00 dB若叠加稀疏注意力与逐源微调还能摸到 9.20 dB属于第一梯队水平。架构先进v4 版本采用混合 Transformer 架构同一个模型里同时跑时域分支和频域分支两条 U-Net再用跨域 Transformer 做特征融合。通俗点说它既看波形又看频谱两条思路互补分离出的音轨伪影更少。完全免费MIT 协议开源商用、二次开发都不受限还能离线跑不依赖任何在线服务。如果和主流工具横向比一下差距会更直观工具处理域综合 SDR备注Spleeter频域约 5.9 dB老牌方案速度快Open-Unmix频域5.3 dB经典基线Demucs v2时域6.3 dB上一代波形模型Demucs v3混合域7.7 dBMDX 挑战赛冠军方案Demucs v4 (htdemucs)混合 Transformer9.0 dB当前默认模型上图是 Demucs v4 的架构示意左侧频域分支Z与右侧时域分支T各自走完 U-Net 编码-解码再由跨域 Transformer 编码器在两者之间交换信息最后合并输出四条音轨。一句话总结想省事用 Spleeter想追求分离质量选 Demucs v4。装它只要一条命令三个环境点别踩先说环境要求Python 3.8 及以上Windows / macOS / Linux 全平台支持。安装本身非常简单python3 -m pip install -U demucs这里有三个新手常踩的小坑提前说清楚能省你半小时Windows 用户把命令里的python3换成python.exe并在 Anaconda Prompt 中执行。如果缺音频编解码依赖顺手再装一个 SoundFilepython.exe -m pip install -U demucs SoundFile。文件名带空格命令行里一定要用引号包住路径比如demucs my music/my favorite track.mp3否则会直接报错。想从源码跑虽然普通使用不需要但如果你要改代码或参与开发可以 clone 源码仓库自行安装git clone https://gitcode.com/gh_mirrors/de/demucs。装完可以先用demucs --list-models看看有哪些模型可用顺便验证安装是否成功。第一次分离一行命令换回四个文件现在进入正题。随便找一首歌执行demucs 你的音频文件.mp3第一次运行会自动下载预训练模型htdemucs之后处理就在本地完成。完成后的输出放在separated/模型名/音频文件名/目录下你会得到四个44.1kHz 立体声 WAV文件vocals.wav干净人声drums.wav鼓点bass.wav贝斯other.wav其他伴奏键盘、吉他、弦乐等小提示mp3、flac、ogg、wav 等常见格式都能直接输入模型会自动重采样输出默认是 int16 的 WAV。三个拿来即用的实战场景基础命令学会后这些真实场景能直接抄作业。场景一一分钟做一首卡拉OK伴奏想快速得到无主唱版本加一个参数即可demucs --two-stemsvocals 流行歌曲.mp3这会只输出vocals.wav和no_vocals.wav两个文件前者是人声后者是纯伴奏做 KTV 素材或翻唱伴奏都够用。vocals也可以换成drums或bass灵活提取任意一轨。场景二单乐器分析练鼓、扒贝斯谱的时候把对应轨道单独拎出来听会清晰得多demucs --two-stemsdrums 摇滚乐.mp3 demucs --two-stemsbass 放克.mp3分离后的音轨比原曲里的乐器位置干净一个量级拿来练习或二次混音都很顺手。场景三直接输出 MP3 批量处理给后期剪辑用直接出 MP3 更省空间demucs --mp3 --mp3-bitrate 320 高音质音乐.flac一批歌想一起处理Demucs 支持一次传入多个文件或直接交给 shell 循环for f in *.mp3; do demucs $f; done模型别乱选一张表帮你省下半天试错-n参数可以切换预训练模型很多人栽在这里——选错了要么效果差要么慢得离谱。对照着选模型特点适合谁htdemucs默认模型四源分离质量与速度均衡绝大多数日常使用htdemucs_ft精细调优版效果略好耗时约 4 倍追求极限质量的制作场景htdemucs_6s六源分离新增吉他、钢琴需要单拆吉他的分析场景hdemucs_mmiv3 混合域模型经典方案老版本兼容、对照实验mdx / mdx_extraMDX 挑战赛获奖模型只跑 MUSDB 数据集的评测mdx_q / mdx_extra_q量化版体积小、速度快移动端或低配机器如果你拿不准直接保持默认的 htdemucs 即可它是官方在质量和速度之间反复权衡后的选择。进阶调优质量、速度、显存三者的平衡术跑通之后这几个参数就是你的性能开关。提升分离质量--shifts原理是随机偏移多次预测再取平均能把分离精度往上推一截。论文里用的 10但耗时直接翻 10 倍建议只在有 GPU 时使用demucs --shifts 4 重要录音.wav压低显存占用--segment处理长音频时显存告急就用它把音频切成小块处理demucs --segment 8 大型音频文件.wav数值越小越省显存但不要低于 7.8 秒混合 Transformer 模型的分段上限。官方建议3GB 显存用 810 秒以上效果最好。提速--overlap默认 0.2525% 重叠已经够用赶时间可以降到 0.1demucs --overlap 0.1 长音频.mp3防止削波失真--clip-mode分离偶尔会产生超出量程的伪影默认rescale会自动整体缩放防削波如果更在意各音轨相对音量可以换成硬裁剪clamp。导出更多格式想要更高精度用--float32需要 24 位音频用--int24。显存不够、速度太慢这份避坑清单请收好问题一GPU 显存不够直接 OOM默认参数下 htdemucs 大约要吃 7GB 显存如果只有 3GB按上面的--segment 8即可。显存更小2GB 级还可以先设环境变量再跑export PYTORCH_NO_CUDA_MEMORY_CACHING1 demucs 音频.mp3问题二没有 GPUCPU 能跑吗当然能速度大约是音频时长的 1.5 倍4 分钟的歌约 6 分钟处理完。多核 CPU 还可以用-j并行加速demucs -d cpu -j 4 音频.mp3注意-j会同步放大内存占用别贪多。问题三分离结果有金属感或粘连先检查输入音质——压缩过狠的低码率 MP3 本身信息就残缺。其次换成htdemucs_ft模型或把--shifts提到 4 再试一次。高频问题速答Q分离后的文件还能继续二次分离吗可以把分离出的音轨再喂给 Demucs 也行但质量不会叠加提升建议只在源文件上做一次高质量分离。Q能不能在 Python 程序里调用而不是命令行可以。项目提供极简 API效果与命令行完全等价import demucs.separate demucs.separate.main([--two-stems, vocals, track.mp3])更复杂的定制化调用可参考 docs/api.md。Q想训练自己的模型需要准备什么需要 PyTorch 环境与足够的数据集流程较长官方专门写了 docs/training.md建议先把推理用熟再上手。Q一次可以处理多个文件吗可以直接罗列路径demucs a.mp3 b.mp3 c.mp3会依次处理。下一步动手试一次Demucs 把拆音轨这件事的门槛降到了一条命令装好后随便找一首歌跑一次四轨文件就在separated文件夹里等你。最好的学习方式永远是先跑通再研究先复制那条最简单的命令把输出文件拖进你的剪辑软件里听一听——感受一下从混音里抠人声到拿到纯净分轨的差别你自然就知道这个开源音频分离工具值不值得装进工作流了。如果这篇文章帮到了你别忘了把这套命令分享给同样在找伴奏、做混音的朋友。【免费下载链接】demucsCode for the paper Hybrid Spectrogram and Waveform Source Separation项目地址: https://gitcode.com/gh_mirrors/de/demucs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Demucs音频分离实战：一条命令拆出人声、鼓点和伴奏
Demucs音频分离实战一条命令拆出人声、鼓点和伴奏【免费下载链接】demucsCode for the paper Hybrid Spectrogram and Waveform Source Separation项目地址: https://gitcode.com/gh_mirrors/de/demucs这段伴奏能不能单独导给我做过翻唱视频或混音的朋友大概率被这句话问住过。原唱伴奏版权不好拿手动消音的效果又像裹了一层噪音折腾半天下载到伪伴奏一开口全是和声。其实这种从混音里拆轨道的工作专业上叫音频分离Source Separation而目前开源界最好用的解法之一就是 Meta 开源的Demucs。Demucs 是一个基于深度学习的音频分离工具只需一行命令就能把任意歌曲拆成人声、鼓点、贝斯、伴奏四条独立轨道全程不用专业设备也不用手工对齐波形。这篇实战指南不讲晦涩的数学推导只回答四个问题它凭什么能打、怎么装、怎么用、怎么把效果调到最好。新手照着复制命令就能跑通第一个案例进阶玩家也能在这里找到调优方向。先别急着装看看它凭什么能打音频分离这个赛道并不冷清Spleeter、Open-Unmix 都是成名已久的老将。但 Demucs 能后来居上靠的是三个硬事实指标能打在 MUSDB HQ 测试集上综合SDR 达到 9.00 dB若叠加稀疏注意力与逐源微调还能摸到 9.20 dB属于第一梯队水平。架构先进v4 版本采用混合 Transformer 架构同一个模型里同时跑时域分支和频域分支两条 U-Net再用跨域 Transformer 做特征融合。通俗点说它既看波形又看频谱两条思路互补分离出的音轨伪影更少。完全免费MIT 协议开源商用、二次开发都不受限还能离线跑不依赖任何在线服务。如果和主流工具横向比一下差距会更直观工具处理域综合 SDR备注Spleeter频域约 5.9 dB老牌方案速度快Open-Unmix频域5.3 dB经典基线Demucs v2时域6.3 dB上一代波形模型Demucs v3混合域7.7 dBMDX 挑战赛冠军方案Demucs v4 (htdemucs)混合 Transformer9.0 dB当前默认模型上图是 Demucs v4 的架构示意左侧频域分支Z与右侧时域分支T各自走完 U-Net 编码-解码再由跨域 Transformer 编码器在两者之间交换信息最后合并输出四条音轨。一句话总结想省事用 Spleeter想追求分离质量选 Demucs v4。装它只要一条命令三个环境点别踩先说环境要求Python 3.8 及以上Windows / macOS / Linux 全平台支持。安装本身非常简单python3 -m pip install -U demucs这里有三个新手常踩的小坑提前说清楚能省你半小时Windows 用户把命令里的python3换成python.exe并在 Anaconda Prompt 中执行。如果缺音频编解码依赖顺手再装一个 SoundFilepython.exe -m pip install -U demucs SoundFile。文件名带空格命令行里一定要用引号包住路径比如demucs my music/my favorite track.mp3否则会直接报错。想从源码跑虽然普通使用不需要但如果你要改代码或参与开发可以 clone 源码仓库自行安装git clone https://gitcode.com/gh_mirrors/de/demucs。装完可以先用demucs --list-models看看有哪些模型可用顺便验证安装是否成功。第一次分离一行命令换回四个文件现在进入正题。随便找一首歌执行demucs 你的音频文件.mp3第一次运行会自动下载预训练模型htdemucs之后处理就在本地完成。完成后的输出放在separated/模型名/音频文件名/目录下你会得到四个44.1kHz 立体声 WAV文件vocals.wav干净人声drums.wav鼓点bass.wav贝斯other.wav其他伴奏键盘、吉他、弦乐等小提示mp3、flac、ogg、wav 等常见格式都能直接输入模型会自动重采样输出默认是 int16 的 WAV。三个拿来即用的实战场景基础命令学会后这些真实场景能直接抄作业。场景一一分钟做一首卡拉OK伴奏想快速得到无主唱版本加一个参数即可demucs --two-stemsvocals 流行歌曲.mp3这会只输出vocals.wav和no_vocals.wav两个文件前者是人声后者是纯伴奏做 KTV 素材或翻唱伴奏都够用。vocals也可以换成drums或bass灵活提取任意一轨。场景二单乐器分析练鼓、扒贝斯谱的时候把对应轨道单独拎出来听会清晰得多demucs --two-stemsdrums 摇滚乐.mp3 demucs --two-stemsbass 放克.mp3分离后的音轨比原曲里的乐器位置干净一个量级拿来练习或二次混音都很顺手。场景三直接输出 MP3 批量处理给后期剪辑用直接出 MP3 更省空间demucs --mp3 --mp3-bitrate 320 高音质音乐.flac一批歌想一起处理Demucs 支持一次传入多个文件或直接交给 shell 循环for f in *.mp3; do demucs $f; done模型别乱选一张表帮你省下半天试错-n参数可以切换预训练模型很多人栽在这里——选错了要么效果差要么慢得离谱。对照着选模型特点适合谁htdemucs默认模型四源分离质量与速度均衡绝大多数日常使用htdemucs_ft精细调优版效果略好耗时约 4 倍追求极限质量的制作场景htdemucs_6s六源分离新增吉他、钢琴需要单拆吉他的分析场景hdemucs_mmiv3 混合域模型经典方案老版本兼容、对照实验mdx / mdx_extraMDX 挑战赛获奖模型只跑 MUSDB 数据集的评测mdx_q / mdx_extra_q量化版体积小、速度快移动端或低配机器如果你拿不准直接保持默认的 htdemucs 即可它是官方在质量和速度之间反复权衡后的选择。进阶调优质量、速度、显存三者的平衡术跑通之后这几个参数就是你的性能开关。提升分离质量--shifts原理是随机偏移多次预测再取平均能把分离精度往上推一截。论文里用的 10但耗时直接翻 10 倍建议只在有 GPU 时使用demucs --shifts 4 重要录音.wav压低显存占用--segment处理长音频时显存告急就用它把音频切成小块处理demucs --segment 8 大型音频文件.wav数值越小越省显存但不要低于 7.8 秒混合 Transformer 模型的分段上限。官方建议3GB 显存用 810 秒以上效果最好。提速--overlap默认 0.2525% 重叠已经够用赶时间可以降到 0.1demucs --overlap 0.1 长音频.mp3防止削波失真--clip-mode分离偶尔会产生超出量程的伪影默认rescale会自动整体缩放防削波如果更在意各音轨相对音量可以换成硬裁剪clamp。导出更多格式想要更高精度用--float32需要 24 位音频用--int24。显存不够、速度太慢这份避坑清单请收好问题一GPU 显存不够直接 OOM默认参数下 htdemucs 大约要吃 7GB 显存如果只有 3GB按上面的--segment 8即可。显存更小2GB 级还可以先设环境变量再跑export PYTORCH_NO_CUDA_MEMORY_CACHING1 demucs 音频.mp3问题二没有 GPUCPU 能跑吗当然能速度大约是音频时长的 1.5 倍4 分钟的歌约 6 分钟处理完。多核 CPU 还可以用-j并行加速demucs -d cpu -j 4 音频.mp3注意-j会同步放大内存占用别贪多。问题三分离结果有金属感或粘连先检查输入音质——压缩过狠的低码率 MP3 本身信息就残缺。其次换成htdemucs_ft模型或把--shifts提到 4 再试一次。高频问题速答Q分离后的文件还能继续二次分离吗可以把分离出的音轨再喂给 Demucs 也行但质量不会叠加提升建议只在源文件上做一次高质量分离。Q能不能在 Python 程序里调用而不是命令行可以。项目提供极简 API效果与命令行完全等价import demucs.separate demucs.separate.main([--two-stems, vocals, track.mp3])更复杂的定制化调用可参考 docs/api.md。Q想训练自己的模型需要准备什么需要 PyTorch 环境与足够的数据集流程较长官方专门写了 docs/training.md建议先把推理用熟再上手。Q一次可以处理多个文件吗可以直接罗列路径demucs a.mp3 b.mp3 c.mp3会依次处理。下一步动手试一次Demucs 把拆音轨这件事的门槛降到了一条命令装好后随便找一首歌跑一次四轨文件就在separated文件夹里等你。最好的学习方式永远是先跑通再研究先复制那条最简单的命令把输出文件拖进你的剪辑软件里听一听——感受一下从混音里抠人声到拿到纯净分轨的差别你自然就知道这个开源音频分离工具值不值得装进工作流了。如果这篇文章帮到了你别忘了把这套命令分享给同样在找伴奏、做混音的朋友。【免费下载链接】demucsCode for the paper Hybrid Spectrogram and Waveform Source Separation项目地址: https://gitcode.com/gh_mirrors/de/demucs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考