note架构设计采用双编码器Dual-Encoder结构分别用 CNN14 处理音频Log Mel Spectrogram和 BERT 处理文本通过可学习线性投影将二者映射到统一的 1024 维多模态空间。训练目标基于 CLIP 式的对比学习Contrastive Learning在 Batch 内计算音频-文本相似度矩阵并施加对称 InfoNCE 损失迫使匹配的音频与文本嵌入在空间中靠近不匹配的远离。推理机制利用自然语言 Prompt如 This is a sound of [label]编码类别描述通过零样本Zero-Shot余弦相似度检索实现开放词汇分类无需下游任务标注数据或微调即可泛化到 16 个跨域任务。CLAP 证明了即使使用较少的128k高质量音频-文本对通过对比学习也能构建强大的通用音频表征实现灵活的零样本预测。声音事件类任务受益最大而语音/情感类任务因训练语料偏差仍有提升空间。未来的方向包括引入更多人类语音描述数据及更智能的噪声文本过滤方法。文章目录note一、研究动机二、CLAP论文核心三、实验设置与数据四、实验结果与分析Zero-Shot 性能有监督微调性能关键消融与分析一、研究动机《CLAP: Learning Audio Concepts From Natural Language Supervision》2022年主流音频分析模型通常采用“单一类别标签对应大量录音”的训练范式存在显著局限性依赖标注数据需要大量人工标注的类别标签进行训练成本高昂。灵活性差模型只能预测训练时预定义的固定类别无法灵活处理未见过的类别Closed-set。语义缺失自监督学习SSL虽规避了标签依赖但排除了自然语言的语义知识仍需在下游任务中适应固定的类别范式。受计算机视觉中CLIP模型的启发作者提出Contrastive Language-Audio Pretraining (CLAP)旨在利用自然语言监督学习音频概念将音频与文本映射到统一的多模态空间从而实现**Zero-Shot零样本**预测摆脱对固定类别标签的依赖。二、CLAP论文核心CLAP 的核心架构与训练流程如下双编码器结构音频编码器采用 CNN14来自 PANNs预训练于 AudioSet输入为 Log Mel Spectrogram输出 2048 维特征。文本编码器采用 BERT-base-uncased取 [CLS] token 作为 768 维文本特征。联合多模态空间两者分别通过可学习的线性投影层L a , L t L_a, L_tLa​,Lt​映射到维度d 1024 d1024d1024的共同嵌入空间。对比学习损失使用对称对比损失Symmetric InfoNCE Loss。在一个 Batch 的N NN个音频-文本对中最大化匹配对的相似度对角线最小化非匹配对的相似度非对角线并引入可学习的温度参数τ \tauτ缩放 logits。Zero-Shot 推理推断时计算测试音频嵌入与所有类别文本描述如 “This is a sound of [class]”嵌入的余弦相似度通过 Softmax/Sigmoid 输出概率无需任何额外训练。三、实验设置与数据训练数据仅使用约128k音频-文本对来自 FSD50K、ClothoV2、AudioCaps、MACS规模远小于 CV 领域的 CLIP。下游任务涵盖 8 个领域共 16 个数据集包括声音事件分类ESC50, FSD50K, US8K、音乐分类、场景分类、语音情感识别CREMA-D, RAVDESS、关键词识别等。评估模式Zero-Shot (ZS)直接推理无微调。Supervised Feature Extraction (S)冻结编码器提取特征后训练分类头。Supervised Finetune (F)解冻编码器进行微调。四、实验结果与分析Zero-Shot 性能CLAP 在零样本设置下取得了显著的 SOTA 表现证明了自然语言监督的有效性ESC50准确率达82.6%超越人类水平81%及 AudioCLIP69%。US8K73.24%优于 AudioCLIP 的 65%。FSD50K多标签mAP 达0.3024远超 Wav2CLIP0.03。GTZAN Music vs Speech达到100%准确率甚至匹敌有监督模型。在所有 16 个任务上均优于随机猜测在声音事件分类SEC领域泛化能力极强。有监督微调性能在监督微调CLAP Best/F设置下CLAP 在 5 个数据集上达到 SOTAGTZAN Music vs Speech (100%)、Music Genre (91.3%)、Mridangam Stroke (97.94%)、Tonic (95.34%)、Vocal Sounds (97.95%)。在情感识别ER等任务上表现稍弱如 RAVDESS 64.36% vs SOTA 81%作者分析这是因为训练数据主要来自音频描述含大量环境声缺乏对人声内容及语境的描述。关键消融与分析编码器冻结实验同时解冻音频和文本编码器效果最好有趣的是仅解冻文本编码器的效果优于仅解冻音频编码器**说明文本端的学习对多模态对齐至关重要。Prompt 工程的影响使用自然语言模板如 “This is a sound of [label]”比单纯使用单词标签效果更好在 ESC50 上提升了约 5% 的准确率。怎么写文本描述直接影响效果。同样是ESC50分类用不同的prompti can hear [label] → 78.6%[label] → 81.2%this is a sound of [label] → 82.6%说明零样本不是「随便扔个词就行」需要用符合预训练语料的句式预训练的文本都是完整的句子不是单个词数据质量讨论尝试加入 AudioSet 的标签生成的文本标题/标签拼接反而导致性能下降ESC50 降至 67.15%说明自然描述的语义质量比单纯增加数据量更重要YouTube 标题往往不能准确描述片段声学内容。