简介在人工智能与自然语言处理领域多模态情感分析正成为理解人类真实意图的关键技术。它通过整合文本、音频与视觉等多源信息弥补单一模态在情感表达上的局限。其核心原理在于多模态表示学习与特征融合如何将异构数据映射到统一语义空间并设计高效的融合策略直接决定模型性能。早期融合、晚期融合、低秩融合及基于注意力的跨模态融合各有适用场景而对比学习与模态对齐技术则能显著提升表示质量。该技术广泛应用于社交媒体舆情监控、人机交互、智能客服等场景尤其在CMU-MOSI、MOSEI等公开数据集上融合模型往往能取得超越单模态的效果。然而实际工程中仍需关注数据预处理、特征缓存、消融实验设计等细节。本文基于一套开源的多模态情感分析资源包系统拆解从数据组织、特征提取、融合建模到实验评估的完整链路为相关研究与工程实践提供可复用的参考。 去年整理多模态情感分析这块的实验代码和资源时我顺手把从表示学习到融合再到下游任务的完整模型实现、常用数据集说明、特征提取脚本和实验评估模块打包成了一个zip最近在社区里传得挺开。这个包本来是为了自己复现论文方便结果发现不少刚入多模态方向的同学也在用有人问目录结构怎么设计、融合模块怎么改、数据对齐怎么处理干脆把这套东西拆开讲清楚。先说清楚这个资源包能干什么它覆盖了多模态情感分析常用的三块内容——多模态表示学习、多模态融合、情感分析下游任务模型同时包含数据集说明、特征提取与融合代码、实验评估脚本。如果你刚接触多模态方向或者已经在做情感分析但觉得单模态特征不够用又或者你手里有文本、音频、视频/图像数据但不知道怎么组合训练这套资源有参考价值。1. 从目录结构说起一个多模态项目应该怎么组织代码解压zip之后第一眼看到的是目录规划。很多开源项目代码乱到没法看这个包我重新整理了划分成这样multimodal-sentiment/ ├── data/ # 数据处理与加载 │ ├── datasets.py # 数据集封装与采样逻辑 │ ├── preprocessing.py # 各模态预处理管线 │ └── align.py # 模态对齐时间对齐/语义对齐 ├── features/ # 特征提取相关 │ ├── text_extractor.py │ ├── audio_extractor.py │ └── video_extractor.py ├── fusion/ # 融合算法模型 │ ├── early_fusion.py │ ├── late_fusion.py │ ├── attention_fusion.py │ └── low_rank_fusion.py ├── models/ # 下游任务模型 │ ├── sentiment_regressor.py │ ├── sentiment_classifier.py │ └── mosei_baseline.py ├── experiments/ # 实验配置与训练入口 │ ├── train.py │ ├── eval.py │ ├── configs/ │ └── scripts/ ├── metrics/ # 评估指标 │ ├── regression_metrics.py │ ├── classification_metrics.py │ └── agreement_metrics.py └── results/ # 实验输出1.1 数据、特征、模型、实验分离的意义这样划分不是随便拍的。按原始数据处理 → 特征提取 → 融合建模 → 实验评估这条链路分层每一个环节都可以独立替换。实际做多模态实验的时候你会频繁修改某一个模块而不想动其他模块。比如你今天想从BERT换成RoBERTa提取文本特征只改text_extractor.py就可以了明天想从早期融合改成跨模态注意力fusion/下面的代码单独抽出来改。分开还有一个好处调试方便。多模态实验出问题很难定位是哪个模态的锅如果数据和特征处理揉在一起报错时经常要来回翻文件。分层之后拿到一条样本你可以先单独跑文本提取、单独跑音频提取、单独跑视频提取确认每个模态都没问题再进融合模块。1.2 数据加载与预处理的一点点设计经验datasets.py里封装了几个公开数据集的加载逻辑。多模态数据加载最麻烦的不是IO而是三个模态的样本怎么对应上。以CMU-MOSI为例每条视频样本包含文本人工转写的一句话音频对应的语音片段视频说话人画面帧三个模态采样率不同、时间长度不同要先在时间轴上对齐。align.py做的事情就是把文本按单词切分每个单词对应一段时间窗口再从音频和视频流里按窗口切出特征来。我第一次做的时候没写对齐脚本直接用整段视频的平均池化特征去对整句文本特征结果融合后效果还不如单文本。预处理脚本里我用了常规手段文本小写化、标点规范化、去停用词对于情感分析其实不推荐太激进因为否定词很重要比如not good去停用词后情感极性就反了音频重采样到16kHz提取log-Mel频谱80维filter bank25ms窗长、10ms步长视频帧采样每秒25帧左右做人脸检测并裁剪然后送入预训练模型提取embedding2. 多模态表示学习你不能直接把特征拼在一起多模态表示学习的核心问题是如何把文本、音频、视觉三路特征映射到一个有意义的共享空间。很多人第一次做多模态最直观的想法是把三个特征concat起来不就行了。但对于情感分析这类任务concat会有比较明显的问题。2.1 为什么直接拼接效果不好假如文本特征用BERT得到768维音频特征用log-Mel得到80维视觉特征用ResNet得到2048维。直接concat每个模态的维度差异非常大模型训练时梯度会被高维模态主导。文本情感词明明很关键但在拼接向量里只占很小比例模型很难学到有效权重。另外还有一个更本质的问题三个模态的特征分布差异很大。BERT输出大致在[-1, 1]log-Mel是正数ResNet卷积特征也有一套自己的分布。它们不是同一个度量空间里的东西硬拼到一起模型要额外学一个分布校正函数但通常学不好。2.2 对比学习与跨模态对齐的模块设计这个包里我实现了几种表示学习方案最常用的是对比学习对齐。核心思路是把同一个样本的文本特征和音频/视频特征看作正样本对把不同样本的特征看作负样本对通过InfoNCE损失拉近正样本、推开负样本。# 简化版对比学习对齐模块 import torch import torch.nn as nn import torch.nn.functional as F class ContrastiveAlignment(nn.Module): def __init__(self, proj_dim128, temperature0.07): super().__init__() self.text_proj nn.Sequential( nn.Linear(768, proj_dim), nn.ReLU(), nn.Linear(proj_dim, proj_dim) ) self.audio_proj nn.Sequential( nn.Linear(80, proj_dim), nn.ReLU(), nn.Linear(proj_dim, proj_dim) ) self.temperature temperature def forward(self, text_feat, audio_feat): # 归一化到单位超球面 t F.normalize(self.text_proj(text_feat), dim-1) a F.normalize(self.audio_proj(audio_feat), dim-1) logits torch.matmul(t, a.T) / self.temperature labels torch.arange(text_feat.size(0), devicetext_feat.device) loss (F.cross_entropy(logits, labels) F.cross_entropy(logits.T, labels)) / 2 return loss注意温度系数temperature这个超参对对比学习影响很大。调小了训练不稳定调大了正负样本区分度不够。我试过0.05到0.1范围0.07相对稳一些。有了对齐好的表示下游做分类或回归时可以把三路特征分别映射到共享空间再做融合效果比直接拼接有明显提升。2.3 模态间时序对齐单词级对齐还是句子级对齐表示学习里的对齐除了语义对齐还有时间对齐。情感分析数据集里文本是一个词一个词来的音频视觉是连续帧怎么把两者对应上是关键。在这套资源里我提供了两种对齐策略单词级对齐每个单词对应一段时间窗把该窗口内的音频特征做均值池化视觉特征也取对应帧的均值。CMU-MOSI常用这种方法因为人工转写有词级时间戳。句子级对齐如果数据没有词级标注只能把整句文本特征与整段音视频特征做全局对齐。效果会打折扣但实现简单。实际跑下来单词级对齐在MOSI上的回归任务可以比句子级对齐提升2到3个百分点的相关系数。如果你手里的数据集没有词级标注可以考虑用自动语音识别带词时间戳的输出来辅助对齐这也是常规做法。3. 多模态融合方法拆解早期、晚期、低秩和注意力融合融合是整个多模态情感分析的核心环节。市面上的方法很多但归根到底可以归为三大类早期融合特征级、晚期融合决策级、混合融合模型级。包里我实现了这几类中最有代表性的几种也给了选择建议。3.1 三类融合框架的适用场景先看一个对比表格说明不同融合方式的差异融合方式基本思路优点缺点适用场景早期融合特征拼接后输入分类器实现简单维度爆炸、模态主导特征维度接近或已有对齐表示晚期融合各模态独立预测后投票/加权平均容错性强忽略模态间交互信息模态缺失严重或有强单模态信号混合融合模态两两交互再合并捕获交互信息计算量大、过拟合风险数据量大、对性能要求高的场景实际项目里模态缺失是一个常被忽视的问题。比如采集的视频里有人没说话音频特征缺失或者摄像头角度不对视觉特征质量差。如果你的应用场景经常有模态缺失晚期融合会更稳因为每个模态独立出结果缺失一个其他还能工作。但如果有数据完整性不错混合融合能拿到更好的性能因为情感表达中语气表情语义的交叉信息很重要。3.2 早期融合与低秩融合的实现细节早期融合直接把对齐后的三路特征concat过几层MLP做分类。代码很简单class EarlyFusion(nn.Module): def __init__(self, text_dim768, audio_dim80, video_dim2048, hidden_dim128, num_classes2): super().__init__() total_dim text_dim audio_dim video_dim self.fc nn.Sequential( nn.Linear(total_dim, hidden_dim), nn.BatchNorm1d(hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, num_classes) ) def forward(self, text_feat, audio_feat, video_feat): fused torch.cat([text_feat, audio_feat, video_feat], dim-1) return self.fc(fused)但早期融合有一个坑如果三个模态特征维度差异太大分类器第一层就会把大部分权重花在大维度特征上。所以我在包里做了可配置的降维投影先统一映射到同一个维度再拼接。你会在features/里看到每个模态都有一个proj选项把维度先压到64或128。低秩融合是在早期融合上升级用低秩张量分解来建模模态间的高阶交互避免参数爆炸。核心思路是用一组低秩因子分解三模态交互张量而不是直接构造完整的3维张量。实现的时候要细心一点class LowRankFusion(nn.Module): def __init__(self, text_dim768, audio_dim80, video_dim2048, rank16, num_classes2): super().__init__() self.rank rank self.text_factor nn.Linear(text_dim, rank) self.audio_factor nn.Linear(audio_dim, rank) self.video_factor nn.Linear(video_dim, rank) self.classifier nn.Linear(rank, num_classes) def forward(self, text_feat, audio_feat, video_feat): # 逐模态映射到低秩空间后再逐元素相乘近似张量融合 t self.text_factor(text_feat) a self.audio_factor(audio_feat) v self.video_factor(video_feat) fused t * a * v return self.classifier(fused)低秩融合的好处是可以建模三模态共同出现的交互信息。但要注意初始化因子的时候不能太大否则训练初期输出方差很大loss容易飞。我一般会用小标准差初始化或者加一层LayerNorm。3.3 注意力融合与跨模态Transformer如果数据量足够注意力融合往往效果更好。包里我实现了一个跨模态注意力模块让每个模态去和其他模态交互信息文本中的贬义词需要结合说话人的讽刺语气才能判断极性视觉中的皱眉动作配合否定词才能理解真正情绪。跨模态注意力做的就是让文本去关注音频情感强度、视觉表情等互补信息。一个轻量实现方案class CrossModalAttention(nn.Module): def __init__(self, embed_dim128, num_heads4): super().__init__() self.attention nn.MultiheadAttention(embed_dim, num_heads, batch_firstTrue) self.norm nn.LayerNorm(embed_dim) def forward(self, query_feat, kv_feat): # query_feat: 当前模态的序列特征 # kv_feat: 另一模态的序列特征 attn_out, _ self.attention(query_feat, kv_feat, kv_feat) return self.norm(attn_out query_feat)这里query_feat可以用文本的单词序列kv_feat用音频帧序列。输出就是文本每个词融合了音频上下文的新表示。完整的多模态Transformer则更复杂三个模态各自编码然后在Transformer编码器里做任意模态间的全连接交互。这个包里的models/mosei_baseline.py就有一个完整的实现输入是三个模态的token序列输出是情感维度得分。3.4 如何根据你手里的数据量选择融合结构我踩过最重要一个坑模型复杂度一定要匹配数据量。MOSI的样本量只有2199条视频MOSEI有23453条视频这决定了你能不能用复杂模型。数据量少比如自采数据只有几百条优先早期融合强预训练特征。中等数据量几千条低秩融合、加跨模态注意力。大数据量几万条以上完整的多模态Transformer、端到端训练。数据量不够硬上Transformer大概率过拟合在测试集上甚至不如单模态baseline。这套包里每一种融合方法都提供了配置模板你可以按需切换。4. 情感分析下游任务从数据集到实验评估的完整链路多模态融合不是终点融合之后的任务也很关键。情感分析通常有两种设定分类任务正面/负面/中性和回归任务情感强度从-3到3。这两种设定的评估方式完全不同。4.1 常用数据集的对比与预处理注意事项数据集模态样本量任务语言备注CMU-MOSI文本音频视频2199回归/二分类英文单人情感观点CMU-MOSEI文本音频视频23453回归/七分类英文MOSI的扩展版IEMOCAP文本音频视频10039句多分类英文两人对话DEAP音频视频(人脸)生理信号32人回归/分类英文音乐视频诱发情绪CH-SIMS文本音频视频2281回归/分类中文中文多模态情感DEAP在热搜里出现得比较多它其实是多模态情绪识别数据集。它和MOSI/MOSEI不同DEAP包含脑电、肌电等生理信号情感标签是量化打分valence、arousal、dominance。如果想做脑电这类生理信号与视听信号融合DEAP值得关注。不过它样本量不大、个体差异很大实验时最好做被试内/被试间的交叉验证设计。数据预处理有几个容易踩的坑MOSI/MOSEI的情感标签分布不均衡中性样本占比很高。训练时如果直接拿原始分布模型容易把所有样本都预测成中性。我一般在采样器里加一个类别权重或者对loss做加权。DEAP这类数据集个体差异大如果所有样本混在一起训练模型可能学到被试ID这种无关信息。要做标准化或回归掉个体差异。CH-SIMS是中文数据集文本不需要过BERT英文版得换中文预训练模型比如RoBERTa-wwm-ext。4.2 特征提取细节预训练模型选择与特征缓存策略特征提取直接影响融合效果。文本、音频、视频分别用什么预训练模型是有讲究的文本BERT/RoBERTa处理英文中文就用RoBERTa-wwm-ext或MacBERT。可以直接取最后一层[CLS]向量作为句子表示也可以取全序列输出做后续单词级对齐。文本特征对情感分析贡献最大很多论文的消融实验显示去掉文本性能大幅下跌。音频COVERNET、Wav2Vec、HuBERT、log-MelCNN都是常见方案。如果不想引入太多音频领域知识可以先试log-Mel小CNN。对比下来HuBERT特征更强但提取慢、显存占用高。视频3D CNNI3D提取时序视觉特征2D CNNResNet提取逐帧特征再平均。人脸表情数据集大可以用打上情感标签的人脸识别模型提取。视频特征通常在三者中噪声最大。一个非常实用的建议把所有特征提前提取并缓存到磁盘。多模态数据量虽然不大但每次训练都重新提取特征实在太浪费时间。我一般先把三路特征存成.npy或.h5文件训练时直接读这样迭代模型结构不用重复提取。资源包里features/下的脚本都支持输出缓存文件。特征提取的代码逻辑大致是# 以视频特征为例 def extract_video_features(video_path, detector, feature_extractor, device): frames sample_frames(video_path, frame_rate25) faces [detector.detect_crop(f) for f in frames] face_batch torch.stack(faces).to(device) with torch.no_grad(): feats feature_extractor(face_batch) # 时间维度池化得到整段表示 return feats.mean(dim0).cpu().numpy()4.3 实验配置与训练脚本的模块化设计experiments/train.py是一个统一入口通过configs/*.yaml配置文件和命令行参数组合来控制实验。一个大致的配置示例# configs/mosei_lowrank.yaml model: name: low_rank_fusion text_dim: 768 audio_dim: 80 video_dim: 2048 rank: 16 num_classes: 1 data: dataset: mosei align: word batch_size: 32 shuffle: true train: epochs: 30 lr: 0.001 weight_decay: 0.0001 early_stop_patience: 5 loss: mse optimizer: adamw scheduler: cosine所有涉及重复实验的参数都放进配置里不要写死在代码中。这样跑消融实验时只需要切换配置文件不用改代码。不同批次实验之间的对比记录也好整理。训练循环里有一个细节值得提一下多模态模型通常比单模态模型更容易过拟合正则化策略要跟上。我一般会加Dropout融合层0.3到0.5权重衰减1e-4到1e-5早停验证集指标连续5个epoch不提升就停Label smoothing分类任务可以用避免模型过于自信5. 实验评估指标计算与结果解读的经验实验评估这块我觉得非常关键因为多模态情感分析有一个别的任务少见的特性同时存在回归和分类两种评测方式。写论文或做技术报告时一般两种指标都要报。5.1 回归与分类的双轨评估回归任务常用指标MAE平均绝对误差预测值和真实值差的绝对值平均。越低越好。Corr皮尔逊相关系数预测值和真实值的相关程度。越高越好。更重要的是二分类准确率虽然任务是回归但论文里常把预测值按正负二值化看正负情感方向预测得准不准。这是一个方向性指标。分类任务常用指标ACC准确率所有类别的整体正确率。数据不均衡时容易被多数类主导。F1 Score尤其要关注Macro-F1因为中性样本多加权F1会虚高。Confusion Matrix看类别间的混淆模式比光看F1更有诊断意义。在MOSI/MOSEI标准设定里通常报告如下指标组合数据集典型评估协议MOSIMAE、Corr、二分类ACC正/负MOSEIMAE、Corr、二分类ACC、七分类ACCIEMOCAP四分类加权ACCweighted accuracy和F15.2 一致性指标在情感分析里的价值Corr这个指标很多初学者不理解其实它衡量的是预测值和真实值的变化趋势是否一致。比如真实情感从-2到1是上升如果模型预测从-0.5到0.8也是上升相关度就高。但Corr有一个毛病它不关心绝对误差大小。所以必须结合MAE一起看。一个很经典的现象模型A的MAE比模型B高但相关系数反而更高。这说明A的绝对偏差大但对样本间的相对排序感知更好。对推荐或舆情监测场景趋势比绝对值更关键对情绪强度测量场景MAE更重要。评估时不要只盯一个指标两个一起报。5.3 消融实验设计怎么证明融合真的有用多模态论文最常被审稿人质问的就是你的融合方法到底贡献了多少你要做的不是只报最终结果而是做一系列消融实验文本单模态只用文本特征音频单模态只用音频特征视频单模态只用视频特征早期融合三路特征直接拼接你们的方法替换成包里的融合模块去掉注意力如果用的是注意力融合做一个去注意力的版本去掉对齐如果不做对比学习对齐看效果下降多少这种递进式消融能清晰地展示每个模块的增益。我在experiments/scripts/里放了一键跑消融的shell脚本会自动生成表格。参考格式python experiments/train.py --config configs/mosei_text_only.yaml python experiments/train.py --config configs/mosei_audio_only.yaml python experiments/train.py --config configs/mosei_video_only.yaml python experiments/train.py --config configs/mosei_early_fusion.yaml python experiments/train.py --config configs/mosei_low_rank.yaml所有实验结果写到results/目录每个实验一个子目录包含metrics.json、predictions.csv、训练日志。这样后面写报告时可以直接引用。6. 实战踩坑记录基于真实使用数据的经验总结最后这部分是我实际跑完这些代码之后踩得最深的几个坑。如果你打算直接拿这个包做实验这几条应该能帮你省不少时间。6.1 数据泄漏特征提取和样本划分的先后顺序这是我见过最隐蔽的坑。假如你先对全部数据做了标准化再划分训练集和测试集那测试集的信息已经渗入训练过程了这叫数据泄漏。做多模态特征提取时同样存在这个问题如果先在整个数据集的音频上计算均值和方差再划分数据集就泄漏了如果先跑对比学习对齐再划分数据对齐模型已经见过测试集如果用视频人脸检测模型在全部视频上提取特征模型本来就是在别的数据集上预训练的这没问题但如果在目标数据上微调过预训练模型再提取特征就有泄漏风险正确做法先把数据集按用户/视频维度划分好再在训练集上统计数据分布再提取特征。如果不确定可以设置一个划分种子先用种子划分再做任何统计操作。6.2 维度匹配与掩码生成多模态的维度匹配是新人最容易崩溃的地方。BERT输出是768维但如果你取的是整个序列维度就变成[batch, seq_len, 768]音频帧序列可能是[batch, frame_len, 80]视频帧序列[batch, frame_num, 2048]。这三个序列长度完全不同怎么在序列维度上做注意力常规方案有两种统一长度做全局平均池化所有模态都变成[batch, 1, dim]缺点是对齐信息消失序列级注意力把三个序列都padding到同一个长度并生成对应的mask输入Transformer。mask一定要做对不然padding位置会被注意力机制注意到。掩码生成代码参考def build_padding_mask(lengths, max_len): # lengths: [batch, 3] 每个样本三个模态的实际长度 # 返回 mask: [batch, 3, max_len] mask torch.zeros(len(lengths), 3, max_len, dtypetorch.bool) for i, lens in enumerate(lengths): for m, l in enumerate(lens): mask[i, m, l:] True # True 表示该位置是padding return mask6.3 过拟合与早停多模态模型的收敛陷阱多模态模型有两个非常典型的过拟合信号如果你看到了基本可以判断是过拟合训练loss持续下降验证loss先降后升训练集的Corr已经到0.9但验证集只有0.3和单模态相比多模态过拟合更隐蔽因为融合模块的参数很多但核心特征来自预训练模型。一个常见的禁忌是端到端微调所有预训练模型。这会带来几个问题显存爆炸、训练时间暴增、预训练模型的通用特征被破坏。卡的时候可以冻结大部分参数只微调一个小后缀通常效果更稳定。早停策略我建议这样配看验证集MAE连续5个epoch没有刷新最优值就停止并且保存最优模型而不是最后一个epoch的模型。在train.py里已经实现了这个逻辑你不需要手动维护。还有一个细节多模态模型的特征归一化很重要。BERT提取的文本特征、音频特征、视频特征取值范围差异很大进融合层之前建议各过一个LayerNorm。效果提升不是一点半点尤其是用早期融合时。6.4 特征缓存与磁盘空间管理多模态特征缓存很占空间。以MOSEI为例文本BERT特征大约几百MB音视频特征可能几个GB。特征缓存目录会随着实验增多慢慢变大。建议每个数据集的特征单独存放用features/cache/{dataset_name}/组织数据集版本标注明确不要混用不同版本的预处理特征定期清理不用的中间缓存如果你用.h5格式存特征可以设置压缩参数complevel4通常能减少一半以上空间读取速度影响不大。如果是.npy可以压缩成.npz但要注意读取时不要整个load进内存太大。关于这个zip包里具体每个脚本的使用方式我README里写了详细的说明包括每个函数的输入输出格式、如何替换成自己的数据集、如何扩展新的融合模块。我自己当时整理这些代码就是为了让从数据处理到模型训练再到评估的整条链路可以跑通、可以复现。最后再提醒一句使用带Apache 2.0许可的数据集或代码时注意保留版权声明和许可协议这是最基本的事情。做研究可以借鉴但发表成果时该引用的引用、该遵守的遵守这不仅是学术规范问题也关系到你能走多远。本文还有配套的精品资源点击获取 多模态情感分析实战：从表示学习到融合与评估的完整指南
简介在人工智能与自然语言处理领域多模态情感分析正成为理解人类真实意图的关键技术。它通过整合文本、音频与视觉等多源信息弥补单一模态在情感表达上的局限。其核心原理在于多模态表示学习与特征融合如何将异构数据映射到统一语义空间并设计高效的融合策略直接决定模型性能。早期融合、晚期融合、低秩融合及基于注意力的跨模态融合各有适用场景而对比学习与模态对齐技术则能显著提升表示质量。该技术广泛应用于社交媒体舆情监控、人机交互、智能客服等场景尤其在CMU-MOSI、MOSEI等公开数据集上融合模型往往能取得超越单模态的效果。然而实际工程中仍需关注数据预处理、特征缓存、消融实验设计等细节。本文基于一套开源的多模态情感分析资源包系统拆解从数据组织、特征提取、融合建模到实验评估的完整链路为相关研究与工程实践提供可复用的参考。 去年整理多模态情感分析这块的实验代码和资源时我顺手把从表示学习到融合再到下游任务的完整模型实现、常用数据集说明、特征提取脚本和实验评估模块打包成了一个zip最近在社区里传得挺开。这个包本来是为了自己复现论文方便结果发现不少刚入多模态方向的同学也在用有人问目录结构怎么设计、融合模块怎么改、数据对齐怎么处理干脆把这套东西拆开讲清楚。先说清楚这个资源包能干什么它覆盖了多模态情感分析常用的三块内容——多模态表示学习、多模态融合、情感分析下游任务模型同时包含数据集说明、特征提取与融合代码、实验评估脚本。如果你刚接触多模态方向或者已经在做情感分析但觉得单模态特征不够用又或者你手里有文本、音频、视频/图像数据但不知道怎么组合训练这套资源有参考价值。1. 从目录结构说起一个多模态项目应该怎么组织代码解压zip之后第一眼看到的是目录规划。很多开源项目代码乱到没法看这个包我重新整理了划分成这样multimodal-sentiment/ ├── data/ # 数据处理与加载 │ ├── datasets.py # 数据集封装与采样逻辑 │ ├── preprocessing.py # 各模态预处理管线 │ └── align.py # 模态对齐时间对齐/语义对齐 ├── features/ # 特征提取相关 │ ├── text_extractor.py │ ├── audio_extractor.py │ └── video_extractor.py ├── fusion/ # 融合算法模型 │ ├── early_fusion.py │ ├── late_fusion.py │ ├── attention_fusion.py │ └── low_rank_fusion.py ├── models/ # 下游任务模型 │ ├── sentiment_regressor.py │ ├── sentiment_classifier.py │ └── mosei_baseline.py ├── experiments/ # 实验配置与训练入口 │ ├── train.py │ ├── eval.py │ ├── configs/ │ └── scripts/ ├── metrics/ # 评估指标 │ ├── regression_metrics.py │ ├── classification_metrics.py │ └── agreement_metrics.py └── results/ # 实验输出1.1 数据、特征、模型、实验分离的意义这样划分不是随便拍的。按原始数据处理 → 特征提取 → 融合建模 → 实验评估这条链路分层每一个环节都可以独立替换。实际做多模态实验的时候你会频繁修改某一个模块而不想动其他模块。比如你今天想从BERT换成RoBERTa提取文本特征只改text_extractor.py就可以了明天想从早期融合改成跨模态注意力fusion/下面的代码单独抽出来改。分开还有一个好处调试方便。多模态实验出问题很难定位是哪个模态的锅如果数据和特征处理揉在一起报错时经常要来回翻文件。分层之后拿到一条样本你可以先单独跑文本提取、单独跑音频提取、单独跑视频提取确认每个模态都没问题再进融合模块。1.2 数据加载与预处理的一点点设计经验datasets.py里封装了几个公开数据集的加载逻辑。多模态数据加载最麻烦的不是IO而是三个模态的样本怎么对应上。以CMU-MOSI为例每条视频样本包含文本人工转写的一句话音频对应的语音片段视频说话人画面帧三个模态采样率不同、时间长度不同要先在时间轴上对齐。align.py做的事情就是把文本按单词切分每个单词对应一段时间窗口再从音频和视频流里按窗口切出特征来。我第一次做的时候没写对齐脚本直接用整段视频的平均池化特征去对整句文本特征结果融合后效果还不如单文本。预处理脚本里我用了常规手段文本小写化、标点规范化、去停用词对于情感分析其实不推荐太激进因为否定词很重要比如not good去停用词后情感极性就反了音频重采样到16kHz提取log-Mel频谱80维filter bank25ms窗长、10ms步长视频帧采样每秒25帧左右做人脸检测并裁剪然后送入预训练模型提取embedding2. 多模态表示学习你不能直接把特征拼在一起多模态表示学习的核心问题是如何把文本、音频、视觉三路特征映射到一个有意义的共享空间。很多人第一次做多模态最直观的想法是把三个特征concat起来不就行了。但对于情感分析这类任务concat会有比较明显的问题。2.1 为什么直接拼接效果不好假如文本特征用BERT得到768维音频特征用log-Mel得到80维视觉特征用ResNet得到2048维。直接concat每个模态的维度差异非常大模型训练时梯度会被高维模态主导。文本情感词明明很关键但在拼接向量里只占很小比例模型很难学到有效权重。另外还有一个更本质的问题三个模态的特征分布差异很大。BERT输出大致在[-1, 1]log-Mel是正数ResNet卷积特征也有一套自己的分布。它们不是同一个度量空间里的东西硬拼到一起模型要额外学一个分布校正函数但通常学不好。2.2 对比学习与跨模态对齐的模块设计这个包里我实现了几种表示学习方案最常用的是对比学习对齐。核心思路是把同一个样本的文本特征和音频/视频特征看作正样本对把不同样本的特征看作负样本对通过InfoNCE损失拉近正样本、推开负样本。# 简化版对比学习对齐模块 import torch import torch.nn as nn import torch.nn.functional as F class ContrastiveAlignment(nn.Module): def __init__(self, proj_dim128, temperature0.07): super().__init__() self.text_proj nn.Sequential( nn.Linear(768, proj_dim), nn.ReLU(), nn.Linear(proj_dim, proj_dim) ) self.audio_proj nn.Sequential( nn.Linear(80, proj_dim), nn.ReLU(), nn.Linear(proj_dim, proj_dim) ) self.temperature temperature def forward(self, text_feat, audio_feat): # 归一化到单位超球面 t F.normalize(self.text_proj(text_feat), dim-1) a F.normalize(self.audio_proj(audio_feat), dim-1) logits torch.matmul(t, a.T) / self.temperature labels torch.arange(text_feat.size(0), devicetext_feat.device) loss (F.cross_entropy(logits, labels) F.cross_entropy(logits.T, labels)) / 2 return loss注意温度系数temperature这个超参对对比学习影响很大。调小了训练不稳定调大了正负样本区分度不够。我试过0.05到0.1范围0.07相对稳一些。有了对齐好的表示下游做分类或回归时可以把三路特征分别映射到共享空间再做融合效果比直接拼接有明显提升。2.3 模态间时序对齐单词级对齐还是句子级对齐表示学习里的对齐除了语义对齐还有时间对齐。情感分析数据集里文本是一个词一个词来的音频视觉是连续帧怎么把两者对应上是关键。在这套资源里我提供了两种对齐策略单词级对齐每个单词对应一段时间窗把该窗口内的音频特征做均值池化视觉特征也取对应帧的均值。CMU-MOSI常用这种方法因为人工转写有词级时间戳。句子级对齐如果数据没有词级标注只能把整句文本特征与整段音视频特征做全局对齐。效果会打折扣但实现简单。实际跑下来单词级对齐在MOSI上的回归任务可以比句子级对齐提升2到3个百分点的相关系数。如果你手里的数据集没有词级标注可以考虑用自动语音识别带词时间戳的输出来辅助对齐这也是常规做法。3. 多模态融合方法拆解早期、晚期、低秩和注意力融合融合是整个多模态情感分析的核心环节。市面上的方法很多但归根到底可以归为三大类早期融合特征级、晚期融合决策级、混合融合模型级。包里我实现了这几类中最有代表性的几种也给了选择建议。3.1 三类融合框架的适用场景先看一个对比表格说明不同融合方式的差异融合方式基本思路优点缺点适用场景早期融合特征拼接后输入分类器实现简单维度爆炸、模态主导特征维度接近或已有对齐表示晚期融合各模态独立预测后投票/加权平均容错性强忽略模态间交互信息模态缺失严重或有强单模态信号混合融合模态两两交互再合并捕获交互信息计算量大、过拟合风险数据量大、对性能要求高的场景实际项目里模态缺失是一个常被忽视的问题。比如采集的视频里有人没说话音频特征缺失或者摄像头角度不对视觉特征质量差。如果你的应用场景经常有模态缺失晚期融合会更稳因为每个模态独立出结果缺失一个其他还能工作。但如果有数据完整性不错混合融合能拿到更好的性能因为情感表达中语气表情语义的交叉信息很重要。3.2 早期融合与低秩融合的实现细节早期融合直接把对齐后的三路特征concat过几层MLP做分类。代码很简单class EarlyFusion(nn.Module): def __init__(self, text_dim768, audio_dim80, video_dim2048, hidden_dim128, num_classes2): super().__init__() total_dim text_dim audio_dim video_dim self.fc nn.Sequential( nn.Linear(total_dim, hidden_dim), nn.BatchNorm1d(hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, num_classes) ) def forward(self, text_feat, audio_feat, video_feat): fused torch.cat([text_feat, audio_feat, video_feat], dim-1) return self.fc(fused)但早期融合有一个坑如果三个模态特征维度差异太大分类器第一层就会把大部分权重花在大维度特征上。所以我在包里做了可配置的降维投影先统一映射到同一个维度再拼接。你会在features/里看到每个模态都有一个proj选项把维度先压到64或128。低秩融合是在早期融合上升级用低秩张量分解来建模模态间的高阶交互避免参数爆炸。核心思路是用一组低秩因子分解三模态交互张量而不是直接构造完整的3维张量。实现的时候要细心一点class LowRankFusion(nn.Module): def __init__(self, text_dim768, audio_dim80, video_dim2048, rank16, num_classes2): super().__init__() self.rank rank self.text_factor nn.Linear(text_dim, rank) self.audio_factor nn.Linear(audio_dim, rank) self.video_factor nn.Linear(video_dim, rank) self.classifier nn.Linear(rank, num_classes) def forward(self, text_feat, audio_feat, video_feat): # 逐模态映射到低秩空间后再逐元素相乘近似张量融合 t self.text_factor(text_feat) a self.audio_factor(audio_feat) v self.video_factor(video_feat) fused t * a * v return self.classifier(fused)低秩融合的好处是可以建模三模态共同出现的交互信息。但要注意初始化因子的时候不能太大否则训练初期输出方差很大loss容易飞。我一般会用小标准差初始化或者加一层LayerNorm。3.3 注意力融合与跨模态Transformer如果数据量足够注意力融合往往效果更好。包里我实现了一个跨模态注意力模块让每个模态去和其他模态交互信息文本中的贬义词需要结合说话人的讽刺语气才能判断极性视觉中的皱眉动作配合否定词才能理解真正情绪。跨模态注意力做的就是让文本去关注音频情感强度、视觉表情等互补信息。一个轻量实现方案class CrossModalAttention(nn.Module): def __init__(self, embed_dim128, num_heads4): super().__init__() self.attention nn.MultiheadAttention(embed_dim, num_heads, batch_firstTrue) self.norm nn.LayerNorm(embed_dim) def forward(self, query_feat, kv_feat): # query_feat: 当前模态的序列特征 # kv_feat: 另一模态的序列特征 attn_out, _ self.attention(query_feat, kv_feat, kv_feat) return self.norm(attn_out query_feat)这里query_feat可以用文本的单词序列kv_feat用音频帧序列。输出就是文本每个词融合了音频上下文的新表示。完整的多模态Transformer则更复杂三个模态各自编码然后在Transformer编码器里做任意模态间的全连接交互。这个包里的models/mosei_baseline.py就有一个完整的实现输入是三个模态的token序列输出是情感维度得分。3.4 如何根据你手里的数据量选择融合结构我踩过最重要一个坑模型复杂度一定要匹配数据量。MOSI的样本量只有2199条视频MOSEI有23453条视频这决定了你能不能用复杂模型。数据量少比如自采数据只有几百条优先早期融合强预训练特征。中等数据量几千条低秩融合、加跨模态注意力。大数据量几万条以上完整的多模态Transformer、端到端训练。数据量不够硬上Transformer大概率过拟合在测试集上甚至不如单模态baseline。这套包里每一种融合方法都提供了配置模板你可以按需切换。4. 情感分析下游任务从数据集到实验评估的完整链路多模态融合不是终点融合之后的任务也很关键。情感分析通常有两种设定分类任务正面/负面/中性和回归任务情感强度从-3到3。这两种设定的评估方式完全不同。4.1 常用数据集的对比与预处理注意事项数据集模态样本量任务语言备注CMU-MOSI文本音频视频2199回归/二分类英文单人情感观点CMU-MOSEI文本音频视频23453回归/七分类英文MOSI的扩展版IEMOCAP文本音频视频10039句多分类英文两人对话DEAP音频视频(人脸)生理信号32人回归/分类英文音乐视频诱发情绪CH-SIMS文本音频视频2281回归/分类中文中文多模态情感DEAP在热搜里出现得比较多它其实是多模态情绪识别数据集。它和MOSI/MOSEI不同DEAP包含脑电、肌电等生理信号情感标签是量化打分valence、arousal、dominance。如果想做脑电这类生理信号与视听信号融合DEAP值得关注。不过它样本量不大、个体差异很大实验时最好做被试内/被试间的交叉验证设计。数据预处理有几个容易踩的坑MOSI/MOSEI的情感标签分布不均衡中性样本占比很高。训练时如果直接拿原始分布模型容易把所有样本都预测成中性。我一般在采样器里加一个类别权重或者对loss做加权。DEAP这类数据集个体差异大如果所有样本混在一起训练模型可能学到被试ID这种无关信息。要做标准化或回归掉个体差异。CH-SIMS是中文数据集文本不需要过BERT英文版得换中文预训练模型比如RoBERTa-wwm-ext。4.2 特征提取细节预训练模型选择与特征缓存策略特征提取直接影响融合效果。文本、音频、视频分别用什么预训练模型是有讲究的文本BERT/RoBERTa处理英文中文就用RoBERTa-wwm-ext或MacBERT。可以直接取最后一层[CLS]向量作为句子表示也可以取全序列输出做后续单词级对齐。文本特征对情感分析贡献最大很多论文的消融实验显示去掉文本性能大幅下跌。音频COVERNET、Wav2Vec、HuBERT、log-MelCNN都是常见方案。如果不想引入太多音频领域知识可以先试log-Mel小CNN。对比下来HuBERT特征更强但提取慢、显存占用高。视频3D CNNI3D提取时序视觉特征2D CNNResNet提取逐帧特征再平均。人脸表情数据集大可以用打上情感标签的人脸识别模型提取。视频特征通常在三者中噪声最大。一个非常实用的建议把所有特征提前提取并缓存到磁盘。多模态数据量虽然不大但每次训练都重新提取特征实在太浪费时间。我一般先把三路特征存成.npy或.h5文件训练时直接读这样迭代模型结构不用重复提取。资源包里features/下的脚本都支持输出缓存文件。特征提取的代码逻辑大致是# 以视频特征为例 def extract_video_features(video_path, detector, feature_extractor, device): frames sample_frames(video_path, frame_rate25) faces [detector.detect_crop(f) for f in frames] face_batch torch.stack(faces).to(device) with torch.no_grad(): feats feature_extractor(face_batch) # 时间维度池化得到整段表示 return feats.mean(dim0).cpu().numpy()4.3 实验配置与训练脚本的模块化设计experiments/train.py是一个统一入口通过configs/*.yaml配置文件和命令行参数组合来控制实验。一个大致的配置示例# configs/mosei_lowrank.yaml model: name: low_rank_fusion text_dim: 768 audio_dim: 80 video_dim: 2048 rank: 16 num_classes: 1 data: dataset: mosei align: word batch_size: 32 shuffle: true train: epochs: 30 lr: 0.001 weight_decay: 0.0001 early_stop_patience: 5 loss: mse optimizer: adamw scheduler: cosine所有涉及重复实验的参数都放进配置里不要写死在代码中。这样跑消融实验时只需要切换配置文件不用改代码。不同批次实验之间的对比记录也好整理。训练循环里有一个细节值得提一下多模态模型通常比单模态模型更容易过拟合正则化策略要跟上。我一般会加Dropout融合层0.3到0.5权重衰减1e-4到1e-5早停验证集指标连续5个epoch不提升就停Label smoothing分类任务可以用避免模型过于自信5. 实验评估指标计算与结果解读的经验实验评估这块我觉得非常关键因为多模态情感分析有一个别的任务少见的特性同时存在回归和分类两种评测方式。写论文或做技术报告时一般两种指标都要报。5.1 回归与分类的双轨评估回归任务常用指标MAE平均绝对误差预测值和真实值差的绝对值平均。越低越好。Corr皮尔逊相关系数预测值和真实值的相关程度。越高越好。更重要的是二分类准确率虽然任务是回归但论文里常把预测值按正负二值化看正负情感方向预测得准不准。这是一个方向性指标。分类任务常用指标ACC准确率所有类别的整体正确率。数据不均衡时容易被多数类主导。F1 Score尤其要关注Macro-F1因为中性样本多加权F1会虚高。Confusion Matrix看类别间的混淆模式比光看F1更有诊断意义。在MOSI/MOSEI标准设定里通常报告如下指标组合数据集典型评估协议MOSIMAE、Corr、二分类ACC正/负MOSEIMAE、Corr、二分类ACC、七分类ACCIEMOCAP四分类加权ACCweighted accuracy和F15.2 一致性指标在情感分析里的价值Corr这个指标很多初学者不理解其实它衡量的是预测值和真实值的变化趋势是否一致。比如真实情感从-2到1是上升如果模型预测从-0.5到0.8也是上升相关度就高。但Corr有一个毛病它不关心绝对误差大小。所以必须结合MAE一起看。一个很经典的现象模型A的MAE比模型B高但相关系数反而更高。这说明A的绝对偏差大但对样本间的相对排序感知更好。对推荐或舆情监测场景趋势比绝对值更关键对情绪强度测量场景MAE更重要。评估时不要只盯一个指标两个一起报。5.3 消融实验设计怎么证明融合真的有用多模态论文最常被审稿人质问的就是你的融合方法到底贡献了多少你要做的不是只报最终结果而是做一系列消融实验文本单模态只用文本特征音频单模态只用音频特征视频单模态只用视频特征早期融合三路特征直接拼接你们的方法替换成包里的融合模块去掉注意力如果用的是注意力融合做一个去注意力的版本去掉对齐如果不做对比学习对齐看效果下降多少这种递进式消融能清晰地展示每个模块的增益。我在experiments/scripts/里放了一键跑消融的shell脚本会自动生成表格。参考格式python experiments/train.py --config configs/mosei_text_only.yaml python experiments/train.py --config configs/mosei_audio_only.yaml python experiments/train.py --config configs/mosei_video_only.yaml python experiments/train.py --config configs/mosei_early_fusion.yaml python experiments/train.py --config configs/mosei_low_rank.yaml所有实验结果写到results/目录每个实验一个子目录包含metrics.json、predictions.csv、训练日志。这样后面写报告时可以直接引用。6. 实战踩坑记录基于真实使用数据的经验总结最后这部分是我实际跑完这些代码之后踩得最深的几个坑。如果你打算直接拿这个包做实验这几条应该能帮你省不少时间。6.1 数据泄漏特征提取和样本划分的先后顺序这是我见过最隐蔽的坑。假如你先对全部数据做了标准化再划分训练集和测试集那测试集的信息已经渗入训练过程了这叫数据泄漏。做多模态特征提取时同样存在这个问题如果先在整个数据集的音频上计算均值和方差再划分数据集就泄漏了如果先跑对比学习对齐再划分数据对齐模型已经见过测试集如果用视频人脸检测模型在全部视频上提取特征模型本来就是在别的数据集上预训练的这没问题但如果在目标数据上微调过预训练模型再提取特征就有泄漏风险正确做法先把数据集按用户/视频维度划分好再在训练集上统计数据分布再提取特征。如果不确定可以设置一个划分种子先用种子划分再做任何统计操作。6.2 维度匹配与掩码生成多模态的维度匹配是新人最容易崩溃的地方。BERT输出是768维但如果你取的是整个序列维度就变成[batch, seq_len, 768]音频帧序列可能是[batch, frame_len, 80]视频帧序列[batch, frame_num, 2048]。这三个序列长度完全不同怎么在序列维度上做注意力常规方案有两种统一长度做全局平均池化所有模态都变成[batch, 1, dim]缺点是对齐信息消失序列级注意力把三个序列都padding到同一个长度并生成对应的mask输入Transformer。mask一定要做对不然padding位置会被注意力机制注意到。掩码生成代码参考def build_padding_mask(lengths, max_len): # lengths: [batch, 3] 每个样本三个模态的实际长度 # 返回 mask: [batch, 3, max_len] mask torch.zeros(len(lengths), 3, max_len, dtypetorch.bool) for i, lens in enumerate(lengths): for m, l in enumerate(lens): mask[i, m, l:] True # True 表示该位置是padding return mask6.3 过拟合与早停多模态模型的收敛陷阱多模态模型有两个非常典型的过拟合信号如果你看到了基本可以判断是过拟合训练loss持续下降验证loss先降后升训练集的Corr已经到0.9但验证集只有0.3和单模态相比多模态过拟合更隐蔽因为融合模块的参数很多但核心特征来自预训练模型。一个常见的禁忌是端到端微调所有预训练模型。这会带来几个问题显存爆炸、训练时间暴增、预训练模型的通用特征被破坏。卡的时候可以冻结大部分参数只微调一个小后缀通常效果更稳定。早停策略我建议这样配看验证集MAE连续5个epoch没有刷新最优值就停止并且保存最优模型而不是最后一个epoch的模型。在train.py里已经实现了这个逻辑你不需要手动维护。还有一个细节多模态模型的特征归一化很重要。BERT提取的文本特征、音频特征、视频特征取值范围差异很大进融合层之前建议各过一个LayerNorm。效果提升不是一点半点尤其是用早期融合时。6.4 特征缓存与磁盘空间管理多模态特征缓存很占空间。以MOSEI为例文本BERT特征大约几百MB音视频特征可能几个GB。特征缓存目录会随着实验增多慢慢变大。建议每个数据集的特征单独存放用features/cache/{dataset_name}/组织数据集版本标注明确不要混用不同版本的预处理特征定期清理不用的中间缓存如果你用.h5格式存特征可以设置压缩参数complevel4通常能减少一半以上空间读取速度影响不大。如果是.npy可以压缩成.npz但要注意读取时不要整个load进内存太大。关于这个zip包里具体每个脚本的使用方式我README里写了详细的说明包括每个函数的输入输出格式、如何替换成自己的数据集、如何扩展新的融合模块。我自己当时整理这些代码就是为了让从数据处理到模型训练再到评估的整条链路可以跑通、可以复现。最后再提醒一句使用带Apache 2.0许可的数据集或代码时注意保留版权声明和许可协议这是最基本的事情。做研究可以借鉴但发表成果时该引用的引用、该遵守的遵守这不仅是学术规范问题也关系到你能走多远。本文还有配套的精品资源点击获取