AI情感计算表情、语音与生理信号的情绪识别让机器读懂情绪是人机交互走向自然化的关键一步。客服系统需要在用户发火之前察觉不满智能座舱要在驾驶员疲劳分神时及时干预抑郁症筛查希望从语音里找到客观的生物标志物——这些需求共同撑起了情感计算Affective Computing这个交叉领域。情绪信号天然是多模态的写在脸上的表情、藏在语调里的波动、还有自己未必意识到的生理变化。本文按模态逐一拆解技术方案最后谈融合与落地。情绪建模先搞清楚要预测什么动手之前必须明确情绪的目标表示两条路线差别巨大离散类别Ekman 六基本情绪喜、怒、哀、惧、惊、厌加中性。标注简单、分类指标清晰工业界主流。维度空间效价Valence愉悦程度和唤醒度Arousal激动程度构成的连续坐标。表达力更细适合从平静到愤怒的渐变刻画但标注成本高、一致性差。实践建议业务优先用离散类别跑通闭环维度模型在心理研究、精细交互场景再上。两者也可以多任务联合训练共享表征互相增益。表情识别最成熟也最容易翻车的模态面部情绪识别FER是数据最多、方案最成熟的模态。常用数据集 FER2013、AffectNet、RAF-DB主流模型从 ResNet/VGG 分类一路演进到 ViT还有不少工作结合人脸关键点或动作单元AU如嘴角上扬皱眉肌收缩做中间表征解释性更好。但表情识别有个尴尬现实实验室精度和真实场景差距巨大。FER2013 上做到 70% 不难一旦换到遮挡口罩、手托腮、侧脸、低分辨率监控画面精度断崖下跌。更根本的问题是表情≠情绪——礼貌性微笑、强忍的愤怒都会骗过只看脸的模型。工程上务必结合上下文和业务先验做后处理不要把单帧表情分类结果直接当结论用。语音情绪识别绕不开说者无关难题语音里藏着大量副语言信息语速、音高、能量、颤音、停顿模式。传统方案用 openSMILE 提取 eGeMAPS 特征集接 SVM/MLP现在主流是自监督预训练模型微调——wav2vec 2.0、HuBERT 在 IEMOCAP 等数据集上大幅刷新纪录。下面是一个基于 HuggingFace 的最小语音情绪识别示例import torch import torchaudio from transformers import Wav2Vec2FeatureExtractor, Wav2Vec2ForSequenceClassification # 使用在情绪语料上微调过的 wav2vec2 模型 model_name superb/wav2vec2-base-superb-er extractor Wav2Vec2FeatureExtractor.from_pretrained(model_name) model Wav2Vec2ForSequenceClassification.from_pretrained(model_name) def predict_emotion(wav_path: str): waveform, sr torchaudio.load(wav_path) waveform torchaudio.functional.resample(waveform, sr, 16000) inputs extractor(waveform.squeeze(0).numpy(), sampling_rate16000, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits labels model.config.id2label # 如 {0:neu,1:hap,2:ang,3:sad} probs torch.softmax(logits, dim-1).squeeze(0) top probs.argmax().item() return labels[top], probs[top].item() # 实测要点输入裁剪到 4~10 秒效果较好 # 电话信道(8kHz 窄带)与麦克风录音分布差异大需针对性微调语音情绪识别最大的坑是说者差异有人天生语调平淡有人说话永远抑扬顿挫。跨说者speaker-independent评估的准确率往往比随机划分低 10 个百分点以上训练时必须按说者划分数据集并考虑做说者归一化如说话人嵌入去除。生理信号测谎仪式的高门槛路线皮肤电EDA/GSR、心电ECG、脑电EEG、呼吸、皮温——这些信号由自主神经系统驱动主观伪装难度大理论上是最诚实的情绪通道。经典公开数据集有 DEAP32 名被试 EEG外周生理信号和 WESAD腕带可穿戴数据。技术方案上EEG 常用微分熵Differential Entropy特征接图神经网络利用电极拓扑结构EDA 提取皮肤电导反应SCR峰值特征ECG 用心率变异性HRV的时频域指标。生理路线的瓶颈很现实采集设备侵入性强医疗级 EEG 帽、信号噪声大运动伪迹、个体基线差异显著。目前可行的落地方向是消费级设备上的轻量组合——智能手表的 PPGHRV 做压力监测已经有成熟产品。三模态对比| 维度 | 面部表情 | 语音 | 生理信号 | |------|---------|------|---------| | 采集成本 | 摄像头即可 | 麦克风即可 | 需专用传感器 | | 可伪装性 | 易伪装/掩饰 | 部分可控 | 难伪装 | | 典型精度 | 六分类 60–70% | 四分类 65–75% | 二/三分类 70% | | 主要干扰 | 遮挡、光照、姿态 | 噪声、信道、说者差异 | 运动伪迹、个体基线 | | 适用场景 | 客服质检、课堂分析 | 呼叫中心、座舱 | 医疗健康、测谎辅助 |多模态融合11 什么时候大于 2单一模态都