基础知识1.1 模态模态是指一些表达或感知事物的方式每一种信息的来源或者形式都可以称为一种模态。例如人有触觉听觉视觉嗅觉信息的媒介有语音、视频、文字等多种多样的传感器如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。1.2 多模态多模态即是从多个模态表达或感知事物。多模态可归类为同质性的模态例如从两台相机中分别拍摄的图片异质性的模态例如图片与文本语言的关系。多模态可能有以下三种形式 1描述同一对象的多媒体数据。如互联网环境下描述某一特定对象的视频、图片、语音、文本等信息。2来自不同传感器的同一类媒体数据。如医学影像学中不同的检查设备所产生的图像数据 包括B超(B-Scan ultrasonography)、计算机断层扫描(CT)、核磁共振等物联网背景下不同传感器所检测到的同一对象数据等。3具有不同的数据结构特点、表示形式的表意符号与信息。如描述同一对象的结构化、非结构化的数据单元描述同一数学概念的公式、逻辑 符号、函数图及解释性文本描述同一语义的词向量、词袋、知识图谱以及其它语义符号单元等。1.3 多模态学习多模态机器学习是从多种模态的数据中学习并且提升自身的算法它不是某一个具体的算法它是一类算法的总称。从语义感知的角度切入多模态数据涉及不同的感知通道如视觉、听觉、触觉、嗅觉所接收到的信息;在数据层面理解多模态数据则可被看作多种数据类型的组合如图片、数值、文本、符号、音频、时间序列或者集合、树、图等不同数据结构所组成的复合数据形式乃至来自不同数据库、不同知识库的各种信息资源的组合。对多源异构数据的挖掘分析可被理解为多模态学习。4.1 表征Representation第一个基本挑战是学习如何以利用多种模态的互补性和冗余性的方式表示和总结多模态数据。多模态数据的异质性使得构建这样的表示具有挑战性。例如语言通常是象征性的而音频和视觉形式将被表示为信号。单模态的表征负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量而多模态表征是指通过利用多模态之间的互补性剔除模态间的冗余性从而学习到更好的特征表示。联合表征Joint Representation将多个模态的信息一起映射到一个统一的多模态向量空间Joint结构注重捕捉多模态的互补性融合多个输入模态$x_1,x_2$获得多模态表征$x_mf(x_1,...,x_n)$进而使$x_m$完成某种预测任务。1 Multimodal Transformer for Unaligned Multimodal Language Sequences人类情绪表达通常是多模态的它包括自然语言、面部手势和声学行为的混合。然而在建模这样的多模态人类语言时间序列数据中存在两个主要挑战由于来自每个模态的序列的可变采样率而导致的固有数据非对齐;跨模态的元素之间的长程依赖性。在多模态信息处理任务中多个模态信息之间是相互补充的同时多个模态的信息之间也存在冗余甚至在有些情况下会出现一些冲突因此如何对于多个模态信息的进行有效的融合Fusion是多模态信息处理中核心问题之一。参考网址【论文分享】多模态情感识别中非对齐的多模态时序特征融合 - 知乎https://zhuanlan.zhihu.com/p/84678022(88 封私信 / 80 条消息) 《UniVL》西南交大MSRA提出用于多模态理解和生成的统一视频和语言预训练模型UniVL - 知乎https://zhuanlan.zhihu.com/p/5101223262UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation3模板引导补全在模态缺失情况下无约束的特征生成可能会产生偏离真实情感结构的偏差表示。TLRA 引入了模板引导的补全机制为缺失模态提供稳定的语义参考并将补全限制在由完整模态定义的情感空间内。