CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion摘要引言相关工作基于深度学习的多模态图像融合视觉Transformer及其变体2.3 可逆神经网络2.4 与现有方法对比方法3.1 整体概述3.2 编码器3.3 融合层3.4 解码器3.5 两阶段训练4 红外与可见光图像融合4.1 设置4.2 与当前最优算法对比4.3 消融实验4.4 红外可见光图像融合下游应用4.4.1 红外可见光目标检测4.4.2 红外可见光语义分割5. 结论摘要多模态图像融合旨在生成融合图像，保留不同模态各自的优势，例如功能显著目标与精细纹理细节。针对跨模态特征建模、有效分离模态独有特征与模态共享特征的难题，本文提出一种全新的相关性驱动特征分解融合网络（CDDFuse）。首先，CDDFuse利用Restormer模块提取跨模态浅层特征；随后设计双分支Transformer-CNN特征提取器：轻量化Transformer（LT）模块依靠长距离注意力机制处理低频全局特征，可逆神经网络（INN）模块专注提取高频局部细节信息。本文进一步提出相关性驱动损失函数，依据特征嵌入信息约束低频特征具备强相关性、高频特征相互解耦。最后，基于轻量化Transformer的全局融合层与基于可逆神经网络的局部融合层输出最终融合图像。大量实验证明，所提CDDFuse在红外可见光图像融合、医学图像融合等多项融合任务中均取得优异效果。本文在统一评测基准下验证，CDDFuse能够提升下游红外可见光语义分割与目标检测任务的精度。代码开源地址：https://github.com/Zhaozixiang1228/MMIF-CDDFuse引言图像融合是图像处理领域的基础研究方向，旨在整合多张源图像中的关键信息，生成信息丰富的融合图像[47,75,78,79,87]。融合对象包含数字图像[45,84]、多模态图像[36,70,88]、遥感图像[4,76,91]等。红外可见光图像融合（IVF）与医学图像融合（MIF）是多模态图像融合（MMIF）中两大极具挑战性的分支，核心任务是建模各类传感器采集的跨模态特征，并将特征聚合输出融合图像。