FusionRegister：红外可见光图像融合专用配准网络FusionRegister: Every Infrared and Visible Image Fusion Deserves Registration摘要引言2. 相关工作2.1 红外与可见光图像融合2.2 配准融合一体化红外可见光图像融合3.方法3.1 整体框架概述3.2 错位定位与区域配准（ML,LR）3.3 模态保留模块3.4 损失函数4.实验4.1 实验细节4.2 评价指标4.3 泛化性实验4.4 对比实验4.5 消融实验4.5.1 模态保留块（MRB）有效性验证4.5.2 双向形变映射模块有效性验证4.5.3 模态保留机制有效性验证4.5.4 网络层数的有效性分析4.6 复杂度对比实验5 结论摘要在面向现实场景感知的多模态图像融合任务中，跨视觉模态的空间配准是关键但难度极大的步骤。尽管已有多种方法被提出以解决该问题，但现有的基于配准的融合方法通常需要大量前置配准操作，导致效率受限。为克服这些局限，本文针对红外与可见光图像融合任务，提出一种由视觉先验引导的通用跨模态配准方法，命名为FusionRegister。首先，FusionRegister通过学习跨模态失配表征来实现鲁棒性，而非强制对齐所有差异，即便输入条件复杂，也能保证输出稳定。其次，该方法直接作用于融合结果，可显式刻画并有效处理失配问题，能够与各类融合方法无缝结合，同时保留各融合方法本身的特性。此外，该方法将主干融合网络作为天然视觉先验来源，引导配准流程仅关注错位区域，避免冗余运算，进一步提升效率。在三个数据集上开展的大量实验证明，FusionRegister不仅能够继承前沿算法的融合画质，还具备更出色的细节对齐能力与鲁棒性，非常适用于红外可见光图像融合任务。代码开源地址：https://github.com/bociic/FusionRegister。引言近年来，红外与可见光图像融合（IVIF）领域取得了长足发展。非深度学习类算法可实现高效信息筛选与自适应融合[9,17,28,33]。基于深度学习的方法则进一步借助神经网络模型提取模态共有特征与模态独有特征，以此实现精度更高的融合效果[18,21,23,36]。模态共有信息指两种图像中均清晰存在的特征，模态独有信息则是仅在单种图像中可见的特征[25]。但受成像设备自身限制，红外图像与可见光图像往往存在空间错位。