RFN-Nest: An end-to-end residual fusion network for infrared and visible images摘要引言2.相关工作2.1 非端到端2.2 端到端方法3 本文提出的融合框架3.1 融合网络整体结构3.1.1 残差融合网络（RFN）3.1.2 解码器网络3.2 两阶段训练策略3.2.1 自编码器网络训练3.2.2 残差融合网络（RFN）的训练4 实验验证4.1 训练阶段实验设置4.2 测试阶段实验设置完整总结一、研究背景与现存痛点二、核心创新（四大贡献）三、网络整体架构四、两阶段训练流程阶段1：自编码器预训练（冻结RFN）阶段2：RFN融合模块训练（冻结编解码器）五、消融实验验证各模块有效性六、对比实验结果七、拓展应用：RGBT红外可见光目标跟踪八、结论摘要在图像融合领域，基于深度学习的融合算法设计尚无通用标准流程，算法设计始终需结合具体融合任务细致考量。设计过程中最难的环节是针对当前任务选取合适的融合策略以生成融合图像。因此，设计可自适应学习的融合策略是图像融合领域极具挑战性的难题。为解决该问题，本文针对红外与可见光图像融合任务提出一种全新的端到端融合网络架构RFN-Nest。我们设计了基于残差结构的残差融合网络（RFN），用以替代传统融合方案；同时提出一种全新的细节保留损失函数与特征增强损失函数，用于训练RFN模块。模型整体采用创新的两阶段训练策略完成学习：第一阶段，基于创新嵌套连接（Nest）结构训练自编码器；第二阶段，利用所提损失函数训练残差融合网络RFN。在公开数据集上开展的实验结果表明，相较于现有算法，本文提出的端到端融合网络在主观视觉效果与客观量化指标两项评估维度上，性能均优于当前主流先进算法。本融合算法的开源代码已上传至：https://github.com/hli1221/imagefusion-rfn-nest。引言由于成像传感器存在物理层面的局限，很难拍摄出整幅画面画质均一优良的场景图像。图像融合在此背景下发挥着关键作用，其目标是利用多幅包含互补视觉信息的源图像，重建出完整清晰的场景图像。该技术拥有诸多应用场景，例如目标跟踪[1–3]、自动驾驶以及视频监控[4]。图像融合任务要求算法生成一张融合图像，整合不同源图像中携带的互补信息[5–7]。图像融合包含特征提取、融合策略、图像重建三大核心步骤。现有融合研究大多围绕其中一项或多项优化融合效果。融合算法分为传统方法与