论文基本信息项目内容标题C2DFF-Net for Object Detection in Multimodal Remote Sensing Images作者Yue Zhang, Jinbao Chen, Jianyuan Wang 等单位南京航空航天大学航天学院期刊IEEE Transactions on Geoscience and Remote Sensing, Vol. 63, 2025代码https://github.com/FPGAzzy/C2DFF-Net一、研究背景与动机1.1 多模态遥感目标检测的挑战遥感图像中的目标检测面临三大核心难题目标极小通常小于 32×32 像素像素占比极低特征表征不足背景复杂复杂背景和光照条件导致小目标融入背景单模态局限可见光图像纹理和颜色丰富但夜间/低光照条件下失效红外图像不受光照影响但纹理低、分辨率低、噪声大1.2 现有方法的不足问题类型具体表现互补信息利用不足简单拼接或逐元素相加无法充分利用各模态的独特特征跨域差异特征被忽视现有研究主要关注空间域特征融合忽略了跨域差异特征 (Differential Features, DFs)计算开销过大Transformer/Mamba 等全局建模方法参数量和计算量巨大如 ICAFusion: 120.21M 参数, 191.6 GFLOPs难以部署在无人机等边缘设备二、核心贡献C2DFF-Net 网络架构论文提出了Cross-modal and Cross-domain Differential Feature Fusion Network (C2DFF-Net)包含三个创新模块┌─────────────────────────────────────────────────────────────┐ │ C²DFF-Net 整体架构 │ ├─────────────────────────────────────────────────────────────┤ │ 输入: 可见光图像 (Visible) 红外图像 (Infrared) │ │ ↓ │ │ ┌─────────────┐ ┌─────────────┐ │ │ │ 双流骨干网络 │ ←─ │ CDFIM ×3 │ 跨模态差异特征交互 │ │ │ (YOLOv8n改造)│ │ (插入骨干网) │ │ │ └─────────────┘ └─────────────┘ │ │ ↓ │ │ ┌─────────────┐ ┌─────────────┐ │ │ │ 特征金字塔 │ ←─ │ CGSA ×3 │ 跨域门控自注意力融合 │ │ │ (FPN) │ │ (融合 neck) │ │ │ └─────────────┘ └─────────────┘ │ │ ↓ │ │ ┌─────────────────────────────────────┐ │ │ │ 检测头 (Detection Head) │ │ │ └─────────────────────────────────────┘ │ │ ↓ │ │ 输出: 目标坐标、类别、置信度 │ │ │ │ 训练策略: ALM (Adaptive Light-Aware Mask) 自适应光感知掩码 │ └─────────────────────────────────────────────────────────────┘三、三大核心模块详解3.1 CDFIM — 跨模态差异特征交互模块 (Cross-modal DF Interaction Module)设计动机传统方法拼接/相加同时引入差异信息和冗余信息。CDFIM 借鉴差分放大器思想只关注差异特征 (DFs)来增强跨模态互补信息。数学原理差分模态特征FDGLUE(Conv1(FV−FI))F^D \text{GLUE}(\text{Conv}_1(F^V - F^I))FDGLUE(Conv1​(FV−FI))通道注意力MCσ(MLP(GAP(FD))MLP(GMP(FD)))M^C \sigma(\text{MLP}(\text{GAP}(F^D)) \text{MLP}(\text{GMP}(F^D)))MCσ(MLP(GAP(FD))MLP(GMP(FD)))增强输出FDC(MC⊗FDFV)(MC⊗FDFI)F^{DC} (M^C \otimes F^D F^V) (M^C \otimes F^D F^I)FDC(MC⊗FDFV)(MC⊗FDFI)结构组成通道注意力增强基于 CPCAChannel Prior Convolutional Attention通过 GAP/GMP 生成通道注意力图空间注意力增强采用 Inception 风格的深度可分离条带卷积Deep Strip Convolution高效捕获多尺度上下文关键洞察DF 特征图更关注单模态特征忽略的区域如图 3 所示红色框标注区域在加入 DF 后两个模态对车辆目标的关注度均有提升3.2 CGSA — 跨域门控自注意力模块 (Cross-domain Gated Self-Attention)设计动机在减少计算量的同时实现空间-频率跨域互补特征的自适应融合。CGSA 包含三个子模块(1) CFE — 跨域特征提取 (Cross-Domain Feature Extraction)利用谱卷积定理在傅里叶域处理数据以提取全局频率特征F(FV)(u,v)∑h0H−1∑w0W−1FV(h,w)⋅e−2πj(uhvw)\mathcal{F}(F^V)(u,v) \sum_{h0}^{H-1}\sum_{w0}^{W-1} F^V(h,w) \cdot e^{-2\pi j(uhvw)}F(FV)(u,v)h0∑H−1​w0∑W−1​FV(h,w)⋅e−2πj(uhvw)分别提取幅度谱A\mathcal{A}A和相位谱P\mathcal{P}P跨模态融合幅度和相位信息通过 IFFT 重建空间域特征FVIF^{VI}FVI计算跨域差异特征FV^Conv3(FV−FVI)F^{\hat{V}} \text{Conv}_3(F^V - F^{VI})FV^Conv3​(FV−FVI)(2) SAFF — 自注意力特征融合 (Self-Attention Feature Fusion)基于PSA (Polarized Self-Attention)机制重新设计Q 分支特征完全压缩为RHW×1×1R^{HW \times 1 \times 1}RHW×1×1轻量V 分支保持高分辨率RC/2×HW×1R^{C/2 \times HW \times 1}RC/2×HW×1信息丰富通过 Softmax 生成融合权重经 Sigmoid 激活后与输入特征做通道级乘法极化滤波在一个方向压缩特征正交方向保持高分辨率有效减少冗余(3) AG — 自适应门控单元 (Adaptive Gating)借鉴 GMU (Gated Multimodal Unit)G[F1,F2]g⋅tanh⁡(Conv9(F1))(1−g)⋅tanh⁡(Conv10(F2))G[F_1, F_2] g \cdot \tanh(\text{Conv}_9(F_1)) (1-g) \cdot \tanh(\text{Conv}_{10}(F_2))G[F1​,F2​]g⋅tanh(Conv9​(F1​))(1−g)⋅tanh(Conv10​(F2​))gσ(Conv11(Cat[F1,F2]))g \sigma(\text{Conv}_{11}(\text{Cat}[F_1, F_2]))gσ(Conv11​(Cat[F1​,F2​]))动态确定各模态对最终融合结果的贡献有效过滤噪声。3.3 ALM — 自适应光感知掩码 (Adaptive Light-Aware Mask)设计动机智能模型学习双模态特征时骨干网络通常优先提取可见光模态特征因其纹理和颜色信息丰富不可避免地忽视红外模态特征。核心思想根据可见光图像的局部光照先验信息添加动态掩码强制网络学习互补模态信息。实现方式将可见光图像划分为N×NN \times NN×N个 patch计算每个 patch 的平均光照值并排序Bottom-K暗区红外模态目标更明显 →掩码可见光图像强制学习红外特征Top-K亮区可见光模态目标更清晰但可能存在眩光和过曝→ 随机选择 K/2 位置掩码红外K/2 位置掩码可见光避免单一依赖可见光训练策略掩码处理概率设为 30%在 DroneVehicle 上最优参数为 N8, K4。四、实验结果4.1 数据集数据集特点规模DroneVehicleUAV 采集城市场景昼夜变化28,439 对图像5 类车辆VEDAI航拍小目标检测光照/阴影变化1,200 对图像9 类目标FLIR通用大规模城市场景5,142 对图像3 类目标4.2 消融实验关键结论模块DroneVehicle mAP50 提升核心发现CPCA (基线注意力)0.9%通道注意力有效CPCA DF1.4%差异特征增强互补学习CDFIM (完整)1.8%参数量仅增 0.26M计算增 0.7 GFLOPsSAFF1.5%仅通道注意力即可空间注意力在多模态中冗余SAFF AG1.8%门控机制动态调整融合权重SAFF CFE1.7%频率域全局特征有效CGSA (完整)2.0%跨域差异特征 门控融合CDFIM CGSA2.3%协同增效APs 提升 9.1% ALM85.7%训练策略不增加计算负担4.3 与 SOTA 方法对比DroneVehicle 数据集方法mAP50参数量GFLOPsPCAF-L (红外单模)82.5%57.9M483.3MMFDet82.5%~60M~150ICAFusion84.3%120.21M191.6C²DFF-Net (本文)85.7%6.58M14.6关键优势比 ICAFusion参数量减少 94.5%计算量减少 92.4%比 MMFDet精度高 3.2%计算量低 10 倍以上VEDAI 数据集mAP50 达到79.8%比基线提升 7.8%在 car 类别上达到最高单类检测精度。FLIR 数据集mAP50 达到76.9%与 ICAFusion 相当但轻量得多。4.4 可视化分析从图 9 和图 10 的定性对比可以看出夜间暗区C²DFF-Net 能检测出其他方法漏检的货车目标过曝区域成功检测出 FFCA-YOLO 和 ICAFusion 漏检的汽车小目标密集场景C²DFF-Net 仅 1 处漏检其他模型结果不理想颜色与背景相似C²DFF-Net 能区分出与背景颜色相近的卡车目标4.5 真实场景部署在DJI M600 Pro 无人机上搭载自组装双模态云台和 ZYNQ 板卡进行实测红外相机Mini 640 (640×512)可见光相机工业高清相机 (1920×1080)配准后分辨率640×512结果表明在各种光照条件下均表现良好支持实时推理。五、模块设计的深层洞察5.1 为什么 PSA 的通道模块足够论文发现在多模态数据集中可见光和红外特征空间对齐度很高空间注意力机制带来的收益有限反而引入冗余。因此仅使用 PSA 的通道模块即可这是针对多模态特性的重要优化。5.2 为什么跨域差异特征有效通过 Pearson 相关系数矩阵分析图 6基线 (Baseline)平均相关系数 0.0700SAFF0.0268CGSA0.0088← 通道间信息独立性最强极化滤波机制 跨域特征提取有效抑制了冗余信息。5.3 ALM 相比 DIM 的优势DIM (Darkness-aware Illumination Mask) 仅考虑暗区掩码而 ALM暗区掩码可见光 → 学红外亮区随机不对称掩码→ 避免眩光/过曝时过度依赖可见光图 8 显示在相同参数下ALM consistently 优于 DIM。六、局限性与未来方向依赖配准目前只能处理已完成时空配准的多模态图像配准算法性能影响整体检测速度和精度 → 未来探索端到端的多模态配准-检测联合框架嵌入式推理速度ZYNQ 等嵌入式硬件上的推理速度与 GPU 仍有差距 → 需要进一步的硬件加速研究七、总结C²DFF-Net 的核心创新可以概括为层面创新点特征层面提出跨模态差异特征 (DFs)和跨域差异特征避免学习冗余信息模块层面CDFIM (通道-空间动态注意力)、CGSA (频率-空间跨域融合 极化自注意力 门控)、ALM (光照感知非对称掩码)效率层面仅 6.58M 参数、14.6 GFLOPs达到 SOTA 精度应用层面已在真实无人机平台验证具备实际部署能力这篇论文为边缘设备上的轻量化多模态遥感小目标检测提供了一个优秀的解决方案其模块设计思想差异特征、跨域融合、光照感知训练具有很好的通用性和可迁移性。