论文: Complementary Advantages: Exploiting Cross-Field Frequency Correlation for NIR-Assisted Image Denoising作者: Yuchen Wang, Hongyuan Wang, Lizhi Wang, Xin Wang, Lin Zhu, Wanxuan Lu, Hua Huang发表: CVPR 2025论文链接: https://arxiv.org/abs/2412.16645代码链接: https://github.com/yuchenwang815/FCENet一、引言在24小时监控、自动驾驶和智能手机摄影等应用中，数字成像设备的物理限制导致采集的图像经常受到各类噪声的污染。尽管基于深度学习的单张图像去噪算法取得了显著进展，但在处理复杂噪声图像时，仍然难以恢复精细的细节信息。近红外（NIR）图像的引入为RGB图像去噪提供了新的可能。NIR图像具有高信噪比（SNR），可以低成本获取，且适合日常摄影。然而，由于NIR和RGB图像之间存在显著的不一致性——包括颜色、亮度以及纹理结构上的差异——如何有效利用两个场的互补信息进行图像融合，成为一个核心挑战。针对这一问题，本文提出了跨场频率相关性利用网络（FCENet），其核心是频域动态选择机制（FDSM）和频域穷尽融合机制（FEFM）。本文重点介绍FDSM，该模块基于频率相关性先验，通过频域动态卷积自适应地从NIR和RGB图像中筛选互补特征，为后续融合提供高质量的输入。二、核心动机现有方法的局限性现有NIR辅助去噪方法面临一个核心矛盾：NIR和RGB图像间存在显著的空间不一致性。一些方法尝试直接将两个场的特征进行融合，但不加区分地融合跨场信息往往导致次优的去噪结果；另一些方法加强共性特征、抑制不一致特征，但丢弃了关键的差异信息（如NIR中的锐利纹理和RGB中的颜色信息）。关键观察：频域相关性先验作者对30对NIR-RGB图像对进行了深入的频域统计分析，获得了一个关键发现：在同一场景中，噪声RGB图像与干净RGB图像的相似度从低频到高频递减，而NIR图像与干净RGB图像的相似度从低频到高频递增。这一先验表明：噪声RGB的低频信息更可靠（颜色保持），NIR的高频信息更可靠（细节纹理）。这意味着在频域中区分NIR和RGB图像的有用信息是简单且高效的。本文的解决思路基于以上发现，FDSM的核心思路是：在频域中利用动态卷积自适应地为每个输入生成专属的频域滤波器，从而精准筛选NIR和RGB中的互补信息。不同于传统空域卷积的权重共享，频域动态卷积能针对输入特征灵活调整，特别适合处理跨场图像中的大量不一致区域。三、方法3.1 模块整体设计FDSM的输入包括两个分支的特征：NIR特征N∈RC×H×W\mathbf{N} \in \mathbb{R}^{C \times H \times W}N∈RC×H×W：编码器提取的近红外图像特征RGB预去噪特征R∈RC×H×W\mathbf{R} \in \mathbb{R}^{C \times H \times W}R∈RC×H×W：经过第一阶段初步去噪的RGB特征前向过程总述：FDSM首先将NIR和RGB特征拼接后通过卷积进行粗融合，得到聚合特征；然后利用聚合特征为两个分支分别生成专属的频域动态滤波器；最后在频域中对原始特征进行滤波，筛选出互补信息。整个过程可概括为"粗融合→动态滤波核生成→频域滤波"三步。3.2 核心算法原理FDSM的核心是频域动态滤波器的生成与应用，其数学表达如下：首先，将NIR和RGB特征拼接后进行粗融合，生成聚合特征AR\mathbf{A}_RAR​和AN\mathbf{A}_NAN​：AI=Split(Conv(Concat(LN(R),LN(N))))\mathbf{A}_I = \text{Split}(\text{Conv}(\text{Concat}(\text{LN}(\mathbf{R}), \text{LN}(\mathbf{N}))))AI​=Split(Conv(Concat(LN(R),LN(N))))其中I\mathbf{I}I表示R\mathbf{R}R或N\mathbf{N}N，LN 为 LayerNorm。然后，利用聚合特征生成频域动态滤波器DFI\mathbf{D}_{\mathbf{FI}}DFI​：DFI=Softmax(MLP(Pooling(AI)))⋅G\mathbf{D}_{\mathbf{FI}} = \text{Softmax}(\text{MLP}(\text{Pooling}(\mathbf{A}_I))) \cdot \mathbf{G}DFI​=Softmax(MLP(Pooling(AI​)))⋅G其中G∈RM×k\mathbf{G} \in \mathbb{R}^{M \times k}G∈RM×k是kkk个可学习的频域滤波基，MMM是卷积核的空间维度。Softmax 输出的权重对滤波基进行线性组合，形成与输入相关的自适应滤波器。最后，在频域中应用滤波器：FI=F−1(F(I)⊙DFI)\mathbf{F}_I = \mathcal{F}^{-1}(\mathcal{F}(\mathbf{I}) \odot \mathbf{D}_{\mathbf{FI}})FI​=F−1(F(I)⊙DFI​)其中F\mathcal{F}