论文: Deep Fourier-embedded Network for Bi-modal Salient Object Detection作者: Pengfei Lyu, Xiaosheng Yu, Chengdong Wu, Jagath C. Rajapakse发表: IEEE TCSVT 2025论文链接: https://arxiv.org/abs/2411.18409代码链接: https://github.com/JoshuaLPF/FreqSal一、引言在双模态显著目标检测（BSOD）中，解码器需要将编码器提取的多层特征逐步恢复为高分辨率显著图。不同层级的特征存在明显的归纳偏差（inductive bias）：低层特征包含丰富的边缘细节但也混杂大量噪声，高层特征富含语义信息但分辨率低。如何有效融合这些多尺度特征、在恢复过程中保留高频细节，是一个核心挑战。现有方法通常采用简单拼接或通道注意力（如RCAB）来融合特征，但存在两个问题：低频偏好：神经网络天然的谱偏置（spectral bias）使其倾向于学习低频信息，高频细节在逐层传递中不断丢失通道平等：普通通道注意力在空间域建模，无法在频域视角下区分不同频率成分的重要性为此，本文提出傅里叶残差通道注意力块（Fourier Residual Channel Attention Block, FRCAB），将傅里叶通道注意力（FCA）嵌入残差内残差（RIR）结构中，在频域实现通道级全局依赖建模，让解码器专注于高频信息恢复。二、核心动机在解码阶段，不同层级特征存在以下问题：图1：DFENet整体框架。FRCAB位于EFPD解码器的每一层拼接操作之后（蓝色方块）。痛点1：低频冗余，高频稀缺对特征图进行频率分析可以发现，低分辨率特征中低频成分占主导，而高频边缘信息主要集中在浅层。传统解码器对所有频率成分平等对待，导致大量计算浪费在已充分学习的低频上。痛点2：通道间频率分布不均不同通道关注的频率模式不同——有些通道编码纹理细节（高频），有些编码语义内容（低频）。RCAB等传统通道注意力在空间域通过全局平均池化提取通道描述符，无法显式建模通道维度的频率分布。核心洞察：在频域对通道关系进行建模，可以自然地分离不同频率成分的重要性。通过将通道维度的FFT（CFFT）应用于通道注意力，FRCAB能够在频域中识别并优先增强高频率通道响应，同时抑制低频冗余。三、方法3.1 模块整体设计FRCAB的整体结构如图2所示，它结合了残差内残差（RIR）结构和傅里叶通道注意力（FCA）：图2：FRCAB（傅里叶残差通道注意力块）架构。包含两个3×3卷积的残差块、全局平均池化、通道维FFT（CFFT）和增强-逆变换流程。前向过程可概括为：y c o n v = C o n v 3 × 3 ( L e a k y R e L U ( C o n v 3 × 3 ( y ) ) ) y_{conv} = Conv_{3\times3}(LeakyReLU(Conv_{3\times3}(y)))yconv​=Conv3×3​(LeakyReLU(Conv3×3​(y)))y o u t = F C A ( y c o n v ) ⋅ y c o n v + y y_{out} = FCA(y_{conv}) \cdot y_{conv} + yyout​=FCA(yconv​)⋅yconv​+y其中y ∈ R C × H × W y \in \mathbb{R}^{C \times H \times W}y∈RC×H×W为输入特征，F C A ( ⋅ ) FCA(\cdot)FCA(⋅)为傅里叶通道注意力操作，输出频域调制的通道注意力权重。3.2 核心算法：傅里叶通道注意力（FCA）FCA是FRCAB的核心创新，它在通道维度进行傅里叶变换，在频域中建模通道间依赖关系。Step 1：特征压缩对输入特征进行3 × 3 3\times33×3卷积提取局部上下文后，通过全局平均池化（GAP）压缩空间维度：y p o o l = G A P ( C o n v 3 × 3 ( y c o n v ) ) ∈ R C × 1 × 1 y_{pool} = GAP(Conv_{3\times3}(y_{conv})) \in \mathbb{R}^{C \times 1 \times 1}ypool​=GAP(Conv3×3​(yconv​))∈RC×1×1再经过CLC（两个1 × 1 1\times11×1卷积+LeakyReLU）做初步变换：y p r o j = C L C ( y p o o l ) ∈ R C / 2 × 1 × 1 y_{proj} = CLC(y_{pool}) \in \mathbb{R}^{C/2 \times 1 \times 1}yproj​=CLC(ypool​