AAAI 2026 | CAFR:跨光谱注意力特征精炼模块,通道级交叉注意力让多尺度特征深度融合!

📅 2026/7/10 11:48:39
AAAI 2026 | CAFR:跨光谱注意力特征精炼模块,通道级交叉注意力让多尺度特征深度融合!
论文: MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images作者: Shuaihao Han, Tingfa Xu*, Peifu Liu, Jianan Li发表: AAAI 2026论文链接: https://arxiv.org/abs/2512.09489代码链接: https://github.com/shuaihao-han/MODA一、引言在多光谱遥感目标检测中,经过CSSP和SACF模块处理后,模型已经获得了光谱增强和跨层融合的特征。然而,这些特征仍面临一个关键问题:如何利用显式的目标感知线索(object-aware cues)来进一步精炼多尺度特征?OSSDet框架采用了一种自底向上的特征精炼路径——在SACF完成自顶向下的跨层融合后,CAFR(Cross-spectral Attention Feature Refinement)模块以自底向上的方式逐步精炼每一层特征。其核心思想是:让包含目标感知信息的低层特征通过跨光谱通道注意力来指导高层特征的细化,同时让高层特征的光谱信息回流增强低层特征,实现双向信息交换。CAFR的设计灵感来源于一个直观的观察:低层特征经过目标感知掩码(Object-aware Masking)处理后,已经包含了显式的目标位置信息——每个空间位置都知道"这里有目标"或"这里是背景"。而高层特征虽然空间分辨率低,但包含了丰富的光谱通道语义。CAFR通过通道级的交叉注意力,让低层的目标位置信息和高层的光谱通道信息相互增强,从而实现更精准的特征表达。二、核心动机在多尺度特征金字塔中,不同层级的特征具有天然的互补性:低层特征(如F 2 F_2F2​):空间分辨率高,包含精确的目标位置和边界信息,特别是经过目标感知掩码处理后,目标区域被显式激活、背景被抑制高层特征(如F 3 , F 4 , F 5 F_3, F_4, F_5F3​,F4​,F5​):通道维度上编码了丰富的光谱语义信息,不同的通道可能对应不同的光谱响应模式,但空间分辨率低,目标边界模糊关键问题:如何让低层的目标位置感知信息有效地传递到高层,同时让高层的光谱通道信息回流到低层?传统方法通常采用简单的逐元素相加或通道拼接,但这种方式存在两个不足:通道偏差:不同层级的特征经过不同的卷积路径提取,其通道语义存在偏差(spectral bias),直接融合会导致信息冲突缺乏选择性:简单的加和操作无法区分哪些通道包含重要的目标信息、哪些通道包含冗余的背景噪声关键观察:全局平均池化可以提取每个通道的全局响应,这个全局响应向量可以看作是该层特征的"通道描述子"。通过计算两层特征通道描述子之间的相似度矩阵,可以精确地衡量每对通道之间的相关性,从而指导跨层特征的精炼。解决思路:CAFR设计了一种通道级交叉注意力机制——先提取两层特征的全局通道描述子,计算跨层通道相似度矩阵,通过Softmax生成注意力权重,然后用这些权重对两层特征进行双向调制,最后融合得到精炼后的特征。三、方法3.1 模块整体设计CAFR模块采用自底向上的级联结构,如图4©所示。给定高层特征F ^ l ∈ R C × H × W \hat{F}_l \in \mathbb{R}^{C \times H \times W}F^l​∈RC×H×W和经过目标感知掩码的低层特征F ˉ l − 1 ∈ R C × 2 H × 2 W \bar{F}_{l-1} \in \mathbb{R}^{C \times 2H \times 2W}Fˉl−1​∈RC×2H×2W,CAFR输出精炼后的特征F ˉ l \bar{F}_lFˉl​:图1:OSSDet整体框架——(c) CAFR通过跨光谱注意力精炼多尺度特征图注说明:上图©展示了CAFR的内部结构。低层特征F ˉ l − 1 \bar{F}_{l-1}Fˉl−1​和目标感知掩码后的特征经3 × 3 3\times33×3卷积对齐分辨率后,通过GAP提取全局通道描述子V l , V l − 1 ∈ R C × 1 × 1 \boldsymbol{V}_l, \boldsymbol{V}_{l-1} \in \mathbb{R}^{C \times 1 \times 1}Vl​,Vl−1​∈RC×1×1,再通过交叉注意力计算融合权重,最终实现特征精炼。前向过程总述:空间对齐:对低层特征F ˉ l − 1 \bar{F}_{l-1}Fˉl−1​使用3 × 3 3\times33×3卷积(stride=2)下采样,与高层特征F ^ l \hat{F}_lF^l​的空间分辨率对齐全局通道描述:对对齐后的两层特征分别进行全局平均池化,得到通道描述子V l , V l − 1 ∈ R C × 1 × 1 \boldsymbol{V}_l, \boldsymbol{V}_{l-1} \in \mathbb{R}^{C \times 1 \times 1}Vl​,Vl−1​∈RC×1×1跨光谱交叉注意力:计算V l \boldsymbol{V}_lVl​和V l − 1 \boldsymbol{V}_{l-1}Vl−1​之间的通道相似度矩阵,通过Softmax生成注意力权重双向特征调制:用交叉注意力权重分别调制高层和低层特征融合输出:将调制后的特征相加,再通过3 × 3 3\times33×3卷积融合,得到精炼特征F ˉ l \bar{F}_l