在遥感图像处理中Transformer的注意力机制主要体现为“自注意力Self-Attention”。它通过将图像切分为多个小块Patch将每个小块视为序列中的一个“词元Token”从而让模型能够直接捕捉图像中的全局上下文和长距离依赖关系。具体而言这种机制在遥感图像中主要体现在以下几个核心方面1. 捕捉全局上下文与长距离依赖遥感图像通常幅员辽阔包含复杂的空间布局如城市、河流网络、大型机场等。传统的CNN受限于局部感受野很难理解全局信息。而自注意力机制在第一层就能让每个图像小块与图像中所有其他小块进行信息交互实现“一步到位”的全局感受野。例如在识别特定目标时模型能够自动学习到目标与其周围环境之间的空间语义关系。2. 动态权重分配与特征聚焦在遥感场景中不同区域或不同波段对特定任务的重要性是不同的。自注意力机制能够根据输入内容动态地为不同的空间位置或光谱波段分配权重。空间维度模型可以自动突出包含关键细节的区域如建筑物边缘、道路同时抑制背景噪声或无关区域的干扰。光谱维度在高光谱遥感中注意力机制能够动态加权每个光谱波段的贡献自动强调与特定地物如土壤有机碳、植被水分最相关的特征波段并最小化传感器噪声的影响。3. 多尺度与局部细节的增强由于直接对超大分辨率遥感图像进行全局自注意力计算量极大实际应用中常采用移位滑窗自注意力Shifted Window Self-Attention等变体。这种机制将特征图分割为较小尺寸的窗口在窗口内进行注意力增强。这既适应了遥感图像中目标尺度变化大的特点又有效保留了植被、小水体或人造物体等关键的局部纹理和细节信息。4. 空间与光谱特征的联合建模针对遥感图像复杂的空间结构和丰富的光谱信息注意力机制还可以与频域分析结合。例如利用离散小波变换DWT将图像分解为不同频率分量再结合通道注意力机制从而在保留高频边界细节的同时增强光谱表示有效解决高分辨率遥感图像中同类地物差异大、异类地物相似度高的问题。总而言之注意力机制在遥感图像中的体现本质上是赋予了模型一种“全局视野”和“动态聚焦”的能力使其能够像人类专家一样既纵观全局的空间布局又敏锐捕捉关键的光谱与纹理细节。