115、注意力机制在超分中的进化:从通道注意力到空间与自注意力

📅 2026/7/11 21:12:15
115、注意力机制在超分中的进化:从通道注意力到空间与自注意力
115、注意力机制在超分中的进化:从通道注意力到空间与自注意力去年调一个EDSR的复现,跑在DIV2K上,PSNR死活卡在32.5上不去。我盯着tensorboard的曲线看了三天,最后发现是通道注意力加的位置不对——放在残差块前面和后面,效果差了0.3个dB。这种细节,论文里不会写,但实际调起来能让你怀疑人生。通道注意力:超分里的第一个“聪明”机制最早的超分网络,像SRCNN、VDSR,基本就是堆卷积层,每个通道一视同仁。这显然不合理——高频纹理多的通道和低频平滑的通道,重要性怎么可能一样?SENet(Squeeze-and-Excitation)被引入超分后,事情开始变了。它的核心操作:全局平均池化把每个通道压成一个数,然后两个全连接层学出一组权重,再乘回原特征图。代码实现很简单:defchannel_attention(x,reduction=16)