148、超分模型中的频域分析:高频细节恢复与低频保持

📅 2026/7/14 14:09:46
148、超分模型中的频域分析:高频细节恢复与低频保持
148、超分模型中的频域分析:高频细节恢复与低频保持去年调一个EDSR的复现,在DIV2K上训练了三天,PSNR涨了0.02dB,但肉眼一看,纹理糊成一片,边缘锯齿感强得离谱。当时我盯着loss曲线,心想这模型到底在学什么?后来把特征图做FFT可视化,才明白问题出在哪——模型把精力全花在低频上了,高频细节根本没学到。这个坑让我意识到,超分模型不能只看空域指标,频域分析才是诊断模型“偏科”的关键工具。频域视角下的超分本质超分辨率重建,说白了就是恢复图像在频域中丢失的信息。一张低分辨率图像,经过下采样,高频分量被截断,只剩下低频骨架。超分模型要做的,就是根据低频骨架,猜出高频细节。但问题来了:低频信息是“已知条件”,高频信息是“未知猜测”。模型天然倾向于保守——保住低频容易,因为损失函数里低频误差占比大;恢复高频难,因为那是无中生有,稍有不慎就产生伪影。我在调试RCAN时发现,它的残差结构虽然能堆叠很深,但注意力机制会过度关注低频区域。把注意力图做频谱分析,低频成分占了90%以上。这解释了为什么RCAN在PSNR上表现好,但感知质量一般——它把资源全用在优化低频上了。频域分解:把问题拆开看要分析模型在频域的表现,我常用的方法是把重建误差分解到不同频段。具体做法:对HR图像和SR图像分别做FFT,然后计算每个频率点的误差。把频率空间按半径分成低频区(0-1/4 Nyquist)、中频区(1/4-1/2 Nyquist)、高频区(1/2-Nyquist)。分