111、ASFF 与 BiFPN 的混合设计:加权融合加自学习权重的双重自适应 Neck

📅 2026/7/4 15:02:29
111、ASFF 与 BiFPN 的混合设计:加权融合加自学习权重的双重自适应 Neck
111、ASFF 与 BiFPN 的混合设计:加权融合加自学习权重的双重自适应 Neck去年年底调一个无人机小目标检测项目,被Neck部分折腾得够呛。BiFPN加进去,AP是小涨了一点,但到了黄昏场景直接崩了——光照不均匀导致多尺度特征之间的置信度差异巨大,BiFPN那套固定的加权策略根本扛不住。后来翻YOLOv5的issue区,看到有人提ASFF的思路,突然意识到:为什么不把ASFF的空间自适应和BiFPN的跨尺度加权揉在一起?这个想法在v11上跑了三周,最终方案叫ASFF-BiFPN Hybrid Neck,核心就一句话:让网络自己决定什么时候用BiFPN的跨层融合,什么时候用ASFF的空间重标定。下面直接上代码,注释里全是踩过的坑。问题本质:BiFPN的“伪自适应”陷阱BiFPN的加权融合公式大家都很熟:O = Σ(wi * Ii) / (Σ(wj) + ε)。看着是学习权重,实际上每个通道共享同一个标量权重。遇到这种情况就完蛋了:小目标在浅层特征图上响应强,但背景噪声也大大目标在深层特征图上语义清晰,但位置精度差BiFPN的标量权重只能整体调高或调低某一层的贡献,无法在空间位置上做差异化我试过把BiFPN的权重改成逐通道的,参数量上去了,效果反而下降——过拟合了。ASFF的思路更暴力:对每一层特征图,学习一个空间注意力图,然后逐像素加权融合。但ASFF的问题