【RT-DETR涨点改进】02 RT-DETR涨点改进:特征金字塔的“隐形杀手”——多尺度特征对齐

📅 2026/7/7 9:52:43
【RT-DETR涨点改进】02 RT-DETR涨点改进:特征金字塔的“隐形杀手”——多尺度特征对齐
02 RT-DETR涨点改进:特征金字塔的“隐形杀手”——多尺度特征对齐开篇故事:一个让人抓狂的“涨点失败”案例去年夏天,我在给一家安防公司做模型优化。他们的RT-DETR在VisDrone数据集上训练了三天,mAP卡在38.5%死活上不去。团队里的小张试了各种trick:调学习率、换优化器、加数据增强,甚至把Backbone从ResNet50换成了Swin-Tiny——结果呢?只涨了0.3个点。我让他把特征图可视化出来看看。当看到P3、P4、P5三张特征图叠在一起时,问题瞬间暴露:P3层的特征图边缘有明显的锯齿,而P5层的特征图中心区域像被“挖”掉了一块。这就像三块不同尺寸的拼图,硬塞进同一个框里——信息根本对不齐。这就是今天要讲的核心问题:多尺度特征对齐。很多人在改进RT-DETR时,注意力全放在Backbone和Decoder上,却忽略了特征金字塔内部这个“隐形杀手”。它可能正在悄悄吃掉你2-3个点的mAP。痛点拆解:你以为“融合”了,其实“错位”了常见错误实现:直接上采样+相加很多初学者(甚至一些开源代码)在做特征融合时,会这样写:# 错误示例:直接双线性插值上采样后相加impo