摘要RT-DETR 打破了 YOLO 对实时目标检测的垄断但在灵活性和部署便利性上仍有短板。RT-DETRv2 提出三项Bag-of-Freebies改进(1) 为不同尺度特征设置不同数量的可变形注意力采样点实现选择性多尺度特征提取(2) 用discrete_sample替换grid_sample消除 DETR 系列的部署限制(3) 动态数据增强 尺度自适应超参数定制训练策略。三项改进在不增加推理开销的前提下COCO val2017 上 AP 提升 0.1-1.4 个点全系列模型S/M/L/X均受益。论文RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer代码lyuwenyu/RT-DETR一、问题背景1.1 RT-DETR 的贡献与遗留问题RT-DETRCVPR 2024是第一个真正实时的端到端检测 Transformer核心设计用高效混合编码器Efficient Hybrid Encoder替代 vanilla Transformer 编码器解耦尺度内交互和尺度间融合提出不确定性最小化查询选择Uncertainty-minimal Query Selection给解码器提供高质量初始查询支持灵活的速度调优不同骨干网络和解码器层数但三个问题待解灵活性不足解码器的可变形注意力对所有尺度特征使用相同数量的采样点忽略了不同尺度特征的固有差异部署受限依赖grid_sample算子做双线性插值采样许多推理框架TensorRT 部分版本、端侧芯片不原生支持训练策略粗放不同规模的 RT-DETRS/M/L/X使用完全相同的超参数未针对骨干网络预训练质量差异做调整1.2 Bag-of-Freebies 哲学Bag-of-Freebies指仅改变训练策略或微调架构细节、不增加推理计算量就能提升精度的技巧。YOLOv7 首次系统性使用这一概念RT-DETRv2 将其引入 DETR 系列。二、核心方法图 1RT-DETRv2 架构与三项改进标注。红色差异化采样点的可变形注意力橙色discrete_sample 替换 grid_sample绿色训练策略优化。右侧为 COCO val 全系列对比FPS 完全不变。重绘自 design skill。2.1 不同尺度的差异化采样点RT-DETR 的解码器使用可变形注意力Deformable Attention从多尺度特征图上采样。原版对每个尺度使用相同数量的采样点总采样点数为Total num_head × num_point × num_query × num_decoder \text{Total} \text{num\_head} \times \text{num\_point} \times \text{num\_query} \times \text{num\_decoder}Totalnum_head×num_point×num_query×num_decoderRT-DETRv2 提出不同尺度应设置不同的num_point。直觉上大尺度特征图高分辨率细粒度需要更多采样点捕获局部细节小尺度特征图低分辨率语义强较少采样点即可获取全局信息消融实验RT-DETRv2-S原始 86400 点采样点总数AP^valAP^val_5086,40047.964.964,80047.864.8 (-0.1)43,20047.764.7 (-0.2)21,60047.364.3 (-0.6)采样点减半仅掉 0.2 AP – 说明原始均匀分配存在大量冗余差异化分配可在保持精度的同时降低计算开销。2.2 Discrete Sampling消除部署限制图 2grid_sample左需要双线性插值的特殊 CUDA 算子部署受限discrete_sample右直接 round 到最近格点取值纯数组索引操作任意推理引擎可用。AP 仅损失 0.1-0.4 点。重绘自 design skill。RT-DETR 的可变形注意力依赖grid_sample算子进行双线性插值采样。这是 DETR 系列相对 YOLO 的主要部署劣势 – 很多推理引擎不支持或支持不完整。RT-DETRv2 提出discrete_sample替代方案grid_sample: 连续坐标 - 双线性插值 - 采样值可微 discrete_sample: 连续坐标 - 四舍五入 - 直接取值不可微训练策略先用grid_sample预训练 6 个 epoch替换为discrete_sample微调 1 个 epoch推理/部署时使用discrete_sample由于 rounding 操作不可微微调阶段冻结采样偏移预测的梯度。消融结果模型采样方式AP^valAP^val_50RT-DETRv2-Sdiscrete_sample47.464.8 (-0.1)RT-DETRv2-Mdiscrete_sample49.267.1 (-0.4)RT-DETRv2-M*discrete_sample51.469.7 (-0.2)RT-DETRv2-Ldiscrete_sample52.971.3 (-0.3)AP 下降 0.1-0.4 个点换来的是完全消除grid_sample依赖可在任意推理框架上部署。对工业落地而言这点精度损失完全值得。2.3 训练策略优化动态数据增强训练早期使用强增强RandomPhotometricDistort,RandomZoomOut,RandomIoUCrop,MultiScaleInput提升泛化能力。训练后期最后 2 个 epoch关闭这些增强让模型适配目标域分布。这与 YOLO 系列的训练策略类似YOLOv8 也在最后若干 epoch 关闭 Mosaic。尺度自适应超参数不同规模骨干网络的预训练特征质量差异大应匹配不同学习率模型骨干骨干学习率检测头学习率RT-DETRv2-SResNet181e-41e-4RT-DETRv2-MResNet345e-51e-4RT-DETRv2-LResNet501e-51e-4RT-DETRv2-XResNet1011e-61e-4逻辑骨干越大、预训练质量越高、特征越好 - 学习率越小避免破坏预训练特征。检测头学习率保持不变。三、实验结果3.1 RT-DETR vs RT-DETRv2 全系列对比在 COCO val2017 上输入 640x640T4 GPU TensorRT FP16模型骨干参数量(M)FPSAP^valAP^val_50RT-DETR-SResNet182021746.563.8RT-DETRv2-SResNet182021747.9 (1.4)64.9 (1.1)RT-DETR-MResNet343116148.966.8RT-DETRv2-MResNet343116149.9 (1.0)67.5 (0.7)RT-DETR-M*ResNet503614551.369.6RT-DETRv2-M*ResNet503614551.9 (0.6)69.9 (0.3)RT-DETR-LResNet504210853.171.3RT-DETRv2-LResNet504210853.4 (0.3)71.6 (0.3)RT-DETR-XResNet101767454.372.7RT-DETRv2-XResNet101767454.3 (0.0)72.8 (0.1)关键观察小模型增益大RT-DETRv2-S 提升 1.4 AP最大因为小骨干预训练质量低训练策略优化空间大大模型增益小RT-DETRv2-X 仅提升 0.0/0.1ResNet101 预训练已很强bag-of-freebies 边际递减速度零损失所有模型 FPS 完全不变参数量不变 – 真正的免费午餐部署更灵活discrete_sample 版本可在不支持 grid_sample 的框架上运行3.2 与 YOLO 系列定位RT-DETRv2 定位为 DETR 系列的强基线改进不与 YOLO 做直接速度-精度对比。但从数据看RT-DETRv2-S217 FPS, 47.9 APvs YOLOv8-S~350 FPS, ~44.9 APRT-DETRv2 精度高 3 AP 但速度慢RT-DETRv2-L108 FPS, 53.4 APvs YOLOv8-L~100 FPS, ~52.9 AP精度速度均接近DETR 系列的真正优势是端到端无 NMS 后处理在部署时更简洁。四、个人评价这篇技术报告的三项改进都算不上创新差异化采样点、离散采样、动态增强在各自领域都是已知技巧但组合在一起为 RT-DETR 提供了一个更强的默认配置。工程价值最高的是discrete_sample– 它解决了 DETR 系列落地时最常被吐槽的grid_sample兼容性问题仅损失 0.1-0.4 AP 就能在任意推理引擎上跑通。如果你在做 RT-DETR 的工业部署这一项就值得升级到 v2。尺度自适应学习率的思路大骨干小学习率虽然直觉上显然但很多开源实现确实在用同一套超参数训练所有尺度。这个提醒对实际调参有参考价值。小结RT-DETRv2 通过三项免费改进差异化采样点、discrete_sample、训练策略优化将 RT-DETR 全系列提升 0.1-1.4 AP 且速度不变。核心工程贡献是discrete_sample消除部署限制让 DETR 系列在推理框架兼容性上追平 YOLO。对于 RT-DETR 用户v2 是无成本升级。