01 论文信息论文题目MBUDet: Misaligned bimodal UAV target detection via target offset label generation论文作者Zecong Ye, Hexiang Haoa, Yueping Penga, Wei Tanga,Xuekai Zhanga, Baixuan Hana,Haolong Zhai发表单位中国人民武装警察部队工程大学 信息工程学院中国人民武装警察部队警官学院 单位指挥系中国人民武装警察部队士官学校发表会议\期刊IF 2025代码链接http://github.com/Yipzcc/MBUDet02 论文主要贡献构建全新未对齐双模态无人机目标数据集 MBU。Anti‑UAV 数据集原本为目标跟踪数据集本文通过帧提取、去水印等处理从 Anti‑UAV 得到 MBU 数据集。本文将对齐、融合检测两个两个步骤整合为一个流程提出未对齐多光谱目标检测范式。为缓解马赛克数据增强对本文新算法范式带来的负面影响专门设计目标对齐模块损失函数。借助掩码仅对马赛克增强样本中的主要对齐目标计算损失。03 方法3.1 整体框架3.2 TA3.2.1 目标偏移标签生成目标偏移标签Field Label由高斯目标标签生成、模板匹配、掩码扩张三步得到。A. 高斯目标标签生成本文借鉴高斯圆生成思路生成高斯热力图。B. 模板匹配将参考图像高斯目标标签热力图作为模板感知图像高斯目标标签热力图作为待匹配图像。参考图像与感知图像高斯热力图尺寸相同模板匹配之前需要对待匹配图像做填充。模板在待匹配图上滑动计算模板与子图相乘结果最大值对应的偏移位置以此得到偏移标签。因为使用马赛克数据增强一张图由四张原图拼接而成因此限制模板最大移动范围模板最大移动距离为图像尺寸一半填充后待匹配图像大小为模板的 1.5 倍。C. 掩码扩张需要使用掩码标记当前需要对齐的参考图像目标只对感知图像该区域计算损失排除其他原图目标带来的干扰。掩码不能仅仅覆盖目标框本身还需要包含目标周边邻域像素。模板匹配得到偏移标签后先对感知图像高斯热力图执行形变得到与参考图像某一目标对齐的偏移图像偏移图像与参考图像标签相乘过滤掉未对齐目标取相乘后大于 0 的像素作为初始掩码对掩码做图像膨胀操作扩大掩码范围得到最终掩码。最后将偏移标签与掩码相乘得到目标偏移标签 Field Label。3.3.2 偏移网络通过神经网络预测每个像素的偏移量输出感知图像特征形变场。网络输出双通道特征分别代表每个像素 x 方向、y 方向偏移。本文逐像素预测形变场。原因在于马赛克增强场景STN 输出全局矩阵会让整张拼接图像整体发生偏移拼接图中另外三张原图目标配准失效。网络输出为非浮点数Wrap 采样采用双线性插值。3.3 损失函数m a t h c a l L t o t a l L d e t λ 1 L w e i g h t λ 2 L f i e l d mathcal{L}_{total} \mathcal{L}_{det} \lambda_1 \mathcal{L}_{weight} \lambda_2 \mathcal{L}_{field}mathcalLtotal​Ldet​λ1​Lweight​λ2​Lfield​m a t h c a l L f i e l d ( FieldLabel − ϕ × M e ) 2 ∥ M e ∥ 1 mathcal{L}_{field}\frac{\big(\text{FieldLabel}-\phi \times M_e\big)^2}{\|M_e\|_1}mathcalLfield​∥Me​∥1​(FieldLabel−ϕ×Me​)2​m a t h c a l L w e i g h t ( WeightLabel − W RGB ) 2 mathcal{L}_{weight}\big(\text{WeightLabel}-W_{\text{RGB}}\big)^2mathcalLweight​(WeightLabel−WRGB​)204 实验YOLOv5s(NIN)直接把可见光图像、红外图像在图像维度拼接Baseline (ours) 指将 MBUDet 中的 TMM 模块替换成双模态特征直接拼接并且不使用 3.6 节提出的训练方法。4.4 消融实验4.4.1 不同模块的影响尺寸对齐 SA 模块不能移除。4.4.2 损失函数的影响当λ f i e l d 0.1 \lambda_{field}0.1λfield​0.1λ w e i g h t 1 \lambda_{weight}1λweight​1时算法取得最优结果。4.4.3 训练方式的影响针对 3.6 小节提出的训练策略分别在 Baseline 和 MBUDet 上做消融,都有提升。4.4.4 输入图像尺寸的影响即使图像缩小一半到 160 分辨率MBUDet 的 F1、AP50 依旧高于 Baseline 与 YOLOv5s (IR)。4.4.5 模板匹配不同模式的影响不同模板模式对偏移标签生成的影响。第一行经过马赛克 Mosaic 增强后的 RGB 图、IR 图第二行分三栏左栏 直接拿标注矩形框二值掩码做模板匹配对照组方案中间栏理想情况下应当匹配到的正确位置真值参考右栏本文用的高斯热力图模板匹配本文方案使用标签矩形框做模板匹配最大值索引操作会得到多个相同最大激活值右下角目标无法对齐两个模态目标中心。使用高斯目标标签做模板匹配最大值索引只会返回唯一最大激活值偏移标签结果准确。高斯目标标签匹配模式优于标签矩形区域匹配模式。高斯分布标准差测试固定数值 0.1、1 以及比例取值。05 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。