【RT-DETR多模态创新改进】TGRS 2025 | 全网独家创新,特征融合改进篇 |引入FCM特征校正融合模块,通过空间维度和通道维度的校正,可见光与红外图像融合目标检测,多模态融合检测发论文热点 📅 2026/7/27 1:55:48 一、本文介绍🔥本文引入FCM特征校正融合模块,提升RT-DETR多模态融合目标检测中的特征一致性与互补信息利用能力,在跨模态融合前对不同模态特征进行自适应校正。该模块通过空间维度对齐局部结构与边缘信息,并利用通道维度校准全局语义响应,有效降低模态差异、噪声干扰及特征偏移带来的负面影响。相比直接融合方式,FCM采用“先校正、后融合”的策略,使不同模态特征在统一表达空间中实现更稳定的交互,同时通过可学习权重动态平衡空间与通道校正贡献。该模块能够增强目标细节、语义判别和跨模态互补能力,从而提升RT-DETR在复杂背景、低对比度及多源信息不一致场景下的检测精度、鲁棒性与泛化能力。🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进!🔥🔥RT-DETR多模态改进专栏目录:《独家RT-DETR多模态改进专栏目录 》全网独家创新,多模态融合改进教程,包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进,答疑群提供完整项目,永久更新中🔥RT-DETR多模态创新订阅地址:RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊,永久更新中本文目录一、本文介绍二、FCM特征校正融合模块介绍2.1 FCM模块的结构图2.2FCM模块的作用2.3 FCM模块的优势三、完整核心代码四、手把手教你配置模块和修改tasks.py文件1.首先在ultralytics/nn/newsAddmodules创建一个.py文件2.在ultralytics/nn/newsAddmodules/__init__.py中引用3.修改tasks.py文件五、创建涨点yaml配置文件🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-FCModule.yaml🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-FCModule.yaml🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-FCModule.yaml六、正常运行二、FCM特征校正融合模块介绍摘要:多源遥感图像(RSIs)能够捕捉地物的互补信息,应用于语义分割任务中。然而,不同传感器获取的多模态数据之间存在不一致性和干扰噪声,因此如何有效减少不同模态之间的差异和噪声,并充分利用其互补特征,仍是一项挑战。本文提出了一种通用的跨融合Transformer框架(CFFormer),用于多源遥感图像的语义分割。该框架采用并行双分支结构,分别从不同模态中提取特征。我们设计了一个特征校正模块(FCM),通过在空间和通道维度上结合其他模态的特征,对当前模态的特征进行校正。同时,提出的特征融合模块(FFM)利用多头跨注意力机制,实现不同模态特征的全局交互与融合,从而全面挖掘多源RSIs中的互补信息。实验结果表明,CFFormer在精度和鲁棒性方面均优于现有多源语义分割方法。例如,在WHU-OPT-SAR数据集上,CFFormer的平均交并比(mIoU)为58%、总体精度(OA)为85.35%,分别超过第二优方法4.71%和1.74%。在Vaihingen和Potsdam数据集上,CFFormer同样取得最佳性能,mIoU/OA分别达到84.31%/91.88% 和 88.62%/92.64%。