【RT-DETR多模态创新改进】AAAI 2026 | 独家创新、特征融合改进篇 | 引入SMMM 结构感知多尺度掩码模块,有效减少冗余信息、提升语义交互,适合可见光与红外图像融合目标检测,发论文热点
一、本文介绍🔥本文给大家介绍使用 SMMM 结构感知多尺度掩码模块 改进RT-DETR多模态网络模型,可以显著提升目标检测性能。提升RT-DETR多模态融合目标检测中的跨层特征质量,本文引入SMMM结构感知多尺度掩码模块,对编码器与解码器之间的跳跃连接特征进行优化筛选。该模块通过多尺度深度卷积提取结构信息,并利用结构显著性掩码自适应过滤冗余区域,强化目标边缘、纹理和关键空间位置特征,同时通过膨胀卷积增强上下文建模能力,实现浅层细节与深层语义的有效对齐。相比直接跳跃连接或简单特征融合,SMMM能够减少噪声和无效信息传播,提升小目标、边界模糊及复杂背景下的目标结构表达能力,从而增强RT-DETR的检测精度、鲁棒性和跨场景泛化能力。🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进!🔥🔥RT-DETR多模态改进专栏目录:《独家RT-DETR多模态改进专栏目录 》全网独家创新,多模态融合改进教程,包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进,答疑群提供完整项目,永久更新中🔥RT-DETR多模态创新订阅地址:RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊,永久更新中本文目录一、本文介绍二、SMMM 结构感知多尺度掩码模块介绍2.1 SMM模块结构图2.2 SMMM 模块的作用:2.3 SMMM 模块的原理2.3 SMMM 模块的优势三、完整核心代码四、手把手教你配置模块和修改tasks.py文件1.首先在ultralytics/nn/newsAddmodules创建一个.py文件2.在ultralytics/nn/newsAddmodules/__init__.py中引用3.修改tasks.py文件五、创建涨点yaml配置文件🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-SMMM.yaml🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-SMMM.yaml🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-SMMM.yaml六、正常运行二、SMMM 结构感知多尺度掩码模块介绍摘要:当前主流的医学图像分割方法普遍采用基于编码器–解码器的结构,其中 Transformer 解码器在建模全局上下文方面具有优势。然而,它们通常难以捕捉边缘细节、局部纹理以及空间连续性,这些对于精确的医学图像分割至关重要。为了解决这些问题,我们提出了一种新颖的结构感知解码器,集成了以下三个关键模块:自适应交叉融合注意力模块(