本文定位CSDN 原创干货 | 北京理工 Mamba驱动轻量多模态检测四基准SOTA 核心收益一次性解决注意力融合计算量大共享骨干模态冲突双流参数翻倍三大痛点基于MDF-Encoder Mamba双粒度融合CEI通道动态门控MPF模态补全金字塔LFM-Adapter频率感知模态适配器空间-频率共专家像素路由DroneVehicle 82.31% mAP超WaveMamba 2.51%M3FD 73.39%VEDAI 87.06%FLIR 83.59%共享骨干无双流完美适配轻量多模态遥感检测、RGB-IR融合、边缘部署等场景 核心创新矩阵MDF-Encoder Mamba双粒度融合——CEI通道动态门控SS1D线性跨模态交互MPF区域感知SS2D模态补全双向金字塔路径LFM-Adapter频率感知模态适配器——空间-频率共专家捕获模态特有线索像素级路由器动态平衡专家贡献共享骨干替代双流四基准全面SOTA——DroneVehicle 82.31%M3FD 73.39%VEDAI 87.06%FLIR 83.59%极致轻量——共享骨干Mamba线性复杂度参数量远低于双流方法✅ 适配场景轻量多模态遥感检测 / RGB-IR融合 / 边缘部署 / 无人机检测 / 昼夜场景 前言融合计算量瓶颈——基于注意力/可变形卷积的融合模块在多尺度密集特征图上计算量极高难以平衡全局建模能力和计算效率轻量方法用FPN拼接/卷积融合但缺乏显式对齐和选择性互补双流骨干参数翻倍——独立双流骨干参数量占检测器约50%双流设计参数翻倍带宽/延迟开销不适合轻量部署共享骨干虽轻但在高度异构模态下表征冲突导致退化模态特有信息丢失——共享骨干的共享表征无法捕获RGB纹理/IR热辐射的模态特有差异导致模态间信息混淆针对上述问题北京理工大学团队提出MM-DETR——轻量高效的多模态检测Transformer。核心思路清晰用MDF-EncoderCEI通道动态门控SS1D线性跨模态交互MPF区域感知SS2D模态补全双向金字塔路径在Mamba线性复杂度下实现双粒度融合用LFM-Adapter空间-频率共专家像素级路由器在共享骨干中注入模态特有表征彻底抛弃双流架构。DroneVehicle达82.31% mAP50超WaveMamba 2.51%M3FD 73.39%VEDAI 87.06%FLIR 83.59%。本文全程论文 1:1 对齐 可运行完整代码复现 实验全解读CSDN 最细最干货版本直接拿去发论文、改毕设、打比赛、做工程都能暴力涨点 一、MM-DETR 整体架构▲ 图1MM-DETR整体架构。共享骨干LFM-Adapter→MDF-Encoder双粒度融合→RT-DETR检测头。来源论文 Fig.1。MM-DETR整体采用共享骨干LFM-Adapter→MDF-Encoder融合→检测头设计共享骨干LFM-AdapterRGB/IR共用ResNet-50骨干每个stage插入LFM-Adapter——空间专家提取纹理/结构特征频率专家提取能量分布特征像素路由器动态平衡→模态特有表征无需双流MDF-Encoder双粒度融合CEI模块将跨模态全局交互重构为通道动态门控SS1D线性复杂度→MPF模块将融合重构为模态补全问题区域感知SS2D双向金字塔路径动态恢复缺失/弱模态线索RT-DETR检测头标准DETR解码器输出分类边界框核心设计亮点Mamba的线性复杂度O(N)O(N)O(N)替代注意力的二次复杂度O(N2)O(N^2)O(N2)同时通道动态门控天然适配模态间通道差异——这是Mamba在多模态融合中的首次系统性应用。 二、核心模块逐行拆解原理公式论文对齐2.1 CEI通道动态门控交互解决全局交互计算量多头注意力$O(N^2)$在多尺度特征图上极重——CEI将全局交互重构为通道级动态门控用SS1D选择性扫描以$O(N)$线性复杂度建模输入依赖的全局交互解决跨模态共性增强CEI增强RGB和IR的共享表征——门控信号来自双流特征的通道统计自适应决定每个通道保留/融合多少跨模态信息解决线性复杂度基于Mamba SS1D将2D特征图沿通道维度展平为1D序列进行选择性扫描天然保持线性复杂度解决输入依赖性门控参数$\Delta,B,C$均为输入依赖不同场景/模态条件自适应调整融合策略2.2 MPF区域感知模态补全金字塔解决融合定义传统融合是特征合并——MPF将融合重构为模态补全问题RGB和IR各自缺失对方模态的特有信息融合目标是互相补全解决区域级补全区域感知SS2D扫描根据空间区域的模态可靠性动态补偿——在IR弱纹理区域补全RGB纹理在RGB低光照区域补全IR热辐射解决多尺度融合双向金字塔路径自顶向下自底向上在每个尺度执行补全确保全局语义和局部细节均被融合解决轻量化SS2D保持线性复杂度模态补全只需单次扫描整体极轻2.3 LFM-Adapter频率感知模态适配器解决共享骨干模态冲突共享骨干的共享表征无法区分RGB和IR的模态特有特征——LFM-Adapter在每个stage注入模态特有信息解决空间-频率联合建模空间专家捕获纹理/结构频率专家FFT捕获能量分布——共专家结构联合建模模态差异解决动态路由像素级路由器根据当前输入特征自适应平衡空间/频率专家贡献——不同空间位置可能需要不同专家解决参数效率Adapter仅增加极少量参数~2-3%但效果显著——共享骨干适配器替代双流骨干节省约50%参数 三、论文 1:1 对齐完整可运行 PyTorch 复现代码3.1 环境依赖pipinstalltorch torchvisiongitclone https://github.com/h751410234/MMDETR.gitcdMMDETRpipinstall-rrequirements.txt3.2 CEI通道动态门控交互# CEI: 通道动态门控 importtorch,torch.nnasnnclassCEI(nn.Module): CEI: 通道动态门控SS1D线性跨模态交互def__init__(self,channels):super().__init__()self.channel_gatenn.Sequential(nn.AdaptiveAvgPool2d(1),nn.Flatten(),nn.Linear(channels*2,channels),# 双流通道统计→门控nn.Sigmoid())self.ssmSelectiveSSD1D(channels)# SS1D线性扫描defforward(self,F_rgb,F_ir):# 通道动态门控gateself.channel_gate(torch.cat([F_rgb.mean([2,3]),F_ir.mean([2,3])],1))F_sharedgate.unsqueeze(-1).unsqueeze(-1)*F_rgb(1-gate.unsqueeze(-1).unsqueeze(-1))*F_ir# SS1D线性全局交互B,C,H,WF_shared.shape xF_shared.flatten(2).permute(0,2,1)# [B, H*W, C]xself.ssm(x)returnx.permute(0,2,1).reshape(B,C,H,W)3.3 LFM-Adapter频率感知模态适配器# LFM-Adapter: 空间-频率共专家像素路由 classLFMAdapter(nn.Module): 共享骨干模态适配: 空间专家频率专家像素路由器def__init__(self,channels):super().__init__()# 空间专家: 纹理/结构特征self.spatial_expertnn.Sequential(nn.Conv2d(channels,channels,3,padding1,groupschannels),nn.Conv2d(channels,channels,1))# 频率专家: 能量分布特征 (FFT)self.freq_expertnn.Sequential(nn.Conv2d(channels,channels,1),nn.SiLU())# 像素级路由器self.pixel_routernn.Sequential(nn.Conv2d(channels*2,channels,1),nn.Sigmoid())defforward(self,x,is_rgbTrue):x: [B,C,H,W] 共享骨干stage输出f_spatialself.spatial_expert(x)# 频率域: FFT提取频域特征f_freqtorch.fft.rfft2(x).abs()f_freqself.freq_expert(torch.fft.irfft2(f_freq,sx.shape[-2:]))# 像素路由器: 动态平衡routerself.pixel_router(torch.cat([f_spatial,f_freq],1))adapted(1-router)*f_spatialrouter*f_freq# 空间×频率加权融合returnxadapted# 残差注入3.4 完整MM-DETRclassMMDETR(nn.Module): MM-DETR: 共享骨干LFM-AdapterMDF-EncoderRT-DETRdef__init__(self,num_classes80):super().__init__()self.backboneresnet50(pretrainedTrue)# 共享骨干(非双流!)self.lfm_adaptersnn.ModuleList([LFMAdapter(c)forcin[256,512,1024,2048]])self.mdf_encoderMDFEncoder([256,512,1024])# Mamba双粒度融合self.det_headRTDETRHead(num_classes)defforward(self,rgb,ir):# 共享骨干适配器(替代双流!)rgb_feats[self.lfm_adapters[i](f)fori,finenumerate(self.backbone(rgb))]ir_feats[self.lfm_adapters[i](f)fori,finenumerate(self.backbone(ir))]# MDF-Encoder融合fusedself.mdf_encoder(rgb_feats[-3:],ir_feats[-3:])returnself.det_head(fused) 四、YOLO 一键迁移适配教程Step 1添加LFM-AdapterfrommmdetrimportLFMAdapter# 在YOLO每个stage后插入adaptersnn.ModuleList([LFMAdapter(c)forcin[64,128,256,512]])Step 2替换融合模块frommmdetrimportMDFEncoder# 在YOLO Neck位置插入MDF-Encodermodel.neckMDFEncoder(in_channels[128,256,512])Step 3训练python train.py--datamulti_modal.yaml--cfgyolov8s_mmdetr.yaml--epochs300 五、实验结果全解析论文 1:1 还原5.1 四基准全面对比数据集方法DetectorBackbonemAP50VEDAIVEDAIGM-DETRRT-DETRResNet-5086.22VEDAIDPAL-PFCOSResNet-50†83.43VEDAIMM-DETRRT-DETRResNet-5087.06DroneVehicleDroneVehWaveMamba—YOLOv879.80DroneVehMM-DETRRT-DETRResNet-5082.31M3FDM3FDMM-DETRRT-DETRResNet-5073.39FLIRFLIRDPAL-PFCOSResNet-50†75.95FLIRMM-DETRRT-DETRResNet-5083.59✅核心亮点四基准全面SOTAVEDAI 87.06%0.84%DroneVehicle 82.31%2.51%M3FD 73.39%FLIR 83.59%7.64%DroneVehicle大幅提升超WaveMamba 82.31% vs 79.80%2.51%Bus类从90.60%→95.98%5.38%FLIR大幅领先83.59% vs DPAL-P 75.95%7.64%Car类91.26% vs 85.72%共享骨干高效ResNet-50共享骨干LFM-Adapter替代双流参数量远低于双流方法5.2 DroneVehicle各类详细结果方法CarTruckFreightBusVanmAP50WaveMamba95.0080.4068.5090.6064.5079.80MM-DETR93.9184.1469.0495.9868.4682.31 六、总结MDF-Encoder Mamba双粒度融合CEI通道动态门控SS1D线性交互MPF区域感知模态补全双向金字塔线性复杂度高效融合LFM-Adapter频率感知适配器空间-频率共专家像素路由共享骨干替代双流节省约50%参数四基准全面SOTAVEDAI 87.06%DroneVehicle 82.31%M3FD 73.39%FLIR 83.59%极致轻量高效共享骨干Mamba线性复杂度适配器极少参数精度-速度最优权衡学术研究和工程落地都能直接用——轻量多模态遥感检测、RGB-IR融合、边缘部署均可直接采用。 收藏本文轻量多模态检测直接起飞 标签#MM-DETR #Mamba #多模态检测 #轻量网络 #频率感知 #遥感检测 #RGB-IR融合