YOLOv11最新创新改进系列多模态融合R融合多头上下文聚合ContextAggregation通用构建块利用Container的长期交互作用、局部卷积操作的诱导偏差产生更快的速度、更高的精度购买相关资料后畅享一对一答疑畅享超多免费持续更新且可大幅度提升文章档次的纯干货工具截止到发稿时B站YOLOv11最新改进系列的源码包已更新了40种的单模态改进20种多模态改进自己排列组合2-4种后考虑位置不同后可排列组合上千万种专注AI学术关注博主Ai学术叫叫兽数据集准备我给大家配置了默认的M3FD.yaml,大家可以直接在代码中使用然后按照自己的数据进行简单的替换就行非常简单# Ultralytics YOLO , AGPL-3.0 license# M3FD dataset# Example usage: yolo train dataM3FD.yaml# Train/val/test sets as dir: path/to/imgspath:# dataset root dirtrain:images/train# train visible images (relative to path)train2:imagesTR/train# train infrared images (relative to path)val:images/val# val visible images (relative to path)val2:imagesIR/val# val infrared images (relative to path)test:# test images (optional)#image_weights: Truenc:6# Classesnames:0:People1:Car2:Bus3:Motorcycle4:Lamp5:Truck其中ImagesIR 为红外线图像Image为可见光RGB图像YOLOv11最新创新改进系列多模态融合R融合多头上下文聚合ContextAggregation通用构建块利用Container的长期交互作用、局部卷积操作的诱导偏差产生更快的速度、更高的精度提出原文戳这一 摘要卷积神经网络(CNNs)在计算机视觉中无处不在具有无数有效和高效的变化。最近Container——最初是在自然语言处理中引入的——已经越来越多地应用于计算机视觉。早期的用户继续使用CNN的骨干最新的网络是端到端无CNN的Transformer解决方案。最近一个令人惊讶的发现表明一个简单的基于MLP的解决方案没有任何传统的卷积或Transformer组件可以产生有效的视觉表示。虽然CNN、Transformer和MLP-Mixers可以被视为完全不同的架构但我们提供了一个统一的视图表明它们实际上是在神经网络堆栈中聚合空间上下文的更通用方法的特殊情况。我们提出了Container(上下文聚合网络)一个用于多头上下文聚合的通用构建块它可以利用Container的长期交互作用同时仍然利用局部卷积操作的诱导偏差导致更快的收敛速度这经常在CNN中看到。我们的Container架构在ImageNet上使用22M参数实现了82.7%的Top-1精度比DeiT-Small提高了2.8并且可以在短短200个时代收敛到79.9%的Top-1精度。比起相比的基于Transformer的方法不能很好地扩展到下游任务依赖较大的输入图像的分辨率,我们高效的网络,名叫CONTAINER-LIGHT,可以使用在目标检测和分割网络如DETR实例,RetinaNet和Mask-RCNN获得令人印象深刻的检测图38.9,43.8,45.1和掩码mAP为41.3与具有可比较的计算和参数大小的ResNet-50骨干相比分别提供了6.6、7.3、6.9和6.6 pts的较大改进。与DINO框架下的DeiT相比我们的方法在自监督学习方面也取得了很好的效果。仅需22M参数量所提CONTAINER在ImageNet数据集取得了82.7%的的top1精度以2.8%优于DeiT-Small此外仅需200epoch即可达到79.9%的top1精度。不用于难以扩展到下游任务的Transformer方案(因为需要更高分辨率)该方案CONTAINER-LIGHT可以嵌入到DETR、RetinaNet以及Mask-RCNN等架构中用于目标检测、实例分割任务并分别取得了6.67.66.9指标提升。提供了一个统一视角表明它们均是更广义方案下通过神经网络集成空间上下文信息的特例。我们提出了CONTAINER(CONText AggregatIon NEtwoRK)一种用于多头上下文集成Context Aggregation的广义构建模块 。本文有以下几点贡献提出了关于主流视觉架构的一个统一视角提出了一种新颖的模块CONTAINER它通过可学习参数和响应的架构混合使用了静态与动态关联矩阵(Affinity Matrix)在图像分类任务中表现出了很强的结果提出了一种高效有效的扩展CONTAINER-LIGHT在检测与分割方面取得了显著的性能提升。二 修改步骤2.1 修改YAML文件2.2 新建.py2.3 修改tasks.py三 验证是否成功即可执行命令python train.py改完收工关注B站Ai学术叫叫兽er从此走上科研快速路遥遥领先同行写在最后学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通关注UPAi学术叫叫兽在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑本up主获得过国奖发表多篇SCI擅长目标检测领域拥有多项竞赛经历拥有软件著作权核心期刊等经历。因为经历过所以更懂小白的痛苦因为经历过所以更具有指向性的指导祝所有科研工作者都能够在自己的领域上更上一层楼以下为给大家庭小伙伴们免费更新过的绘图代码均配有详细教程超小白也可一键操作! 后续更多提升文章档次的资料的更新请大家庭的小伙伴关注UPAi学术叫叫兽