YOLOv11最新创新改进系列：多模态融合RGB+红外线（IR），融合BoTNet模块，ResNet的最后三个的卷积层替换成MHSA层，融合CNN+自然语言处理技术的优势，提升检测效果！

购买相关资料后畅享一对一答疑！

畅享超多免费持续更新且可大幅度提升文章档次的纯干货工具！

自己排列组合2-4种后，考虑位置不同后可排列组合上千万种！！专注AI学术，关注B站博主：Ai学术叫叫兽！

数据集准备

我给大家配置了默认的M3FD.yaml,大家可以直接在代码中使用，然后按照自己的数据进行简单的替换就行！非常简单！

# Ultralytics YOLO , AGPL-3.0 license
# M3FD dataset
# Example usage: yolo train data=M3FD.yaml

# Train/val/test sets as dir: path/to/imgs
path:  # dataset root dir
train: images/train  # train visible images (relative to 'path')
train2: imagesTR/train  # train infrared images (relative to 'path')
val: images/val  # val visible images (relative to 'path')
val2: imagesIR/val  # val infrared images (relative to 'path')
test:   # test images (optional)

#image_weights: True
nc: 6


# Classes
names:
  0: People
  1: Car
  2: Bus
  3: Motorcycle
  4: Lamp
  5: Truck

其中，ImagesIR 为红外线图像

Image为可见光（RGB）图像

详细的改进教程以及源码，戳这！戳这！！戳这！！！B站：AI学术叫叫兽 源码在相簿的链接中，动态中也有链接，感谢支持！祝科研遥遥领先！

改进

一、 BoTNet简介

论文地址：https://arxiv.org/abs/2101.11605

BoTNet是一种简单但功能强大的主干网络，该架构将注意力模块纳入了包括图像分类，目标检测，实例分割等多种计算机视觉任务。通过仅将ResNet的最后三个的卷积层替换成MHSA层，并不进行其他改变，在墓边检测方面显著改善了极限，同时减少了参数两，从而使得延迟最小化。
Transformer中的MHSA和BoTNet中的MHSA的区别：

归一化，Transformer使用 Layer Normalization，而BoTNet使用 Batch Normalization。
非线性激活，Transformer仅仅使用一个非线性激活在FPN block模块中，BoTNet使用了3个非线性激活。
输出投影，Transformer中的MHSA包含一个输出投影，BoTNet则没有。
优化器，Transformer使用Adam优化器训练，BoTNet使用sgd+ momentum

二、 改进教程

2.1 修改YAML文件

2.2 新建.py

2.3 修改tasks.py

三、验证是否成功即可

执行命令

python train.py

改完收工！
关注B站：AI学术叫叫兽
从此走上科研快速路
遥遥领先同行！！！！

写在最后

学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通，关注UP：Ai学术叫叫兽
在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑，本up主获得过国奖，发表多篇SCI，擅长目标检测领域，拥有多项竞赛经历，拥有软件著作权，核心期刊等经历。
因为经历过所以更懂小白的痛苦！
因为经历过所以更具有指向性的指导！

祝所有科研工作者都能够在自己的领域上更上一层楼！

以下为给大家庭小伙伴们免费更新过的绘图代码，均配有详细教程，超小白也可一键操作! 后续更多提升文章档次的资料的更新请大家庭的小伙伴关注UP：Ai学术叫叫兽！