YOLOv11 改进 - 注意力机制 | HaloNet 局部自注意力 (Local Self-Attention) 以分块交互策略实现高效全局上下文建模

前言

本文介绍了局部自注意力机制（HaloAttention）在YOLOv11中的结合应用。局部自注意力通过关注输入数据局部区域来捕捉特征关系，能降低计算复杂度、增强局部特征捕捉，且可与CNN结合。其计算时先定义局部窗口，再计算注意力权重并加权求和。我们将HaloAttention集成到YOLOv11的检测头中，并进行相关注册和配置。实验表明，改进后的模型在目标检测和实例分割等任务中表现更佳，证明了自注意力模型在传统卷积主导领域的有效性。

文章目录： YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

摘要

自注意力机制凭借其与参数无关的感受野扩展能力以及基于内容的交互方式，被视作具有提升计算机视觉系统性能的潜力，这与卷积的参数依赖型感受野扩展以及与内容无关的交互方式形成了显著差异。近期研究显示，相较于基线卷积模型（如 ResNet - 50），自注意力模型在“精度 - 参数权衡”方面取得了令人振奋的改进。在本项工作中，我们致力于开发不仅能够超越经典基线模型，还能超越高性能卷积模型的自注意力模型。我们提出了两种自注意力的扩展方法，并结合一种更为高效的自注意力实现方式，提高了这些模型的速度、内存使用效率和准确性。基于这些改进，我们研发了一个新的自注意力模型家族，名为 HaloNets，其在参数受限的 ImageNet 分类基准测试中达到了当前最先进的精度水平。在初步的迁移学习实验中，我们发现 HaloNet 模型的表现优于规模更大的模型，且在推理性能方面更为出色。在诸如目标检测和实例分割等更具挑战性的任务中，我们提出的简单局部自注意力与卷积混合模型相较于非常强劲的基线模型也展现出性能改进。这些结果进一步证实了自注意力模型在传统上由卷积模型占据主导地位的领域中的有效性。

文章链接

论文地址：