YOLOv8改进 - 注意力机制 | SCSA (Spatial and Channel Synergistic Attention) 空间通道协同注意力通过多语义空间先验与通道自注意力协同增强特征表

前言

本文介绍了空间与通道协同注意力模块（SCSA），旨在揭示空间和通道注意力在多语义层面的协同关系。SCSA由可共享多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）组成，SMSA通过划分特征图和深度可分离卷积提取多语义空间信息，PCSA则进一步整合通道信息。两者相互协作，缓解多语义信息差异。我们将SCSA引入YOLOv8，在指定目录添加代码文件，在ultralytics/nn/tasks.py中注册，给出配置文件和实验脚本，实验展示了相关结果。

文章目录： YOLOv8改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv8改进专栏

介绍

摘要

通道和空间注意力机制分别在提取特征依赖关系和空间结构关系方面为各种下游视觉任务带来了显著的性能提升。尽管它们的结合能够更好地发挥各自的优势，但通道和空间注意力之间的协同作用尚未得到充分探索，未能完全利用多语义信息的协同潜力来进行特征引导和缓解语义差异。

本研究旨在揭示空间注意力和通道注意力在多语义层面上的协同关系，提出了一种新颖的空间与通道协同注意力模块（SCSA）。SCSA由两部分组成：可共享多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）。SMSA整合了多语义信息，并通过一种渐进式压缩策略将判别性空间先验注入到PCSA的通道自注意力中，从而有效地引导通道重校准。此外，基于PCSA自注意力机制的强鲁棒性特征交互，进一步缓解了SMSA中不同子特征之间的多语义信息差异。

我们在七个基准数据集上进行了大量实验，包括ImageNet-1K上的分类、MSCOCO 2017上的目标检测、ADE20K上的分割，以及其他四个复杂场景检测数据集。实验结果表明，我们提出的SCSA不仅优于当前最先进的注意力机制，还在各种任务场景中表现出了更强的泛化能力。

代码和模型已开源，地址为：