【论文阅读 | CVPRW 2023 |CSSA ：基于通道切换和空间注意力的多模态目标检测】

题目：Multimodal Object Detection by Channel Switching and Spatial Attention

会议：IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）

论文：https://ieeexplore.ieee.org/document/10209020

代码：未公开

年份：2023

1.摘要&&引言

近年来，多模态目标检测备受关注，因为不同模态的特定信息可以相互补充，有效提高检测模型的准确性和稳定性。然而，与处理单模态输入相比，融合多模态信息会显著增加模型的计算复杂度，进而降低其效率。

因此，多模态融合模块需要精心设计，以在保持低计算消耗的同时提升检测模型的性能。

本文提出了一种新颖的轻量级融合模块（CSSA），该模块通过通道切换和空间注意力机制高效融合不同模态的输入。我们使用两个公开的多模态数据集 LLVIP 和 FLIR（均包含配对的红外（IR）和可见光（RGB）图像）测试了该模块的有效性和泛化能力。

实验表明，所提出的 CSSA 模块可在不消耗过多计算资源的情况下，大幅提升多模态目标检测的准确性。

具体而言，通道切换将对检测结果影响较小的模态特征图替换为另一模态的对应特征图，该过程使各模态在保留独特特征的同时，有效融合其他模态的特征。为在不引入额外参数的情况下增强模型的空间注意力，我们使用最大池化和平均池化从通道维度评估特征图中每个位置的重要性。在 FLIR 和 LLVIP 数据集上的实验表明，与近期提出的多模态检测模型相比，CSSA 可在消耗更少计算资源的同时显著提升检测性能。本文的贡献总结如下：

• 1.据我们所知，首次将通道切换引入多模态目标检测并验证其有效性。此外，将通道切换与空间注意力结合，使检测模型能够从通道和空间层面分析输入模态，从而实现先进性能。

• 2.提出无参数空间注意力模块，可在不增加检测模型复杂度的情况下高效为不同输入分配权重，适用于时间敏感任务。

• 3.在两个公开多模态数据集上进行广泛实验，验证了所提模型的泛化能力。

2.方法

图2. 所提出模型的概述。(a)展示了检测模型的整体架构，(b)阐明了CSSA的详细结构。σ符号表示 sigmoid 函数，“⊗”代表逐元素乘法，而“⊕”意味着求和操作。

2.1 框架概述

选择 Faster R-CNN 作为目标检测框架，因其是可实现高精度的两阶段检测框架。如图 2（a）所示，模型以 IR 和 RGB 图像为输入，使用两个 ResNet 50 作为主干网络，每个主干包含四个阶段。四个 CSSA 模块用于融合各阶段生成的特征图，每个 CSSA 模块包含两个子模块：通道切换和空间注意力。在通道切换过程中，输入特征图的每个通道权重由高效通道注意力（ECA）层评估，对最终预测信息不重要的通道将被另一模态的对应通道替换。通道切换后，空间注意力模块使用两种通道池化操作计算特征图中每个位置的重要性，并通过求和操作生成融合特征图（见 3.2 节）。最后，融合的特征图输入特征金字塔网络（FPN）和检测头生成边界框。

2.2 通道切换通道注意力

通道切换通道注意力可通过特征级信息丰富多模态融合模块，使模块能够学习模态间的共享特征，同时保留各模态的特有特征。为实现通道注意力，我们的模块中应用通道切换，因其对跨模态特征交互高效且有效。通道切换的第一步是从通道维度为各模态的特征图分配权重。为确保模块效率，选择 ECA 块，其由全局平均池化（GAP）、1D 卷积和 sigmoid 函数组成。ECA 可高效感知局部跨通道交互，公式描述为：
$${\omega }_m=\sigma \left(f\left(GAP\left(X_m\right)\right)\right)$$
其中，$GAP(X)=\frac{1}{HW}{\sum }_{i=0}^{H-1}{\sum }_{j=0}^{W-1}{X}_{ij}$，$X_m\in {\mathbb{R}}^{H\times W\times C}$ 是