【注意力机制】BAM详细讲解及实现

BAM注意力机制原论文地址：https://arxiv.org/abs/1807.06514

注意力机制是一种神经网络模型中常用的技术，用来模拟人类在处理任务时的注意力分配过程。它能够使得神经网络在处理复杂任务时，能够集中精力关注重要的信息，同时忽略无关的信息，从而提高模型的性能和效率。

今天这篇文章主要讲述的是2018年提出的一个注意力模块BAM.

这项工作中，作者把重心放在了Attention对于一般深度神经网络的影响上，然后提出了一个简单但是有效的Attention模型—BAM，它可以结合到任何前向传播卷积神经网络中，BAM模型通过两个分离的路径 channel和spatial, 得到一个Attention Map。

之前的大多数注意力模块都是将注意力用于特定的任务，然而BAM（“瓶颈注意模块”）明确作为一种有效提高网络表征能力的方式，是一个简单而有效的注意模块，可用于任何CNN。对于3D特征图，BAM会生成3D注意力图来强调重要元素，推断3D注意图的过程分解为两个分支流程，BAM的结构图如下图所示，可以大大减少计算开销和参数开销。特征图的通道可以看作特征检测器，两个分支(spatial和channel)明确地学习应该关注“什么”和“哪里”。

 在神经网络中，BAM常常用在模型的各个模块的交界处，因此被称为“瓶颈注意模块”。如下图所示