Pointnet++改进注意力机制系列：全网首发SimAM无参注意力机制 |即插即用，实现有效涨点

简介：
1.该教程提供大量的首发改进的方式，降低上手难度，多种结构改进，助力寻找创新点！
2.本篇文章对Pointnet++特征提取模块进行改进，加入SimAM注意力机制，提升性能。
3.专栏持续更新，紧随最新的研究内容。

目录

1.理论介绍

2.修改步骤

2.1 步骤一

         2.2 步骤二

         2.3 步骤三

1.理论介绍

在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。

具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。

我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。

该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。对各种视觉任务的定量评估表明，该模型灵活有效地提高了许多卷积神经网络的表示能力。我们的代码可以在Pytorch-SimAM上获得。

不同注意步骤的比较。现有的注意力模块大多从特征X生成1-D或2-D权重，然后将生成的权重扩展到通道(a)和空间(b)注意力。我们的模块直接估计三维权重(c)。在每个子图中，相同的颜色表示每个通道，空间位置或特征上的每个点使用单个标量。