论文研读之 Self-Attention

涉及论文：

1. Graph Attention Convolution for Point Cloud Semantic Segmentation
2. Dual Attention Network for Scene Segmentation

  在一篇标题包含“Attention”的论文中，你可能会看到以下公式：
$$a_{ij,k}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\tilde{a}}_{ij,k})}{{\sum }_{l\in \mathcal{N}(i)}\mathrm{e}\mathrm{x}\mathrm{p}({\tilde{a}}_{il,k})}$$

$$h_i^{{}^{\prime }}=\sum _{j\in \mathcal{N}(i)}{a}_{ij}\ast M_g(h_j)+b_i$$

或者
$$s_{ji}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(B_i\cdot C_j)}{{\sum }_{i=1}^N\mathrm{e}\mathrm{x}\mathrm{p}(B_i\cdot C_j)}$$

$$E_j=\alpha \sum _{i=1}^N(s_{ji}{D}_i)+A_j$$

或者类似的形式，那么恭喜你，你看到 Self-Attention 了！

  Self-Attention 的作用不是特征提取，而是指导特征提取。简单地说，通过一些计算学习一种 mask，这个 mask 再作用在特征提取上。如下图所示，通过 mask 的作用，特征提取模块有侧重的提取了目标类（table）的点的特征，在理想情况下忽视非同类点（chair）的特征。

《Graph Attention Convolution for Point Cloud Semantic Segmentation》中的 Attention

  这篇工作将 Attention 应用在 图（Graph） 多层感知机上，完成点云分割任务。因为原文中的标记符号的使用与习惯不同，所以此处不使用原文中的标记符号。

  记图 $G(V,E)$， V = { v 1 , v 2 , … , v N } ∈ R N × 3 V = \{v_{1}, v_{2}, \dots, v_{N}\} \in \mathbb{R}^{N \times 3} V={v1​,v2​,…,vN​}∈RN×3 是图中所有节点的集合，$E$ 为边集，$N$ 为节点个数。 F = { f 1 , f 2 , … , f N } ∈ R N × f F = \{f_{1}, f_{2}, \dots, f_{N}\} \in \mathbb{R}^{N \times f} F={f1​,f2​,…,fN​}∈RN×f，$f$ 为特征维度。$M$ 为多层感知机（MLP）。

  记某一节点 $v_i$ 的邻域 $\mathcal{N}(i)$，$\Delta v_{ij}=v_j-v_i$ 表示邻域 $\mathcal{N}(i)$ 中的点到中心点的某种距离，$\Delta f_{ij}=M_g(f_j)-M_g(f_i)$ 表示邻域 $\mathcal{N}(i)$ 中的点与中心点的特征经过某种计算后的差值，可以简单地理解为 $\Delta f_{ij}=f_j-f_i$，这并不影响对后续工作的理解。

  我们知道在点云数据的处理中，通常需要将点云根据距离或者其他的规则划分众多邻域。根据规则不同，可能会计算所有点的邻域，也可能计算采样点的邻域，不管怎样，都会有很多“域”。那么点云中的一个点可能会同时属于不同“域”，形象地说，你有很多邻居，那么你就会是不同人的邻居。对于点云中的某一点 $v_k$，其在 $v_i$ 的邻域 $\mathcal{N}(i)$ 中被记为 $v_j$，其在该邻域 $\mathcal{N}(i)$ 中，其 mask 可由如下公式计算得到：
$${\tilde{a}}_{ij}=M_{\alpha }(\Delta v_{ij}\otimes \Delta f_{ij})$$

  前面说了，Self-Attention 的目的是抑制非同类的点，那么，在另外一个邻域中，$v_k$ 的 mask 可能就是其他值。

  考虑到不同邻域的形状或尺寸是不同的，对 $\tilde{a}$ 做一次标准化：
$$a_{ij,k}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\tilde{a}}_{ij,k})}{{\sum }_{l\in \mathcal{N}(i)}\mathrm{e}\mathrm{x}\mathrm{p}({\tilde{a}}_{il,k})}$$
其中，$k$ 表示节点 $v_i$ 的第 $k$ 个特征。

  最后将其作用在特征提取的计算中：
$$f_i^{{}^{\prime }}=\sum _{j\in \mathcal{N}(i)}{a}_{ij}\ast M_g(f_j)+b_i$$
那么，取决于 $v_i$ 与邻域的关系（是否是同一类），这一个特征 $f_i$ 可能被抑制，也可能被增强。

  看完代码之后，发现就是在 PointNet++ 基础上增加了一个多层感知机，所以跟图（Graph）有什么关系？

《Dual Attention Network for Scene Segmentation》中的 Attention

  这篇工作中有两个 Attention 结构，只不过是作用在不同的数据上，具有不同的具体含义，但大体结构是相同的。

  如上图所示，一个特征图 $A$ 包含 $H\times W$个“像素”，每个“像素”有 $C$ 个通道，也就是 $C$ 个特征。同样的，通过某种计算，为每一个“像素”分配一个 mask。与点云不同，图像是结构化的数据，所以这块使用卷积做可学习的计算。特征图 $A$ 经过三个不同的卷积之后得到 $B$、$C$、$D$，且 $B,C,D\in {\mathbb{R}}^{C\times H\times W}$。令 $N=H\times W$，那么 $B$、$C$、$D$ 经过 reshape 后降维成二维矩阵 $B^{{}^{\prime }},C^{{}^{\prime }},D^{{}^{\prime }}\in {\mathbb{R}}^{C\times N}$。然后，$S=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}((B^{{}^{\prime }}{)}^T\cdot C^{{}^{\prime }})\in {\mathbb{R}}^{N\times N}$ ，$S$的每一个元素就是对应位置的“像素”的 mask。

  具体而言，同样需要经过标准化：
$$s_{ji}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(B_i\cdot C_j)}{{\sum }_{i=1}^N\mathrm{e}\mathrm{x}\mathrm{p}(B_i\cdot C_j)}$$

最后，将 mask 作用在特征提取上，并按照上图所示，与原特征图 $A$ 相加：
$$E_j=\alpha \sum _{i=1}^N(s_{ji}{D}_i)+A_j$$

式中，$\alpha$ 是一个可学习的标量。$E_j$ 可以理解为两个特征图 ${\sum }_{i=1}^N(s_{ij}{D}_i)$ 和 $A_j$ 的带权相加，那么 $\alpha$ 就是那个权值。当然了，关于 $\alpha$ 的讨论不在本篇博文的范围中。

结论

  虽然理论上是很合理的，目标也是很美好的，但是就这两个工作，从现有的评价指标（mIoU）上来看，效果并不是那么得卓越。与其他工作相比，高的会高出不少，但也存在低的。