图注意力网络(GAT)理论推导的整理

GAT的提出

GAT的提出背景

  图卷积网络（GCN）存在一定缺陷。GCN只能应用于转导(transductive)任务，无法完成动态图处理(inductive)。且由于傅立叶变换推导的局限性，难以处理有向图。因此，需要一种更完善的图卷积算法。

注意力机制的引入

  Yoshua Bengio团队在CNN的基础上引入masked self-attention，提出了图注意力网络（GAT）¹，图中的每个节点可以根据邻居节点的特征，为其分配不同的权值，并且无需使用预先构建好的图。

GAT的结构

图注意力层

  首先来介绍单个的图注意力网络层。
  图注意力层的结构如下图所示：

  我们将输入的特征向量 h = { h 1 → , h 2 → , … h N → } , h i → ∈ R F h=\{ \overrightarrow{h_1},\overrightarrow{h_2},\ldots\overrightarrow{h_N} \},\overrightarrow{h_i}\in R^F h={ h1​ ​,h2​ ​,…hN​ ​},hi​ ​∈RF经过一个以注意力为核心的聚合操作，输出一个新的特征向量。 h = { h 1 ′ → , h 2 ′ → , … h N ′ → } , h i ′ → ∈ R F ′ h=\{ \overrightarrow{h_{1}'},\overrightarrow{h_{2}'},\ldots\overrightarrow{h_{N}'} \},\overrightarrow{h_{i}'}\in R^{F'} h={ h1′​ ​,h2′​ ​,…hN′​ ​},hi′​