PAIRNORM : TACKLING OVERSMOOTHING IN GNNS

         一种规范化的方法来处理过平滑问题

  已知图神经网络（GNN）的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑，其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释，旨在量化过度平滑。 我们的主要贡献是PAIRNORM，这是一种新颖的归一化层，它基于对图卷积算符的仔细分析，可防止所有节点嵌入变得过于相似。 而且，PAIRNORM快速，易于实施，无需更改网络体系结构或任何其他参数，并且广泛适用于任何GNN。现实世界图上的实验表明，PAIRNORM使更深的GCN，GAT和SGC模型在防止过度平滑方面更具鲁棒性，并极大地提高了受益于更深的GNN的新问题的性能。
  本文处理深层GNN的过平滑问题，具体地，我们（据我们所知）提出了GNN的第一个规范化层，该层在训练期间应用在中间层之间。规范化有防止相隔较远的节点的输出特征变得相似或难以区分的效果，同时使得属于同一类相连的节点变得更相似，主要贡献为：
（1）规范化来处理GNN的过平滑： 我们提出的方案基于以下认识：大多数GNN都执行一种特殊形式的Laplacian平滑，这使得节点特征彼此之间更加相似。 PairNorm的关键思想是确保总的成对特征距离在各层之间保持恒定，使得相隔较远的节点对具有较少的相似特征，从而防止特征在整个群集中混合。
（2）速度和通用性： PairNorm能被直接的运用，并且不会引入额外的参数，它被简单地运用在每一层（除了最后一层）的输出特征上，由简单的操作组成，主要是中心化和缩放，它们和输入的大小成线性关系。PairNorm并不是针对某个特定的GNN作用的，而是能被广泛应用，本文主要将PairNorm用来处理GCN,GAT和SGGC模型的过平滑问题。
（3）更深层GNN的用例： 对于一些分类任务，运用浅层GNN就已经足够了，因此PairNorm虽然可以阻止性能随着层数增加显著下降，但是不一定能绝对提高性能。但是在现实世界中，有的分类任务，比如有一部分节点特征缺失，此时可能需要更广泛的邻域，也就是需要更深的层数，节点的特征才能被有效的恢复出来，这种情景下，深层GNN对分类任务更有效，这时运用PairNorm能显著超越其他模型，PairNorm的优势也就体现出来了。

理解过平滑

  很多文章都表明，GCN里面的过平滑是一种特殊形式的Laplacian平滑。标准形式是$\left(I-\lambda I\right)X+\gamma \widetilde{A_{rw}}X$，图卷积就是$\gamma =1$， 使用对称规范化的Laplacian矩阵$\widetilde{A_{sym}}$，得到$\tilde{X}=\widetilde{A_{sym}}X$，即一个节点新的特征$\tilde{x}$是它本身和邻居特征的权值的平均。这种平滑效果使得属于同一类节点 变得更加相似，进而有助于提高集群假设下的SSNC（半监督节点分类）性能。然而，当层数增加时， 属于不同类节点的特征也会混合进去，遭遇过平滑问题，我们把这类节点特征变得太相似的问题叫做逐节点平滑问题。
另一种思考过平滑的方式是：重复运用拉普拉斯平滑法多次会使节点特征趋于一个稳定点，从而遗弃了特征的所有信息。具体为：$X_{\cdot j}\in R^n$，代表特征矩阵$X$的第$j$列，则${\lim }_{k\to \infty }\widetilde{A_{sym}^k}{X}_{\cdot j}={\pi }_j$，并且$\frac{{\pi }_j}{{\Vert {\pi }_j\Vert }_1}=\pi$。归一化的解$\pi \in R^n$，满足${\pi }_i=\frac{\sqrt{de{g}_i}}{{\Sigma }_i\sqrt{de{g}_i}}$。注意到$\pi$ 独立于输入特征$X_{\cdot j}$，它仅仅是图结构的函数。换句话说，拉普拉斯平滑遗弃了所有特征之间的信息，使得特征之间不可分， 把这种情况叫做逐特征的平滑。
   因此，本文提出两种度量方式， row-diff和col-diff来定量描述这两种平滑现象。令$H^{\left(k\right)}\in {\mathbb{R}}^{n\times d}$是$k$次图卷积之后的特征矩阵，即$H^{\left(k\right)}={\tilde{A}}_{sym}^{k}X$，$h_i^{\left(k\right)}\in {\mathbb{R}}^d$ 是$H^{\left(k\right)}$的第$i$行，$h_{\cdot i}^{\left(k\right)}\in {\mathbb{R}}^n$是$H^{\left(k\right)}$的第$i$列，则 row-diff和col-diff被定义为：

  row-diff度量的是特征矩阵行之间的平均距离，即逐节点的平滑；col-dif度量的是特征矩阵列之间的平均距离，即逐特征的平滑。

在SGC模型上具体研究过平滑

  GCN性能随着层数增加急剧下降的原因可能是由于过平滑，也有可能是因为学习参数增多导致的过拟合，因此为了研究过平滑的影响，本文研究SGC模型上的过平滑问题。
SGC是GCN的简化模型，移除了GCN图卷积层的所有映射参数以及层之间的所有非线性激活函数，SGC的形式可以写为：

  $K$表示图卷积的次数，$W\in {\mathbb{R}}^{d\times c}$代表由logistic回归分类器学习到的参数。注意到，SGC有固定数量的参数，它不依赖于图卷积的层数，因此当层数增加时他不会出现过拟合问题，那么深层性能下降就只能是过平滑的原因了。

  可以看出，大约4层之后，SGC的损失函数开始上升，精度开始下降，并且row-diff和col-diff的值急剧减小，说明节点和特征之间变得越来越相似了，充分说明了过平滑问题。

处理过平滑

1.提出PariNorm
  我们在图卷积和最优问题之间建立一个连接，即图规则化的最小二乘法（GRLS），令$\bar{X}\in {\mathbb{R}}^{n\times d}$是节点新的特征矩阵，$\overline{x_i}$表示$\bar{X}$的第$i$行，那么GRLS可以表示为：

  其中${\Vert Z\Vert }_{\tilde{D}}^2=Z^T\tilde{D}Z$，第一项可以看作是度数加权最小二乘。 第二个是图正则化，用于度量图结构上新特征的变化。这个优化问题的目标可以说是估计新的“降噪”特征${\bar{x}}_i$，这些特征离输入特征$x_i$不太远并且在图结构上很平滑。
GRSL问题有一个封闭解$\bar{X}={\left(2I-{\tilde{A}}_{rw}\right)}^{-1}X$，其中${\tilde{A}}_{rw}X$是一阶泰勒逼近，即${\tilde{A}}_{rw}X\approx \bar{X}$。将${\tilde{A}}_{rw}$改为${\tilde{A}}_{sym}$，得到同样形式的图卷积，$\tilde{X}={\tilde{A}}_{sym}X\approx \bar{X}$，这样，图卷积可以看作是（5）的近似解，其中它使图结构的变化最小，同时保持新的特征接近原始特征。
  上式中的优化问题有助于更深入理解图卷积的过度平滑问题，理想情况下，我们想使属于同一类的节点之间具有平滑性，尽量避免不同类节点间出现过平滑。但是上式的图正则化项（第二项）只能满足第一个目标，为了使这两个目标都能实现，我们引入一个负项，来计算非相连节点之间的距离和。即：

  $\lambda$是一个平衡因子，用于说明两个目标的不同数量和重要性。我们提出一个通用且有效的方法，叫PariNorm，可以应用于具有过度平滑潜力的任何形式的图卷积。
令$\tilde{X}$是图卷积层的输出，也是PariNorm的输入，$\dot{X}$是PariNorm的输出。图卷积层的输出$\tilde{X}={\tilde{A}}_{sym}X$j仅仅实现了第一个目标，那么PariNorm充当一个归一化的层，对$\tilde{X}$实行一个归一化，来实现第二个目标，使得非相连节点对之间的特征不一致。并且经过PariNorm归一化后的总的节点特征距离应该和原节点特征距离一样，即：

  等式左边简记为$TPD\left(\dot{X}\right)$，右边简记为$TPD\left(X\right)$。因为通过图卷积层后，实际上${\sum }_{\left(i,j\right)\in \epsilon }{\Vert \dot{x_i}-\dot{x_j}\Vert }_2^2$小于${\sum }_{\left(i,j\right)\in \epsilon }{\Vert x_i-x_j\Vert }_2^2$,所以${\sum }_{\left(i,j\right)\notin \epsilon }{\Vert \dot{x_i}-\dot{x_j}\Vert }_2^2$得保证至少和原始值${\sum }_{\left(i,j\right)\notin \epsilon }{\Vert x_i-x_j\Vert }_2^2$一样大。实际上，我们可以始终在所有层上保持恒定的TPD值C，而不是始终跟踪原始值TPD（X）。为了将$\tilde{X}$归一化为一个常数，需要首先计算$TPD\left(\tilde{X}\right)$，直接计算时间复杂度很高，因此将其转化为两步法，即：

证明：

忽略$2n^2$，第一项表示节点特征的均方长度，第二项代表节点特征均值的均方长度。为了简化计算，对于每个$\widetilde{x_i}$，减去逐行均值，即$\widetilde{x_i^c}=\widetilde{x_i}-\frac{1}{n}{\sum }_i^n{\tilde{x}}_i$，这个转换并没有影响TPD的值，并且使得后面一项${\Vert \frac{1}{n}{\sum }_1^n{\tilde{x}}_i^c\Vert }_2^2$趋于零，那么计算可以简化为：

总结：我们提出的PariNorm能被表示为两步，中心化和放缩

缩放后，数据保持居中，即${\Vert {\sum }_{i=1}^n\dot{x_i}\Vert }_2^2=0$，那么归一化的结果为：

  $s$是决定$C$的超参数，因此$\dot{X}=PairNorm\left(\tilde{X}\right)$逐行均值为0，总共的节点对距离为常数$C=2n^2{s}^2$,PairNorm的输出即为下一个卷积层的输入，整个PairNorm的过程可以用下图表示：

  从图中可以看出，PairNorm就是对图卷积的输出进行一个规范化处理，处理完后，节点间的总距离不变是个常数，而属于同一类的节点经过卷积层后更加平滑了，节点之间的距离变小，从而相隔较远，属于不同类的节点之间距离变大，这样就避免了过平滑问题。
我们还提出了PairNorm的一种变体形式，将Scale步骤中的${\sum }_{i=1}^n{\Vert \widetilde{x_i^c}\Vert }_2^2$替换成$n{\Vert \widetilde{x_i^c}\Vert }_2^2$，使得Scale步的计算结果为：$\dot{x_i}=s\cdot {\frac{\widetilde{x_i^c}}{\Vert \widetilde{x_i^c}\Vert }}_2$，将该形式称为PairNorm-S1，它对节点表示施加了更大限制。通过实验发现，PairNorm和PairNorm-S1在SGC模型上都表现得很好，但是在GCN和GAT模型上，PairNorm-S1得到的结果更稳定，原因可能是GCN和GAT具有更多的参数，更容易出现过拟合。所以在下面的实验中，我们在SGC上运用PairNorm，在GCN和GAT上运用PairNorm-S1。

  引入PairNorm后，能减缓模型性能下降的速度，说明有效应对了过平滑问题。但是观察到整个测试精度并没有提高, 是因为一些基本的分类问题深度一般都不超过4层，精度就已经很好了。因此下文给出一个用例，需要更深的模型才会有好的效果，这时，PairNorm的优势就显而易见了。

2.一个更深层GNN更加有利的例子
  通常，过平滑会随着层数增加变得愈发严重，那么有一类任务当应用PairNorm之后，效果会很好，这类任务就是需要非常深的层来实现最好的性能，比较有代表的就是特征缺失任务，即节点中有一部分节点特征缺失，$p$表示缺失比率，我们把这类任务叫做带有缺失向量的半监督节点分类任务（SSNC-MV），这类任务通常需要足够多的传播步骤，即更深的GNN，才能充分恢复出节点缺失的特征。SSNC-MV在实际生活中是一种很通用且现实的问题，例如信贷问题里面的识别低风险和高风险客户的信用风险问题，就可以建模成一个SSNC-MV问题，它有大量的客户并没有提供有用的信息。事实上，很多基于图的分类任务都存在冷启动问题（即没有历史信息），这些就可以被描述为SSNC-MV问题，据我们所知，本文是第一篇利用GNN模型来处理SSNC-MV问题。

  该图描述了当缺失率$p$为1时，在SGC、GCN和GAT模型上运用PairNorm的效果，可以看出运用PairNorm后达到了更好的测试精度，并且可以达到很深的层。

实验

  实验部分主要是设计了更多的实验来验证在SSNC-MV任务下，在SGC、GCN和GAT模型上运用PairNorm的效果。
1.实验设置
数据集： 使用GNN领域里面比较有名的四个数据集，Cora, Citeseer, Pubmed和CoauthorCS。
模型： 使用三个不同的GNN模型作为基本模型，SGC，GCN，GAT。比较在这三个模型上使用PairNorm方法和残差连接方法的效果，（SGC模型上没有残差连接）。我们将重点放在基本模型与PairNorm增强模型之间的比较上，而不是实现SSNC和SSNC-MV的最佳性能比较上。
超参数： SGC模型中选择PairNorm中超参数$s$的范围为{0.1,1,10,50,100}\left \{ 0.1,1,10,50,100\right \}{0.1,1,10,50,100} ，GCN，GAT这两个模型选择$s$固定为1.
配置： 对于增强的PairNorm模型，我们在每个图卷积层之后（即激活层之后）应用PairNorm，对于带有$t$步跳跃的残差连接模型，我们将第$l$层的输出和第$\left(l+t\right)$层的输出连接起来，即$H_{new}^{\left(l+t\right)}=H^{(l+t)}+H^{\left(l\right)}$。在验证集和测试集上，随意地选择$p$值，丢弃一部分节点的特征信息，在训练集上保留所有节点特征不变。

2.实验结果

  可以看出当缺失率大的时候，PairNorm的优势就完全体现出来了，而且缺失率大，意味着层数更深，SGC模型到后面性能急剧下降，但是带有PairNorm的SGC模型能保持一个相对稳定的性能。


  这两张表表示的是在GCN和GAT模型上运用PairNorm-S1和运用残差连接效果的比较 ，可以观察得出：
（1） 当缺失率增加时，原始模型会遭遇性能下降问题。
（2） 残差连接和PairNorm-S1都能使得模型层数更深，并且能提高性能。
（3） 和仅仅使用残差相比，GCN-PN和GAT-PN实现了更好的性能。
（4）结合残差和PairNorm-S1，性能能得到进一步提升。

结论

  我们研究了GNN中的过度平滑问题，并提出了PairNorm，这是一种新颖的归一化层，可增强深层GNN抵抗过度平滑的鲁棒性。 PairNorm的计算速度很快，不需要更改网络体系结构，也不需要任何额外的参数，并且可以应用于任何GNN。 在现实世界中分类任务的实验证明了PairNorm的有效性，当任务受益于更多层时，它可以提高性能。 未来的工作将探索更深层GNN的其他用例，这些用例可能会进一步展示PairNorm的优势。