图卷积（6）——过平滑现象（1）

图卷积（6）——过平滑现象（1）

过平滑现象的提出是在论文Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning中。作者将GCN用于半监督学习任务，发现采用多层GCN之后，会出现过平滑现象（over-smoothing）。
文章提出三个核心观点：

1. 拉普拉斯平滑：GCN中图卷积是特殊形式的拉普拉斯平滑，可以聚合临近节点的特征，使同一类别的节点的特征相似；
2. 过平滑问题：多层GCN使得节点输出特征过度平滑，这样便无法区分不同类别的节点。该现象尤其是在小数据集上容易出现（这点类似于过拟合问题）；
3. 标签传播困难：多层GCN会造成过平滑现象的同时，层数太少也无法很好地传播节点标签；

拉普拉斯平滑介绍

我们将GCN于全连接进行简单的比对：
$$\begin{array}{rl}\mathrm{G}\mathrm{C}\mathrm{N}& :\mathrm{Y}=\hat{\mathrm{A}}\mathrm{X}\mathrm{W}\\ \mathrm{F}\mathrm{C}\mathrm{N}& :\mathrm{Y}=\mathrm{X}\mathrm{W}\end{array}$$

图为原论文中的数据，不难看出GCN比FCN性能高出这么多的原因是因为GCN中包含邻接矩阵。而其表现优异的根本原因是GCN是一种特殊形式的拉普拉斯平滑。拉普拉斯平滑的三种形式为：

1. 标准形式：${\mathbf{y}}_i=(1-\gamma ){\mathbf{x}}_i+\gamma {\sum }_j\frac{{\tilde{a}}_{ij}}{d_i}{\mathbf{x}}_j,1\le i\le n$
2. 矩阵形式：$\mathbf{Y}=\mathbf{X}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\mathbf{X}=\left(\mathbf{I}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\right)\mathbf{X}$
3. 特殊形式： Y = ( I − D ~ − 1 ( D ~ − A ~ ) ) X = D ~ − 1 A ~ X , γ = 1 \mathbf{Y}=\left(\mathbf{I}-\tilde{\mathbf{D}}^{-1}(\tilde{\mathbf{D}}-\tilde{\mathbf{A}})\right) \mathbf{X}=\tilde{\mathbf{D}}^{-1} \tilde{\mathbf{A}} \mathbf{X}, \quad \gamma=1