How Powerful are Graph Neural Networks?

1. 表明 GNN 在区分图结构方面最多与 WL 测试一样强大。 2. 建立了邻居聚合和图读出函数的条件，在这些条件下生成的 GNN 与 WL 测试一样强大。 3. 识别出流行的 GNN 变体无法区分的图结构，例如GCN和GraphSAGE，并且我们精确地表征了图结构的种类，例如基于GNN的模型可以捕捉。 4. 提出图同构网络（GIN），并表明它的判别/表示能力等于 WL test的能力。

论文： HOW POWERFUL ARE GRAPH NEURALNET WORKS https://arxiv.org/abs/1810.00826v1 来源：ICLR 2019 代码： GitHub - weihua916/powerful-gnns: How Powerful are Graph Neural Networks? 内容：从理论上证明了邻域聚合（或称消息传递）的GNN变体的表达能力的严格上限（WL同构检验），同时设计了一个此框架下，最强大的GNN，即GIN 1 邻...

文章目录1 相关介绍Definition 1 ：multiset数学上的单射（injective）2 GNN 怎么和 Weisfeiler-Lehman test 关联起来？2.1 符号定义2.2 Graph Neural Networks2.3 两类任务2.3 Weisfeiler-Lehman test 图同构测试3 WL test 是GNN性能的上限Lemma 24 什么样的GNN 可以和W...

How powerful are graph neural networks? ICLR 2019 背景 1.图神经网络 图神经网络及其应用 2.Weisfeiler-Lehman test 同构：如果图G1和G2的顶点和边的数目相同，并且边的连通性相同，则这两个图可以说是同构的，如下图所示。也可以认为G2的顶点是从G1的顶点映射而来的。这是一个具有挑战性的问题：目前还没有已知的多项式时间算法。图同构的Weisfeiler-Lehman（WL）检验是一种有效且计算效率高的检验，它能区分一大类图。 W

HOW POWERFUL ARE GRAPH NEURAL NETWORKS? ABSTRACT Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the...

发表于ICLR 2019. HOW POWERFUL ARE GRAPH NEURAL NETWORKS?abstract1.introduction2.preliminaries3.theoretical framework：overview4.building powerful graph neural networks abstract 尽管GNN彻底改变了图表示学习，但是在表示属性上存在限制。我们提出了一个理论框架来分析捕捉不同的图结构的GNNs的表达能力。我们的结果展示了GNN变体的分辨能力，例如

摘要 图神经网络（GNN）是用于图的表示学习的有效框架。 GNN遵循邻域聚合方案，其中节点的表示向量是通过递归聚合和转换其相邻节点的表示向量来计算的。 已经提出了许多GNN变体，并且在节点和图分类任务上都取得了最新的成果。 然而，尽管GNN革新了图形表示学习，但对其表示特性和局限性的理解仍然有限。 在这里，我们提出了一个理论框架，用于分析GNN捕获不同图形结构的表达能力。 我们的结果表征了流行的GNN变体（例如图卷积网络和GraphSAGE）的判别力，并表明它们无法学会区分某些简单的图结构。 然后，我们开

How Powerful are Spectral Graph Neural Networks

突破传统基于矩阵分解的节点嵌入方式，GraphSAGE 通过采样和聚合节点局部邻域的特征信息来生成嵌入，同时学习节点邻域的拓扑结构和特征分布。对于多重集只有sum方法是单射的，根据作者的理论只有aggregation和readout都是单射，才能使GNN的判别图同构的能力最强。换句话说，假设不同的基集对应一种分布，那么mean可以区分这些不同的分布，但无法区分相同基集的不同多重集。回顾sum方法，我们就发现，sum可以区别不同的基集构成的多重集，和相同基集构成的多重集。那么mean的区分能力到底在哪里？

计算机-人工智能-脑科学与类脑智能

目前很多GNNs不断被提出，大多是采用邻居聚合和图级池化的方法，虽然这些GNN模型在节点分类、边预测和图分类等许多任务上都取得了不错的性能，但是新型的GNN的设计大多是基于经验直觉、启发式和实验试错，因此它们对GNNs的性质和局限性的理论认识较少，对GNNs表征能力的形式化分析有限。其中第一个式子就是聚合函数，用于集合给定节点的邻居的特征向量，第二个式子就是将第一步聚合后的特征向量与该中心节点的特征向量进行结合，用于更新中心节点的特征向量。上述的聚合操作采用的是最大池化，其中的。

GIN 学习笔记

理论上：搞清楚了 GNN 的 “能力边界”（超不过 WL 测试）和 “变强条件”（聚合函数要单射）；实践上：设计了 GIN 这个 “最强 GNN”，给后续研究当标杆；给我们的启示以后做 GNN，优先选 “求和 + MLP” 的组合（比如 GIN），尤其是处理需要精准区分结构的任务（如分子设计、图分类）；如果任务只需要 “看邻居的分布”（比如判断节点属于哪个社区），用 GCN 的平均聚合也够用。

1111

Abstract (1) What do the author(s) want to know (motivation)? (2) What did they do (approach/methods)? (3) Why was it done that way (context within the field)? (4) What do the results show (figures and data tables)? (5) How did the author(s) interpret the

GNNs的表达能力是捕获图结构的关键。文中通过在图分类数据集上的实验来验证理论，对比了使用各种聚合函数的GNNs的性能。实验结果表明，在作者的理论中最强大的GNN，即**图同构网络（GIN），根据经验判断也具有很高的表示能力，因为它几乎完全适合训练数据，而较弱的GNN变体往往严重不适合训练数据**。此外，这种表达能力更强的GNN在测试集精度方面优于其他GNNs，并且在许多图分类benchmarks上实现了最先进的性能。

作者：Keyulu Xu (MIT)，Weihua Hu(Stanford Universtity)，Jure Leskovec(Stanford Universtity)，Stefanie Jegelka(MIT)​ 图神经网络（GNNs）是一种有效的图表示学习框架。图神经网络遵循邻域聚合方案，其中节点的表示向量是通过递归地聚合和变换其相邻节点的表示向量来计算的。到目前为止，许多图神经网络的变种也已经被提出，并且在节点和图分类任务上取得了优异的成果。然而，尽管图神经网络彻底改变了图表示学习，但我们对其表

图神经网络学习笔记（一）：《How Powerful Are Graph Neural Networks？》 一、 论文中定理简介 Definition 1 (Multiset) A multiset is a generalized concept of a set that allows multiple instances for its elements. More 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，

How Powerful are Graph Neural Networks?