图神经网络（二十一）ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK

最新推荐文章于 2024-06-22 09:34:22 发布
原创 最新推荐文章于 2024-06-22 09:34:22 发布 · 1.2k 阅读 · 2
标签
#GNN
本文提出了一种新的GNN架构——GPR-GNN，它结合了图神经网络和广义PageRank技术，旨在解决图的异构性和过平滑问题。GPR-GNN通过学习自适应的GPR权重，能同时利用节点特征和图的拓扑结构，适应不同类型的标签模式。理论和实验表明，这种方法可以缓解过平滑并处理异质图，且学习到的权重不受初始化类型影响。

本文收录于ICLR2021，作者来自于美国伊利诺伊大学香槟分校。今年的ICLR越加恐怖了，收录的文章数学功底雄厚，想法新颖，当然文章也越来越难看懂（/(ㄒoㄒ)/~~）。回到正题，GNN其主要设计的目的就是利用节点的特征和图的拓扑来来处理图数据，例如AM-GCN中就是通过自适应学习节点特征和拓扑图之间的关系从而对节点进行分类，前一篇GraLSP则是通过捕获图的结构模式来对节点进行嵌入学习。本文引入了一种新的广义PageRank-GNN架构来解决图的异构性和过平滑问题，该架构自适应的学习GPR权重，从而联合优化节点特征和拓扑信息提取，而不考虑节点标签的同质性或异质性。并且学习的GPR权重自动调整到节点标签模式，与初始化类型无关，从而保证了对通常难以处理的标签模式的良好学习性能。源码在这

INTRODUCTION

一般而言，我们获取的数据包含两个信息源：节点特征和图拓扑结构。在社交网络中，节点表示具有由其对应的特征向量捕获的兴趣和属性的不同组合的用户；边记录可能依赖于或可能不依赖于节点特征的可观

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ICLR 2021上与【图神经网络（GNN）】相关的论文（五篇）
02-28
本文发现基于图神经网络（Graph Neural Networks，GNN）相关的接受paper非常多，图神经网络这几年方法的研究，以及在CV、NLP、DM上应用也非常广，也是当前比较火的topic。
《Adaptive Universal Generalized Pagerank Graph Neural Network》阅读笔记
LW的技术小筑
11-30 4287
论文地址：Adaptive Universal Generalized Pagerank Graph Neural Network 文章概览 作者指出了现如今多数GNN的两个缺陷： 只适用于同构图； 由于过平滑（over-smoothing），不能网络不能堆的特别深。 为此，作者从PageRank那里得到启发，提出了GPR-GNN模型，该模型解决了以上两个缺陷，作者在一系列同构图和异构图上进行了实验，结果表明在半监督结点分类任务上，GPR-GNN的性能相对于现有技术来说有显著的提升。 预备知识 论文符号
论文《Adaptive Universal Generalized PageRank Graph Neural Network》笔记
bunny___的博客
05-31 1458
【GPRGNN】根据2024年异配图神经网络综述《Towards Learning from Graphs with Heterophily：Progress and Future》中的分类（Taxonomy）部分，我们选择研究不同类别下的异配图神经网络，从GPRGNN开始。
GNN2021(二) Adaptive Universal Generalized PageRank Graph Neural Network, ICLR
qq_36618444的博客
03-08 1686
文章目录IntroductionPRELIMINARIESGPR-GNNSTHEORETICAL PROPERTIES OF GPR-GNNS定理4.1定理4.2实验 Introduction 引入一种新的广义PageRank (GPR) GNN架构来解决异构性与过平滑问题，该架构自适应地学习GPR权值，从而联合优化节点特征和拓扑信息提取，而不管节点标签的同质性或异质性的程度。本文模型的架构与上一篇读过的论文差不多，但是给出了大量的理论证明，对于研究GNN原理的小伙伴有很大的启发（也注定了我写这篇博客得花.
ICLR21: GPR-GNN ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK
qq_40926715的博客
09-13 1064
看完论文觉得 可能 IPR比 PPR优， 从而作者 从 IPR-GPR进行 特征聚合， 到看到代码，是 将 APPNP的 那个 固定的 系数 采用parameter 绑定之后 进行学习， 同时 采用了 多种 Init的方式。而对于 APPNP ，作者说 γ = α（1-α）^k ，但是 code里面 计算出的这个 gamma是 和最开始 x相乘的 即就是 teleport，而不是每层的 attention。nppr（appnp的 补集， 产生的 TEMP 和 ppr产生的TEMP 各元素对应相加 =1 ）
探索图神经网络新境界：GPRGNN项目推荐
gitblog_00061的博客
06-22 594
探索图神经网络新境界：GPRGNN项目推荐 去发现同类优质开源项目:https://gitcode.com/ 在深度学习的广阔领域中，图神经网络（Graph Neural Networks, GNN）因其处理复杂图结构数据的能力而备受关注。今天，我们要向大家隆重介绍一款前沿的开源项目——GPRGNN（Adaptive Universal Generalized PageRank Graph Neu...
比GIN好的
weixin_43889128的博客
04-19 308
SSGC:SIMPLE SPECTRAL GRAPH CONVOLUTIONB2021有代码被引0，效果比GAT好0.2 Simplifying graph convolutional networksSGC 比GIN好 Adaptive Universal Generalized PageRank Graph Neural Network被引3很好 有代码 Predict then propagate: ¨ Graph neural networks meet personalized pagerank2
会议交流 - CCKS2020 | 2020年全国知识图谱与语义计算大会
开放知识图谱
10-16 1088
OpenKG开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。 ...
图神经网络--图神经网络
weixin_43557816的博客
02-26 728
图神经网络--图神经网络
cs224w 图神经网络 学习笔记（十一）Link Analysis: PageRank
喵木木的博客
08-08 1444
课程链接：CS224W: Machine Learning with Graphs 课程视频：【课程】斯坦福 CS224W: 图机器学习 (2019 秋 | 英字) 目录1. Web as a Graph 1. Web as a Graph Web（互联网）实质上可以看成是一张有向图（Directed graph），节点是各种网页，边是网页之间的超链接。 对于这样的有向图，我们考虑两个问题： 给定节点vvv，哪些节点可以到达vvv？ 从节点vvv出发，可以到达哪些节点？ 对于第一点，我们用集合In.
pagerank数据集_从数据结构到算法：图网络方法初探
weixin_39619451的博客
11-28 395
机器之心原创作者：朱梓豪编辑：Qing Lin如果说 2019 年机器学习领域什么方向最火，那么必然有图神经网络的一席之地。其实早在很多年前，图神经网络就以图嵌入、图表示学习、网络嵌入等别名呈现出来，其实所有的这些方法本质上都是作用在图上的机器学习。本文将根据近两年的综述对图网络方法做一个总结，为初入图世界的读者提供一个总体的概览。本文作者朱梓豪为中科院信工所在读硕士，主要研究方向为图神经网络、视...
非对称加密算法中求解大正整数模大正整数的余数的快速计算法
iswdj的专栏
06-11 941
前提：模数的补数小于模数本身；定义：假设：I=Uint.MaxValue+1；整数A=a0*I0+a1*I1+a2*I2+…+ae*Ie；ai；模数M=m0*I0+m1*I1+m2*I2+…+mk*Ik；mi；2*mk>I；求解：A % M解法：       设：N=Ik+1-M；       因为：mk>0；所以设：N=n0*I0+n1*I1+n2*I2+
图深度神经网络综述（一）
梦家の博客
12-18 3575
图深度神经网络综述（一） 参考文献：Deep Learning on Graphs: A Survey 简介 在图结构数据上使用深度学习的限制： 图的不规则性 与图像，音频或文本数据不同，图是一种不规则的数据结构。因此，对于神经网络难以定义对应的卷积或者池化操作。造成了几何上的深度学习问题。 图的不同结构和处理任务 图可能有多重结构，例如同构的或者异质的，加权的和不加权的，有符号的...
【十大经典数据挖掘算法】PageRank
hellozhxy的博客
10-09 2255
作者简介：Treant 人工智能爱好者社区专栏作者 博客专栏：https://www.cnblogs.com/en-heng   引言 PageRank是Sergey Brin与Larry Page于1998年在WWW7会议上提出来的，用来解决链接分析中网页排名的问题。在衡量一个网页的排名，直觉告诉我们： 当一个网页被更多网页所链接时，其排名会越靠前； 排名高的网页应具有更大的表决权，即...
浅析图卷积神经网络
热门推荐
geek_wh2016的博客
05-21 1万+
今天想和大家分享的是图卷积神经网络。随着人工智能发展，很多人都听说过机器学习、深度学习、卷积神经网络这些概念。但图卷积神经网络，却不多人提起。那什么是图卷积神经网络呢？简单的来说就是其研究的对象是图数据（Graph），研究的模型是卷积神经网络。为什么有图卷积神经网络自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。和传统方法相比，它好在哪里呢？假设有一张图，要做分类，...
图神经网络（四）N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification
码匀的博客
03-13 2049
这篇文章和前一篇MixHop是属于同一个团队同一个作者的，甚至还是同一个模型？？？找到这篇文章是因为作者将这篇文章的代码直接和MixHop的代码放到一起了，戳这 我们直接上模型： 文中说的是首先计算归一化邻接矩阵的K幂次，然后分别将每个幂次计算出来的矩阵和特征X送如r个GCN中，之后再将这些得到的特征进行拼接，然后送入全连接层，进行一个softmax分类。其实整个网络的表示也就是这个： ok,我们来看一下MixHop模型： 只能说MixHop是这个模型的小小改进和简化吧，个人觉得GAT出来之后混合这些
图神经网络（十四）Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
码匀的博客
03-18 1949
本文作者来自中科院，文章被收录于IJCAI 2019。当前基于邻域聚集的GCN模型大多数是浅层的，并且缺乏“图池化”机制，这使得模型无法获得足够的全局信息。为了增加感受域，本文提出了一种深层层次图卷积网络（H-GCN），H-GCN首先将结构相似的节点重复聚集到超节点，然后将粗化后的图细化为原始图，以恢复每个节点的表示。该粗化过程不是简单地聚合一跳或两跳的邻域信息，而是扩大了每个节点的接受范围，从而可以捕获更多的全局信息。H-GCN模型在不同的公共基准图数据集上获得了较高的性能提升。源码在此 Introduc
图神经网络（三）MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing
码匀的博客
03-13 1934
MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing GitHub： github.com/samihaija/mixhop 文章目录前言一、Introduction二、Model Architecture三、Experimental Results总结 前言 单层GCN因为其本身的特性使得其只能使用一阶邻域的特征，尽管通过多层的叠加理论上可以获得较好的特征聚合，但也因此会产生
图神经网络（十三）AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
码匀的博客
03-18 1675
本文是发表在KDD2020上的一篇文章，作者是北京邮电大学的王啸老师。现有的GCN往往是简单的聚合结构邻域的特征信息，然而GCN可能不能自适应地学习拓扑结构和节点特征之间的深层关联信息，这一弱点可能会严重阻碍GCN在某些分类任务中的能力。本文的作者提出了一种用于半监督分类的自适应多通道图卷积网络(AM-GCN)，该网络既能保留现有GCN的优点，同时又能大大增强其融合拓扑结构和节点特征的能力，其核心思想是同时从节点特征、拓扑结构和它们的组合中提取特定的和共同的嵌入，并使用注意力机制来学习嵌入的自适应重要性权重
图神经网络（十一）Graph Random Neural Networks for Semi-Supervised Learning on Graphs
码匀的博客
03-17 1576
本文作者来自清华大学，现有的GNN存在着过平滑、较差的鲁棒性以及当标记节点缺失时弱泛化性等问题，本文提出一个解决此类问题的框架-图随机神经网络（GRAND)。在GRAND中，本文首先设计了一个随机传播策略来实现图数据的扩展。然后作者利用一致性正则化来优化未标记节点在不同数据扩展中的预测一致性。在图基准数据集上的大量实验表明，在半监督节点分类方面，GRAND显著优于最先进的GNN基线。最后，作者展示了GRAND缓解了过度平滑和非鲁棒性的问题，表现出比现有GNN更好的泛化行为。 代码在这。 Model 下面直接
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码匀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值