异构图神经网络（5）Heterogeneous Graph Transformer

最新推荐文章于 2026-05-14 09:45:43 发布

原创

最新推荐文章于 2026-05-14 09:45:43 发布 · 3.8k 阅读

标签

#机器学习 #人工智能 #深度学习 #算法

本文提出了一种新的动态异构图建模方法HGT，该方法利用注意力机制解决异构图的特性问题，并通过相对时间编码处理动态特性。此外，文章介绍了一种针对Web-scale图数据的异构子图采样算法。

这篇文章发表在WWW2020，提出了动态异构图建模方法。

HGT

Motivation

现在基于GNN来学习异构图的方法有以下几点问题：

大多数方法，对于每一种异构图，都需要特定的领域知识来设计meta paths；
他们有的简单假设节点/边的不同类别都共享着相同的特征空间，或者有的对于不同的类别，分别设置了权重，来让它们的特征向量被映射到同一特征空间中。作者认为这样不足以捕获异构图特性；
大多数方法都忽略了异构图的动态特性。

Contribution

提出了依赖于边和节点类别的注意力机制，解决图的异构性；
提出了相对时间编码RTE解决了图的动态特性；
提出了异构子图采样算法HGSampling，来解决Web-scale图数据。

Preliminary

异构图： $G=(V,E,A,R)G=(V,\mathcal{E},A,R)$ ，节点类别映射函数： $τ(v):V→A\tau(v): V \rightarrow A$ ，边类别映射函数： $Φ(e):E→R\Phi(e): E \rightarrow R$ 。
meta relation：对于边 $e = (s, t)$ ，从源节点 $s$ 到目标节点 $t$ ，其meta relation被定义为一个三元组形式 $<τ(s),Φ(e),τ(t)><\tau(s),\Phi(e),\tau(t)>$ 。且作者提到，本论文中不同类别的节点之间可能会有多种不同的关系，比如论文与作者的关系，可能是第一作者，也可能是第二作者。
动态异构图：每个边都有一个timestamp，表示该边创建的时间，这个时间不会变化，而每个节点却不止有一个时间点，不同timestap的节点属性可能也不同。

Model

基于attention的GNN可以被表示为下式：

$(s))H^{l}[t] \leftarrow \underset{\forall s \in N(t), \forall e \in E(s, t)}{\text { Aggregate }}(\text { Attention }(s, t) \cdot \text { Message }(s))$

$H^l[t]$ 表示第 $l$ 层关于节点 $t$ 的输出，同样也是第 $l + 1$ 层的输入。

可以从该式子看出，模型分为三个部分：Heterogeneous mutual attention、Heterogeneous message passing、Target-specific aggregation，分别对应于：计算节点之间的重要性、提取节点的信息、聚集邻域信息。

在这里插入图片描述

Heterogeneous Mutual Attention

这一层的目的是计算源节点 $s$ 和目标节点 $t$ 之间的mutual attention。

$τ(t)i(H(l−1)[t])\begin{aligned} \text { Attention }_{H G T}(s, e, t) &=\operatorname{Softmax}_{\forall s \in N(t)}\left(\|_{i \in[1, h]} \text { ATT-head }^{i}(s, e, t)\right) \\ \qquad \text { ATT-head }^{i}(s, e, t) &=\left(K^{i}(s) W_{\phi(e)}^{A T T} Q^{i}(t)^{T}\right) \cdot \frac{\mu\langle\tau(s), \phi(e), \tau(t)\rangle}{\sqrt{d}} \\ K^{i}(s) &=\text { K-Linear }_{\tau(s)}^{i}\left(H^{(l-1)}[s]\right) \\ Q^{i}(t) &=\text { Q-Linear }_{\tau(t)}^{i}\left(H^{(l-1)}[t]\right) \end{aligned}$

最低0.47元/天解锁文章