时序图神经网络总结（1）

本系列是整理关于用图神经网络（特别是图卷积）来建模时序图数据的论文。

基本概念

• 关于数据类型：图的划分方式有很多，同构图和异构图，有属性的图和无属性的图，有向图和无向图，动态图和静态图……比如在交通预测问题中，交通网络结构固定不变，节点均表示传感器，边均表示道路（或者说传感器之间的连接）（有属性的静态同构图）；比如社交网络或推荐系统等现实世界中的关系网络，随着时间而动态变换（有属性的动态异构图）；而关于是有向还是无向，就视具体情况来看了。
• 图神经网络简述：从图神经网络到图卷积神经网络讲的很详细，另外，如果只想了解图卷积的知识，也可以参考这篇。关于图卷积，总体分为谱域和空域：谱域卷积是基于图信号领域的卷积定理发展来的，它要求数据是无向静态同构图（因为需要拉普拉斯算子是对称矩阵）；而空域卷积则对数据的要求有放松，目前主流的方法GAT、GraphSAGE等基本上只要求是静态同构图即可。这些经典图神经网络模型并不适用于异构图，因而异构图需要更复杂的处理，常见的方法是大概是将异构图划分成多个同构图或者基于meta-path的方法。
• 关于时序建模：这方面论文确实比较多，本人才疏学浅没看得很深，但从大部分时序图神经网络模型中可以看出，RNN以及RNN的变体（LSTM和GRU）、TCN、CNN、Transformer常被用于处理时序数据。

论文1 Structural Sequence Modeling with Graph Convolutional Recurrent Networks

这篇文章发表于ICLR 2017，是比较早的一篇对结构数据进行序列学习的文章。

Motivation

目前很多研究将CNN和RNN融合来用于时空序列建模，但这些方法仅能用于欧式数据。

Method

本文提出了GCRN（Graph Convolutional Recurrent Network），将经典的RNN（Recurrent Neural Network）泛化到到结构化的数据处理。这篇文章的目的是多步预测，作者称为序列建模：
$${\hat{x}}_{t+1},\dots ,{\hat{x}}_{t+K}=\arg \underset{x_{t+1},\dots ,x_{t+K}}{\max }P\left(x_{t+1},\dots ,x_{t+K}\mid x_{t-J+1},\dots ,x_t\right)$$针对的数据是图结构不发生改变的无向带权同构图序列。
作者提出了两种GCRN结构，一是对每个序列先进行图卷积处理再将卷积之后的结果输入LSTM；二是将FC-LSTM中的2D卷积替换成图卷积。

Model 1

$$\begin{array}{rl}{x}_t^{\mathrm{C}\mathrm{N}\mathrm{N}}& ={\mathrm{C}\mathrm{N}\mathrm{N}}_{\mathcal{G}}\left(x_t\right)\\ i& =\sigma \left(W_{xi}{x}_t^{\mathrm{C}\mathrm{N}\mathrm{N}}+W_{hi}{h}_{t-1}+w_{ci}\odot c_{t-1}+b_i\right)\\ f& =\sigma \left(W_{xf}{x}_t^{\mathrm{C}\mathrm{N}\mathrm{N}}+W_{hf}{h}_{t-1}+w_{cf}\odot c_{t-1}+b_f\right)\\ c_t& =f_t\odot c_{t-1}+i_t\odot \tanh \left(W_{xc}{x}_t^{\mathrm{C}\mathrm{N}\mathrm{N}}+W_{hc}{h}_{t-1}+b_c\right)\\ o& =\sigma (W_{xo}{x}_t^{\mathrm{C}\mathrm{N}\mathrm{N}}+W_{ho}{h}_{t-1}+w_{co}\odot c_t\\ h_t& \end{array}$$