论文《Graph Neural Networks with convolutional ARMA filters》笔记

【ARMA 2021 PAMI】本文介绍了一种新型的基于**自回归移动平均（Auto-Regression Moving Average，ARMA）**滤波器的图卷积层。与多项式滤波器相比，ARMA滤波器提供了更灵活的频率响应，对噪声更鲁棒，能更好地捕获全局图结构。

本文发表在2021年PAMI期刊上，第一作者学校：UiT the Arctic University of Norway，引用量：494。

PAMI期刊简介：全称IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE模式分析与机器学习智能汇刊），影响因子很高，计算机视觉顶刊，CCF A。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/1901.01343
• 开源代码：https://github.com/xnuohz/ARMA-dgl

0、核心内容

本文介绍了一种新型的基于**自回归移动平均（Auto-Regression Moving Average，ARMA）**滤波器的图卷积层。

研究背景与动机

• 传统的图神经网络在图上实施卷积操作，通常基于多项式谱滤波器。
• 作者指出多项式滤波器的局限性，如对噪声的敏感性、不能很好地捕捉全局图结构等。

ARMA滤波器的卷积层

• 提出了一种基于ARMA滤波器的新型图卷积层，与多项式滤波器相比，ARMA滤波器提供了更灵活的频率响应，对噪声更鲁棒，能更好地捕获全局图结构。
• 介绍了ARMA滤波器的图神经网络实现，包括递归和分布式公式，使得卷积层训练高效、节点空间局部化，并能在测试时迁移到新图上。

理论分析

• 通过谱分析研究了所提出的ARMA层的滤波效果。
• 论文还讨论了ARMA滤波器与多项式滤波器的数学性质和性能对比。

实验验证

• 在四个下游任务上进行了实验：半监督节点分类、图信号分类、图分类和图回归。
• 实验结果显示，基于ARMA层的图神经网络在各项任务重相较于基于多项式滤波器的网络有显著的性能提升。

方法细节

• 论文详细介绍了ARMA滤波器的理论基础，包括其在图信号处理中的应用。
• 讨论了ARMA滤波器的非线性和可训练性，以及如何通过优化任务相关的损失函数来学习参数。

实验设置与结果

• 论文描述了实验的设置，包括数据集、模型架构、超参数选择等。
• 提供了详细的实验结果，证明了ARMA层在不同任务上的有效性。

结论

• 论文总结了ARMA层的主要贡献，并强调了其在图机器学习任务中的优越性能。

1、先验知识

① 什么是加权移动平均（weighted moving average）？

在图信号处理和GNN的上下文中，加权移动平均是一种对图信号进行平滑处理的方法。

移动平均（Moving Average，MA）

• 移动平均是一种常用的信号处理技术，用于减少数据的波动性，突出其趋势。在图信号的背景下，它涉及对图中每个节点的特征值进行局部平均，以获得更平滑的信号表示。
• 在最简单的形式中，每个节点的新特征值是其自身和其邻居节点特征值的算术平均。

加权移动平均（Weighted Moving Average，WMA）

• 加权移动平均是移动平均的一种扩展，其中每个邻居节点的贡献被一个权重系数所调整。这些权重反映了节点间连接的重要性或节点特征的相关性。
• 在图信号处理中，这意味着每个节点的新特征值使其自身和邻居节点特征值的加权和。权重通常基于图的拓扑结构（例如，边的强度或节点的相似性）或其他学习到的参数。

2、从谱滤波器到多项式滤波器发展脉络

① 谱滤波器：在谱域内与非线性可训练滤波器实现卷积的GNN。

参考资料：

• 《Spectral networks and locally connected networks on graphs》Brunna 2013
• 《Deep convolutional networks on graph-structured data》Henaff 2015

这种滤波器选择性地缩小或放大图信号的傅里叶系数（节点特征的一个实例），然后将节点特征映射到一个新的空间。

谱滤波器存在的问题：在实现时需要进行特征分解，计算代价很大。

② 多项式滤波器：为了避免频域昂贵的频谱分解和投影，最先进的GNN将图滤波器作为低阶多项式，直接在节点域学习。

参考资料：

• 《Convolutional neural networks on graphs with fast localized s