【论文翻译】PM-DMNet:用于双模式交通预测的模式匹配动态记忆网络

摘要

近年来，深度学习在交通预测领域越来越受到关注。现有的交通预测模型通常依赖于具有O(N²)复杂度的GCN或注意力机制来动态提取交通节点特征，这些方法效率低下且不够轻量。此外，这些模型通常只利用历史数据进行预测，而没有考虑目标信息对预测的影响。为了解决这些问题，我们提出了一种模式匹配动态记忆网络（PM-DMNet）。PM-DMNet采用了一种新颖的动态记忆网络，以仅O(N)的复杂度捕捉交通模式特征，大大降低了计算开销，同时实现了优异的性能。PM-DMNet还引入了两种预测方法：递归多步预测（RMP）和并行多步预测（PMP），它们利用目标时间特征来辅助预测过程。此外，PMP中集成了一种传输注意力机制，将历史数据特征转换为更好地与预测目标状态对齐的特征，从而更准确地捕捉趋势变化并减少误差。大量实验结果证明了所提模型相对于现有基准模型的优越性。源代码：https://github.com/wengwenchao123/PM-DMNet。

I.引言

随着社会和技术的发展，城市内的车辆数量显著增加，类似共享单车和叫车平台（如Uber和滴滴）等服务也日益流行。这种扩展扩大了政府在城市交通管理中的应用，同时也增加了公共交通的需求。然而，有限的资源和不完善的调度系统导致了交通管理中的挑战和运输需求的不平衡。因此，准确的交通预测在交通管理、城市规划和共享经济等领域变得至关重要。精准的交通预测可以帮助政府更好地分配社会资源，以维持城市交通的正常运行。这也可以帮助公司将共享单车和出租车分配到需求高的地区，避免它们在低需求区域闲置，从而减少能源消耗和乘客等待时间。

近年来，研究人员进行了大量的交通预测研究，以促进智能交通系统的发展。早期的交通预测方法主要采用统计方法进行预测。例如，自回归（AR）、移动平均（MA）和自回归积分移动平均（ARIMA）模型作为最具代表性的经典统计方法，已被广泛应用于交通预测。此外，以支持向量回归（SVR）和卡尔曼滤波器为代表的机器学习技术也被应用于交通预测，以实现更准确的预测并处理更复杂的序列。然而，这些方法要求数据具有平稳性才能有效，这限制了它们捕捉交通状况中复杂的非线性时空相关性的能力。

近年来，深度学习在计算机视觉和自然语言处理等领域的进展促使研究人员探索其在交通预测中的应用，以期获得更好的结果。早期的深度学习预测模型将城市交通视为图像并将其分割为网格。卷积神经网络（CNNs）被用来分析这些网格内的空间相关性，而循环神经网络（RNNs）或CNNs则用于捕捉时间依赖性。然而，交通网络的结构可以看作是一个拓扑图，包含非欧几里得属性。CNNs只能从周围节点提取特征，无法捕捉跨空间的特征。由于图卷积网络（GCNs）在处理非欧几里得结构方面非常有效，它已被广泛应用于交通领域。此外，注意力机制也被引入时空特征建模中。

然而，当前的方法仍然存在以下限制：

1. 缺乏有效的交通特征提取：交通数据本质上表现出复杂的时空相关性。为了捕捉这些时空相关性，研究人员采用了GCN来捕捉节点之间的空间关系，取得了显著的成功。如**图1(a)**所示，当前的方法需要评估所有节点对之间的相关性，以动态生成图结构，然后使用GCN提取时空相关性，这导致了O(N²)的计算复杂度。

   
   然而，在实际场景中，交通网络的结构通常表现出稀疏性，这意味着节点通常只与其他节点的子集相关联，大多数节点之间没有相关性。如**图2(a)**所示，节点A、B和C表现出明显的相关性，代表了一种特定的交通模式，而节点D和E则代表了另一种交通模式。计算节点A、B、C与节点D、E之间的相似性是无意义且资源密集的。

   
   最近的研究致力于减少计算复杂度，但每种方法都有其局限性。例如，STWave引入了MS-ESGAT（基于多尺度边的空间图注意力)机制来实现线性复杂度。然而，这种方法高度依赖于预定义的图结构，因此在没有预定义图的情况下不适用。

2. 趋势变化预测的不确定性：**图2(b)**展示了两组历史数据及其对应的预测目标，其中红色部分表示历史数据，黄色部分表示预测目标。如图所示，左侧的历史数据及其对应的预测目标保持在一个稳定的趋势通道内。然而，在右侧，虽然历史数据也在稳定的趋势通道内，但对应的预测目标转变为下降趋势通道。这表明，仅依赖历史数据进行预测，很难捕捉到这种趋势变化。尽管当前的研究提出了各种方法来提取时空特征，但它们主要依赖历史数据来模拟交通状况，因此在准确捕捉预测目标的趋势变化方面存在局限性。

为了解决上述问题，本文提出了一种新型的模式匹配动态记忆网络（PM-DMNet）模型来进行交通预测。对于第一个挑战，设计了一个动态记忆网络（DMN）用于从节点中提取模式特征。具体而言，定义了一个可学习的记忆矩阵来学习交通状况中的代表性交通模式。然后将模型输入的交通特征与这些嵌入结合使用，计算出模式注意力矩阵，从而提取与输入数据最相似的交通模式特征。同时，DMN通过结合时间嵌入与记忆嵌入，动态调整每个时间点的代表性交通模式，从而避免交通模式同质化问题。此外，如图1所示，相较于GCN的高计算复杂度O(N²)，该方法将计算复杂度降低至O(N)，显著提升了计算效率。

为了解决第二个挑战，设计了两种预测方法：递归多步预测（RMP）和并行多步预测（PMP）。RMP采用传统的递归方法，在解码阶段通过递归利用时间特征和提取的隐藏特征来进行预测。而PMP直接使用目标时间点的时间特征和从历史数据中提取的隐藏特征进行预测。为减少历史数据与预测目标之间的差异所引起的误差，在PMP中引入了一种新的传输注意力机制。具体来说，该注意力机制通过整合输入数据、其时间特征及预测目标的时间特征，利用交通数据的固有周期性，将隐藏状态转换为更符合目标时间点条件的状态。这种方法提高了提取的潜在特征对预测目标状态的适应性，从而提升了预测精度。此外，由于PMP不涉及递归过程，因此与RMP相比减少了所需的计算时间，并且还提高了预测性能。

总而言之，本文的贡献总结如下：

• 我们提出了一种新的交通预测模型，名为模式匹配动态记忆网络（PM-DMNet）。该模型可以根据需求在解码阶段实现并行多步预测（PMP）和递归多步预测（RMP）。与RMP相比，PMP避免了循环递归过程，从而提高了计算效率。

• 我们提出了一种新颖的动态记忆网络（DMN）模块，旨在学习与每个节点相关的数据中的内在代表性交通模式。通过采用模式匹配的方法，该模块能够识别并提取与输入数据最相似的交通模式特征，同时有效减少计算开销。

• 我们引入了一种新的传输注意力机制（TAM）。TAM将现有的历史隐藏状态转换为与预测目标特征对齐的潜在状态，从而减少历史数据与预测目标之间的误差。

• 在十个真实数据集上的实验结果证明，我们提出的框架在所有数据集上都显著优于现有的先进方法。

II.相关工作

A. 时空预测

作为时空预测中最具代表性的任务之一，研究人员采用了多种方法来对交通条件中的时空特征进行建模。STGCN利用GCN和预定义矩阵捕捉节点之间的空间关联，并采用门控卷积神经网络来对这些空间依赖性进行建模。DCRNN将扩散卷积与GRU相结合，以建模交通条件中固有的时空关系。MTGNN利用了自适应嵌入生成自适应图结构，捕捉不同节点之间的空间关联。CCRNN引入了一种新的图卷积结构，称为CGC，并采用分层耦合机制，将上层图结构与下层图结构连接起来，以提取时空特征。GMAN利用了三种不同的注意力机制来捕捉交通条件中的时空特征。MPGCN利用GCN通过聚类识别公交站的移动模式，并使用GCN2Flow来预测基于不同移动模式的乘客流量。在MPGCN的基础上，MPGNNFormer设计了一种STGNNFormer，用于提取时间和空间依赖性。尽管这些时空预测模型取得了显著的成功，但它们所使用的GCN和注意力机制通常需要O(N²)或更高的复杂度，从而导致了大量的计算成本。

B. 神经记忆网络

记忆网络引入了一种外部记忆机制，使其能够更好地处理和利用长期信息。记忆网络在自然语言处理和机器翻译领域得到了广泛的应用。MemN2N引入了一种新的端到端记忆网络框架，使其能够在现实环境中得到便捷应用。Kaiser等人提出了具有适应多种零样本场景能力的记忆网络。Mem2seq将多跳注意力机制与记忆网络集成在一起，使其在对话系统中得以部署。MemAE探索了记忆网络在视频异常检测任务中的应用，后续研究验证了该方法的可行性。MTNet尝试将记忆网络应用于多变量时间序列预测，取得了良好的结果。在最近的研究进展中，PM-MemNet提出了新型图卷积记忆网络用于建模给定交通条件中的时空关联。此外，MegaCRN受记忆网络原则的启发，设计了一种元图学习器，以构建动态图，解决时空异质性问题。虽然记忆网络已经应用于交通预测，但它们仍需要与其他特征提取方法（如GCN）相结合才能有效执行。

与之前的时空预测模型不同，PM-DMNet使用动态记忆网络来提取交通模式特征，实现了更高的性能，同时将复杂度降低到O(N)，显著降低了计算成本。此外，以往的研究忽略了与预测目标对应的时间特征对目标本身的影响。PM-DMNet充分考虑了这一特性，并设计了两种预测方法来利用这些时间特征，从而取得了成功的结果。

III. 预备知识

A. 时间索引函数

表 1：时间索引转换示例

考虑到交通条件是以固定的时间间隔收集的，每组交通条件都具有独特的和系统的时间信息。为了有效利用这些时间特征，我们使用了一个时间索引函数来提取与时间相关的信息。令 d(t) 和 w(t) 分别表示日内索引函数和每周索引函数。这些函数将交通条件的时间信息转换为相应的日内和每周时间相关属性。具体示例请参见表1。

B. 交通预测

交通预测的目标是利用历史交通条件来预测未来的交通状况。

我们将时间 $t$ 时刻道路网络中 $N$ 个节点的交通状况表示为 $X_t\in {\mathbb{R}}^{N\times C}$，其中 $C$ 表示交通状况的维度，意味着有 $C$ 种类型的交通条件。我们通过模型 $f$ 对过去 $n$ 个时间步的历史交通条件 $X=[X_1,X_2,...,X_n]\in {\mathbb{R}}^{n\times N\times C}$ 进行建模，以预测未来 $m$ 个时间步的交通状况 $Y=[Y_{n+1},Y_{n+2},...,Y_{n+m}]\in {\mathbb{R}}^{m\times N\times C}$，其表达式为：

$$[X_1,X_2,...,X_n]\stackrel{f}{\to }[Y_{n+1},Y_{n+2},...,Y_{n+m}]$$

此外，对应的实际值表示为 $\hat{Y}=[{\hat{Y}}_{n+1},{\hat{Y}}_{n+2},...,{\hat{Y}}_{n+m}]\in {\mathbb{R}}^{m\times N\times C}$。

IV. 模型架构

图3展示了PM-DMNet的整体架构，该架构包括时间嵌入生成器（TE Generator）、动态模式匹配门控循环单元（DPMGRU）、以及传输注意力机制（TAM）。在接下来的章节中，我们将详细说明每个模块。

A. 时间嵌入生成器

交通状况受人们的出行习惯和生活方式影响，表现出明显的时间特征，例如早晚高峰。为了充分利用这些时间特征，我们引入了两个独立的嵌入池 $T^D\in {\mathbb{R}}^{N_d\times p}$ 和 $T^W\in {\mathbb{R}}^{N_w\times p}$ 来学习日内和每周模式的特征。这里，$N_d$ 表示一天内的时间槽数量，$N_w=7$ 表示一周的天数。如下图4所示，根据时间信息 $t$，我们得出了日内索引 $d(t)$ 和每周索引 $w(t)$。

利用 $d(t)$ 和 $w(t)$，我们得到了相应时间点的日内时间特征嵌入 $T_{d(t)}^D$ 和每周时间特征嵌入 $T_{w(t)}^W$。最终，这些 $T_{d(t)}^D\in {\mathbb{R}}^p$ 和 $T_{w(t)}^W\in {\mathbb{R}}^p$ 被集成以生成一个组合时间嵌入，可表示为：
$$T_t=T_{d(t)}^D\odot T_{w(t)}^W$$

其中 $\odot$ 表示Hadamard积。

B. 动态记忆网络

记忆模块包含一个可学习的记忆矩阵 $P=[P^1,P^2,...,P^M]\in {\mathbb{R}}^{M\times p}$，其中 $P$ 表示一个独特的交通模式。为了动态调整记忆矩阵，从而避免模式单一化并适应时间 $t$ 时的当前交通状况，我们将当前时间嵌入 $T_t$ 与 $P$ 相结合。这个融合过程可以表示为：

$$P_t=P\odot T_t$$

其中 P t ∈ R M × p P_t \in \mathbb{R}^{M \times p}