【论文解读】ICLR2023 TimesNet: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS

最新推荐文章于 2026-05-20 20:55:59 发布

原创

最新推荐文章于 2026-05-20 20:55:59 发布 · 5.9k 阅读

标签

#python #人工智能 #深度学习 #时序预测

本文提出TimesNet模型，将时间序列从1维扩展到2维，便于用卷积核提取特征。TimesBlock可自适应发现多周期性并提取复杂时间变化。在五个主流时间序列分析任务中取得SOTA结果。文中给出模型框架、实例，还进行了模型训练和预测，最后提出未来探索大规模预训练方法等工作。

一、摘要

之前的方法都是尝试直接用1维时间序列进行预测序列、分类等任务。本文提出timesNet，基于多周期将时间序列从1维空间扩展到2维空间，这种变换可以将周期内和周期间的变化分别嵌入到2D张量的列和行中，2D张量易于用kernel进行特征提取。

文中提出了将TimesBlock作为时间序列分析的任务通用主干的TimesNet。TimesBlock可以自适应地发现多周期性，并通过参数有效的起始块从变换后的2D张量中提取复杂的时间变化。

并在五个主流任务（包括短期和长期预测、插补、分类、异常检测）中取得sota的结果

二、简介

时序数据分析：

实时序列通常具有多个周期性，如天气观测的日变化和年变化，电力消耗的周变化和季度变化
每个时间点的变化不仅受其相邻区域的时间模式（周期内变化）的影响，而且与相邻周期的变化（周期间变化）高度相关。
对于没有明确周期性的时间序列，其变化将以周期内变化为主，相当于具有无限周期长度的时间序列。（这类数据理论上很难进行长期预测）

贡献：

受多周期性和周期内及周期间复杂相互作用的启发，我们找到了一种时间变化建模的模块化方法。
- 笔者思考：没有考虑到特定的人为因素的影响。
提出了具有TimesBlock的TimesNet来发现多个周期，并通过inceptionV1模块从转换的的2D张量中提取时间2D变化特征。
在五个主流时间序列分析任务中实现一致的SOTA。包括详细而深刻的可视化

三、TimesNet模型框架

3.1 时序从1D转变成2D

在这里插入图片描述
每个时间点都涉及两种类型的时间变化，即期内变化和期间变化。
首先基于傅里叶分析找到序列的多个周期
$\bf{A} = Avg(Amp(FFT(X_{1D}))), \{f_1, f_2, ..., f_k\}=\underset{f_* \in \{1, ..., \lceil \frac{T}{2}\rceil\}}{arg\ Topk} (A), p_i = \lceil \frac{T}{f_i}\rceil, i \in \{1, .., k\} \ \ (1)$
可以简写成
$A, \{f_1, ..., f_k\}, \{p_1, ..., p_k\}=Period(X_{1D}) \ \ \ (2)$

$f_i$ : 频率
$p_i = \lceil \frac{T}{f_i}\rceil$ : 一个周期长度

将 1D 时序 $X_{1D} \in \mathcal{R}^{T \times C}$ 转换成 2D 张量：
$X^{i}_{2D} = Reshape_{p_i, f_i}(Padding(X_{1D})), i \in \{1, ..., k\}$

$Padding(\cdot)$ 是将时间序列沿时间维度扩展0以使其兼容 $Reshape_{p_i, f_i}(\cdot)$
- row: $p_i$
- column: $f_i$
$X^{i}_{2D} \in \mathcal{R}^{T\times C}$ ：基于周期- $f_i$ 装换的第i个时序张量
获取一些列 2D 张量 $\{ X^{1}_{2D}, ..., X^{k}_{2D} \}$

code:

def FFT_for_Period(x, k=2):
    # [B, T, c]
    xf = torch.fft.rfft(x, dim=1)
    # find period by amplitudes
    freq_list = abs(xf).mean(0).mean(-1)
    freq_list[0] = 0
    _, top_list = torch.topk(freq_list, k)
    top_list = top_list.detach().cpu().numpy()
    period = x.shape[1