【NIPS 2022】时序精选论文07｜Non-stationary Transformers: 引入非平稳性信息的平稳化序列预测模型（代码解读附源码）

最新推荐文章于 2026-08-19 21:00:37 发布
原创 最新推荐文章于 2026-08-19 21:00:37 发布 · 1.4k 阅读 · 0 GEO检测

NeurIPS 2022

Non-stationary transformers: Exploring the stationarity in time series forecasting

Non-stationary Transformers 要解决的问题

非平稳时序很难预测，尤其对模型泛化性影响很大，试想下推理阶段的数据分布变了，模型很难适应这种变化。于是乎，有人就会做序列平稳化，比如很早以前的差分就是一种平稳化操作。序列平稳化能增强数据的可预测性，但这时也会带来一个问题，叫“过度平稳化” (over-stationarization)。

Non-stationary Transformers 解决的方式

  1. - 序列平稳化 (Series Stationarization)：提高数据的可预测性；
  2. - 去平稳注意力机制 (De-stationary Attention)：引
标签
#机器学习 #人工智能 #深度学习 #算法 #python
了解本专栏 订阅专栏 解锁全文 超级会员免费看
SAP Joule for Consultants 与 Joule for Developers 全面解读
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
10-18 474
SAP推出面向不同用户群体的Joule AI助手：开发者版（Joule for Developers）专注于编码提效，嵌入开发工具链辅助生成、重构和测试代码；顾问版（Joule for Consultants）聚焦业务场景，集成SAP云应用知识库，为咨询项目提供方案设计、差距分析和实施指引。两者共享AI底座但功能侧重点不同：开发者版优化技术开发流程，顾问版加速项目交付周期。典型应用场景包括制造业云转型方案制定和ABAP代码迁移，分别展示了两版本在业务决策支持和技术实施中的价值。
基于 MATLAB 的精馏塔模拟仿真
与其临渊羡鱼,不如退而结网
05-15 883
基于 MATLAB 的精馏塔模拟仿真精馏塔是一种重要的化工设备，其中乙烯精馏塔和醋酸乙烯精馏塔是常见的两种精馏塔。本文基于 MATLAB 软件，给出了针对这两种精馏塔的模拟仿真代码。
【文章学习系列之模型】Non-stationary Transformers
博客标题不能为空
05-01 3333
《Non-stationary Transformers:Exploring the Stationarity in Time Series Forecasting》是2022年发表于NeurIPS上的一篇文章。在过去的时序预测研究中，人们常通过数据平稳化减弱原始序列的非平稳性，这一做法与时序预测对突发事件预测的意义相悖，忽略了现实场景下非平稳数据的普遍存在性，最终导致建模和预测过平稳化。为了解决这个问题，该论文提出由序列平稳化和逆平稳化注意力组成的新的网络结构。
API STD 614-2022 LUBRICATION ,Shaft-sealing,and Oil-control
API STD 614-2022 LUBRICATION ,Shaft-sealing,and Oil-control systems and auxiliaries.pdf
Non-stationary Transformers:Rethinking the Stationarity in Time Series Forecasting[论文初读]
To be a better man
07-08 2960
Non-stationary Transformers:Rethinking the Stationarity in Time Series Forecasting[论文初读]
神经网络笔记一：Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
weixin_50810484的博客
11-10 3173
Nonstationary_Transformers论文笔记
论文笔记：Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting
qq_40206371的博客
12-19 1673
从平稳化前的时间序列中学习attention pattern。
FanControl终极指南：免费Windows风扇智能控制软件完整教程
gitblog_00032的博客
05-16 646
想让电脑风扇不再吵闹，同时保持硬件冷静运行？FanControl正是你需要的解决方案！这款免费开源的Windows风扇控制软件，通过精细的温度-转速曲线调节，让电脑散热系统变得智能又安静。无论你是游戏玩家、内容创作者，还是追求静音办公环境的普通用户，FanControl都能提供个性化的风扇控制方案。 ## 🎯 为什么传统风扇控制让你烦恼？ 电脑风扇噪音是许多用户的共同痛点。传统的BIOS风扇
论文Non-stationary Transformers解读
qq_51173747的博客
04-15 875
非平稳时序数据的预测
NeurIPS 2022|非平稳时间序列的Transformer预测框架
hellozhxy的博客
09-07 1340
因此，如何减弱时间序列的非平稳性以获得更好的可预测性，同时缓解模型能力的过度平稳化问题是进一步提高预测性能的关键问题。值得注意的是，Non-stationary Transformer 在以高非平稳性为特征的数据集上的表现优于其他深度模型：在 336 的预测长度下，在 Exchange 上实现了 17% 的 MSE 减少（0.509 → 0.421），在 ILI 上实现了 25%（2.669 → 2.010） 与之前的最先进结果相比，这表明深度模型的潜力仍然受限于非平稳数据。
非平稳变换器（Non-stationary Transformers）使用指南
gitblog_00533的博客
08-10 668
非平稳变换器（Non-stationary Transformers）使用指南 项目介绍 非平稳变换器是基于论文《非平稳变换器：探索时间序列预测中的平稳性》开发的代码库，该论文在NeurIPS 2022上发表。[1] 此项目旨在通过近似从原始序列中学到的可区分注意力来增强主流Transformer模型的能力，在时间序列预测中取得了显著成果，降低了错误率并超越了现有状态-of-the-art技术。 ...
2024年NIPS中6篇时序大模型研究汇总
m0_59164304的博客
11-01 2692
将大型语言模型重新定位为自回归时间序列预测器，把时间序列投射到语言标记的嵌入空间中，自动回归生成任意长度的未来预测。该预测器与任何仅解码器的大型语言模型都兼容，展现出回溯长度的灵活性，而且随着大型语言模型规模的增大，其可扩展性也得以体现。此外，把时间序列构建成提示形式，将预测的上下文拓展到回溯窗口之外，即情境内预测。通过引入嵌入大型语言模型的文本时间戳，AutoTimes 能够利用时间顺序信息来对齐多元时间序列。
突破时间序列非平稳性难题：Nonstationary-Transformer分类任务实战指南
gitblog_00916的博客
02-05 511
时间序列数据普遍存在非平稳性问题，这给预测和分类任务带来了巨大挑战。Nonstationary-Transformer作为Time-Series-Library中的核心模型，专为解决这一难题而设计，能够有效捕捉时间序列中的复杂模式和动态变化。本文将带你全面了解Nonstationary-Transformer的原理与实战应用，掌握处理非平稳时间序列的终极技巧。 ## 时间序列非平稳性挑战与解决方
ICLR 2024 时间序列相关最新论文汇总，涉及transformer、GNN、大模型等热门领域
学姐带你玩AI的博客
01-21 7523
ICLR（International Conference on Learning Representations），国际公认的深度学习顶会之一，与AAAI、CVPR、ACL和NIPS等老牌学术会议齐名，由图灵奖巨头Yoshua Bengio和Yann LeCun牵头举办，在人工智能、统计和数据科学以及计算机视觉、语音识别、文本理解等多个重要应用领域中都发表了众多极其有影响力的论文。本届ICLR 2024会议共收到了7262篇论文，整体接收率约为31%，与去年（31.8%）基本持平。
Adaptive-Normalization-for-Non-stationary-Time-Series-Forecasting:-A Temporal-Slice-Perspective-文献阅读
weixin_48999757的博客
03-31 2425
统计量预测模块独立地模拟统计量的演化趋势，SAN采用了更精确的统计量进行自适应的非正规化。【因此】 非平稳预测任务实际上被简化为统计预测和平稳预测。【此外】 SAN是一个模型无关的框架，可以应用于任意的预测模型。在一个广泛使用的基准数据集上进行了充分的实验。【实验结果表明】SAN优于先进的归一化方法，大幅度地提高了各种主流预测模型的性能。
论文解读16——Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
对流层的酱猪肘~的博客
07-26 2627
在以往的时间序列预测中，对于非平稳序列，都是直接进行平稳化来减弱原始序列的非平稳性，从而更好地进行下一步预测。而这篇针对非平稳时间序列预测提出，直接的平稳化操作会使原始序列失去原始序列的非平稳特性，阻碍深度模型的预测能力，文章中称为“过平稳化”。故该文提出了一个通用框架：Series Stationarization序列平稳化来减弱原始序列的非平稳性、De-stationary Attention去平稳注意力避免过平稳化，使模型能捕捉时间依赖，提高预测性能
Non-stationary Transformers: Rethinking the Stationarity in Time Series Forecasting
小蚂蚁与大象
11-08 568
非平稳Transformer框架持续大幅提升主流Transformer，在Transformer上降低了49.43%的MSE，在Informer上降低了47.34%的MSE，在Reformer上降低了46.89%的MSE，使其成为时间序列预测方面最先进的。在本文中，我们探讨了平稳化在时间序列预测中的作用，并提出非平稳transformer作为一个通用框架，使transformer[32]及其高效变式[17,36,34]具有对真实世界时间序列的强大预测能力。这就是我们所说的过度平稳化的原因。
时间序列预测 深度学习_如何使用深度学习进行时间序列预测
weixin_26729763的博客
10-13 2228
时间序列预测 深度学习介绍(Introduction) For a long time, I heard that the problem of time series could only be approached by statistical methods (AR[1], AM[2], ARMA[3], ARIMA[4]). These techniques are generally u...
人工智能、机器学习和深度学习到底是什么关系？
Michael_Jay的博客
08-18 342
人工智能（AI）、机器学习（ML）和深度学习（DL）是三个层级嵌套的概念：DL⊂ML⊂AI。AI是最广泛的研究领域，关注机器完成智能任务的能力；ML是实现AI的一类方法，通过数据训练模型；DL则是ML的一个分支，使用多层神经网络自动学习特征表示。 具体区别体现在： AI包含规则系统和数据驱动方法，ML专注于从数据中学习规律 传统ML依赖人工特征工程，DL能自动提取多层次特征 DL在图像/语音/文本等非结构化数据上表现突出，但需要更多数据和算力 项目选择应基于任务特性：规则明确用编程，结构化小数据用传统ML（
AI机器学习完整包：核心技术与系统学习方法
2401_84458295的博客
08-16 267
作为一名刚开始接触AI机器学习的开发者，你是否也曾被复杂的算法和概念搞得头昏脑胀？别担心，这篇文章将为你梳理AI的核心概念和技术发展，让你轻松入门。从最初的图灵测试到现代的深度学习，AI经历了三次重大浪潮。第二次浪潮引入机器学习，让机器从数据中学习；第三次浪潮则通过深度学习实现了真正的突破，让机器能够自动提取特征并完成复杂任务。机器学习是AI的核心，主要分为三种范式： 1. 监督学习：需要标注数据，擅长分类和回归任务，如图像识别和房价预测。2. 无监督学习：无需标注，擅长发现数据中的隐藏模式。
深度学习到底是什么？它和机器学习有什么区别？
404 Not Found
08-11 1576
你有没有想过，为什么现在解锁手机只要看一眼、翻译外语拍张照就能出结果、下棋甚至能赢过世界冠军？ 这些事情听起来像科幻，但背后靠的是同一个技术——深度学习。
AI机器学习资源包：学习曲线与核心知识点
最新发布
2401_84458295的博客
08-19 212
AI机器学习的学习曲线看似陡峭，但只要掌握核心概念，入门其实没那么难。今天分享一份学习包，涵盖从基础到进阶的核心知识点。AI的核心目标是让机器表现出智能行为。从最初的图灵测试到现代的深度学习，AI经历了三次重大浪潮。第二次浪潮引入机器学习，让机器从数据中学习；第三次浪潮则通过深度学习实现了真正的突破，让机器能够自动提取特征并完成复杂任务。机器学习是AI的核心，主要分为三种范式： 1. 监督学习：需要标注数据，擅长分类和回归任务，如图像识别和房价预测。2. 无监督学习：无需标注，擅长发现数据中的隐藏模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值