TiDE模型详解及代码复现

模型背景

TiDE模型的产生源于对现有时间序列预测技术的反思和改进。在深度学习领域快速发展背景下，Transformer虽在自然语言处理中表现卓越，但在时间序列预测方面却面临挑战。研究表明， 简单线性模型在某些情况下甚至优于复杂Transformer模型 。这一发现引发了对传统MLP模型在时间序列预测中潜力的重新审视。

TiDE模型正是在这种背景下应运而生，旨在克服传统线性模型在处理非线性关系方面的局限性，同时保留其计算效率高的优势。通过对MLP结构进行创新，TiDE成功地解决了长期存在的预测窗口与历史窗口非线性关系问题，以及如何有效建模外部变量等关键挑战。

核心思想

TiDE模型的核心思想在于巧妙结合了密集MLP编码器和特征投影步骤，以解决时间序列预测中的关键挑战。这种创新方法不仅提高了模型的表达能力，还显著提升了预测性能。

TiDE模型通过引入 密集MLP编码器 来捕捉复杂的非线性关系。这一设计突破了传统线性模型的限制，使模型能够更准确地理解和模拟时间序列数据中的复杂动态特性。密集MLP编码器的设计灵感来源于卷积神经网络(CNN)中的密集块概念，在每个MLP层之间引入跳跃连接，从而增强了模型的学习能力和参数利用率。

为了进一步提高模型的灵活性和适应性，TiDE引入了 特征投影步骤 。这个步骤允许模型将输入特征映射到更高维度的空间，从而更好地捕捉潜在的复杂关系。特征投影的本质是一种非线性变换，它扩展了模型的表征空间，使得原本难以捕捉的高阶交互效应变得更容易被识别和利用。