Large Language Models Are Zero-Shot Time Series Forecasters

但时间序列中的 是数值型数据。因此，Touvron 等人设计了LLaMA标记器，将数字映射到各个数字上，这可以在数学能力方面带来显著的提升，即使是小型LLaMA模型也能超过GPT-4的表现。：与其他利用LLM骨干结构的方法不同，作者的方法完全是零样本（zero-shot）的，不需要微调。同样，Zhang等人介绍了Meta-Transformer，这是一个用于微调语言模型以适应非文本模态的框架，包括时间序列。：作者还开发了利用大型语言模型的概率本质及其捕获高度随机时间序列不确定性的能力，这超越了之前的工作。

对于预测任务：通过将时间序列编码为一系列数字，可以将时间序列预测任务转化为文本里面的next-token预测任务。在大规模预训练语言模型的基础上，文章提出了一些方法用于有效，并（分布转换部分涉及到诸多统计学知识）。在数值补全任务中，文章展示了语言模型（LLMs）如何通过非数值文本自然处理缺失数据，无需插补，如何适应文本侧面信息，并回答问题以帮助解释预测。

通过将每个数字视为一个具有 B 个可能类别的分类问题，可以将模型的输出概率分布视为一种层次 softmax 分布，其中每个数字的概率分布是由前面的数字决定的。为了将离散的概率分布转化为连续的概率密度分布，可以将输出的每个数字分配到一个离散的 bin 中，然后在每个 bin 上放置一个均匀分布，最终得到一个混合的、连续的概率密度分布。通过这种方式，即使使用离散的数字表示，也可以实现高效、精确和灵活的连续概率密度建模。将时间序列编码为一串数字，可以将时间序列预测转换为文本的下一个token预测。

完全是零样本（zero-shot）的，不需要微调。

本文总结了NeurIPS 23 时间序列（不含时空数据，已经另外总结）的相关论文。包括时间序列预测，分类，异常检测，因果发现，交通，医疗等领域时间序列应用和大模型在时间序列问题建模的探索等方向。

该研究提出了一种名为LLMTIME的零样本时间序列预测方法，核心是将时间序列数据编码为数字字符串，把预测任务转化为大语言模型（LLM）的下一个token预测任务。研究发现，GPT-3、LLaMA-2等LLM在无需针对目标数据集微调的情况下，其时间序列外推性能可媲美甚至超越专门的时间序列模型（如ARIMA、TCN等）。

时间序列预测（TSF）在现实世界中有着广泛的应用。提示脱离搁置的大型语言模型（LLM）展示了强大的零样本TSF功能，同时保持了计算效率。然而，现有的提示方法将TSF过于简化为语言下一个表征预测，忽略了其动态性质，并且缺乏与最先进的提示策略（如思想链）的集成。因此，我们提出了LSTPrompt，这是一种在零样本TSF任务中提示LLM的新方法。LSTPrompt将TSF分解为短期和长期预测子任务，并为每个任务定制提示。LSTPrompt指导LLM定期重新评估预测机制，以增强适应性。

概要：提出一种名为 LLMTIME 的方法，利用LLMs进行时序预测。它将时间序列数据编码为数字字符串，将预测问题转化为文本中的下一个词预测任务。它 在多个基准数据集上取得了与专业时序模型相当甚至更好的性能，且是零样本学习，无需微调。标记、重缩放 连续概率密度建模。

主要工作本文的工作不同于利用LLM骨干的方法，是。提出了有效的时间序列数据标记化方法，并将离散分布转换为连续值的灵活密度。方法。

zero-shot部分的baseline，其中PTM表示pre-train model，也就是至少经过fine-tune的模型，开销比直接prompt是要高的。这个TimePrompt可以把预测结果的趋势“抬起来”，应该是因为“深呼吸”的缘故？大部分大模型都是在2022之前的数据上训练的，所以这些数据可能大模型看到过。主要是k，多少步“深呼吸”一次。\TD 表示去掉时间序列分解。

LLMTime是一个革命性的零样本时间序列预测工具，它利用大型语言模型（LLMs）的强大能力，无需在目标数据集上进行训练即可实现精准预测。🚀 本文将带你从零开始，掌握LLMTime的完整使用流程，让你轻松应对各种时间序列预测挑战！ ## 📋 什么是LLMTime？ LLMTime的核心思想是将数值型时间序列数据编码为文本格式，然后利用大型语言模型的文本生成能力来预测未来值。这种方法完全不需

LLMTime是一个革命性的开源项目，它利用大语言模型（LLM）的强大能力实现零样本时间序列预测。这个创新的方法完全不需要在目标数据集上进行训练，就能在各种时间序列预测任务中超越许多传统方法！🚀 ## 🔍 什么是LLMTime？ **LLMTime** 的核心思想非常简单却极其巧妙：将时间序列数据编码为文本格式，然后利用大语言模型的文本补全能力来预测未来的数值。这种方法完全跳过了传统机器学

🚀 **LLMTime** 是一个革命性的开源项目，它展示了如何利用大语言模型（LLM）进行零样本时间序列预测。这项由NeurIPS 2023发表的研究提出了一个简单而强大的方法：将时间序列数据编码为文本格式，然后让大语言模型像完成句子一样预测未来的数值序列。这种方法无需针对特定数据集进行训练，就能在许多时间序列预测任务上超越传统方法，为时间序列分析领域带来了全新的可能性。 ## 📊 LLM

本文介绍了一种新的时序预测方法，

省流：好文，一篇蓝海！！

来源：清熙一．大模型的推理能力现在的大模型是茶壶里煮饺子，从预训练中学习了很多，但简单粗暴的采样推理的方式却限制了它的能力输出。正如在降低大模型幻觉的必由之路一文中笔者建议的：大模型技术还在日新月异的发展，即使大模型永远不会停止幻觉， 在未来，专业系统会验证LLM输出，针对特定环境优化的人工智能工具将部分取代今天的通用模型。其中最重要的改进方向就是，通过引导大模型学习人类特定的先验，更好地理解“范...

在任何使用结构化知识图谱（KG）数据作为其底层知识表示的系统中，KG到文本生成都是一种有用的工具，可以将图数据的一部分转化为人类可以理解的文本。最近的工作表明，即使在特定的图到文本任务上的训练数据相对较少，利用对大量文本数据进行预训练的模型也可以在KG到文本任务中表现良好。在本文中，我们在这个概念的基础上，使用大型语言模型来执行零样本生成，只基于模型从它所能读取的内容对三重结构的理解。我们表明，ChatGPT在WebNLG 2020挑战的某些指标上实现了接近最先进的性能，但在其他指标上落后了。

时间序列预测在金融、交通、能源、医疗等不同行业中发挥着关键作用。虽然现有文献设计了许多基于 RNN、GNN 或 Transformer 的复杂架构，但提出了另一种基于多层感知器（MLP）的方法，其结构简单、复杂度低且性能优越。然而，大多数基于MLP的预测方法都存在逐点映射和信息瓶颈，这在很大程度上阻碍了预测性能。为了克服这个问题，本文探索了在频域中应用 MLP 进行时间序列预测的新方向。