大模型---谈谈LLM（大语言模型）和WM（世界模型）

1 前言

        之前在听李飞飞老师的采访中，李老师提到了一个观点，挺有意思。“LLM和WM是不一样的东西，LLM的基本元素是Token，WM的基本元素是Pixel或者是Voxel。”虽然不是原话，但所表达的意思不变，这就是两者最基本的差异。

        现实中，确实有很多人没有弄清楚这两者的概念，很多自媒体都在说，WM是VLM或者VLA的下一代技术，但他们真的清楚吗？

        而且MIT研究人员Wes Gurnee和Max Tegmark发表的论文（见文末参考文献，有兴趣的朋友可以浏览）称，他们通过分析三个空间数据集（世界、美国、纽约市的地点）和三个时间数据集（历史人物、艺术作品、新闻标题）在Llama-2系列模型中的学习表征，发现了世界模型的证据。

2 LLM & WM

        大型语言模型（LLMs）与世界模型（World Models）是人工智能领域的两个关键概念，二者在目标、机制和应用场景上存在本质区别，希望通过本篇博客的介绍对比，朋友们对两者有一个清晰的认识。