在 2004 年的诺基亚 9500 上运行 7B 大语言模型 使用 Transformers、Flask 和 Streamlit 在 Python 中运行 LLM

有些项目并没有产生任何实际效益，尽管它们可以是为了好玩，而且在做的同时我们也可以学到一些新的、有趣的东西。作为一种爱好，我会定期测试老式硬件，并且还在人工智能和机器学习方面进行了大量测试。有一次，我正在测试诺基亚 9500 智能手机，一位同事开玩笑地问我是否可以在上面运行人工智能工具。好吧，接受了挑战；）在本文中，我将展示如何在没有任何云环境的情况下用 Python 运行大型语言模型，以及如何将其连接到诺基亚 9500。

让我们开始吧。

LLM（大语言模型）

不久前，大型语言模型只能在云端的超级计算机上使用，人们从 OpenAI 等公司购买 API 访问权限。如今，情况要有趣得多。有大量可以免费使用的开源语言模型，并且由于 8 位或 4 位量化，它们的内存占用量减少了 2-4 倍。这些模型甚至可以在 8GB GPU 上运行。

Pytorch库可以在 CPU 或 GPU 上运行代码，但对于使用 LLM，GPU 是唯一的选择。让我们创建一个返回当前设备的 Python 方法：

import torch


def get_device() -> str:
    """ Load default device """
    return "cuda" if torch.cuda.is_available() else "cpu"

在本文中，我将使用HuggingFaceLlama