在 Raspberry Pi 上运行语音识别和 LLaMA-2 GPT Whisper ASR 和 LLaMA-2 GPT 模型的完全离线使用

最新推荐文章于 2026-08-17 11:45:06 发布

原创最新推荐文章于 2026-08-17 11:45:06 发布 · 875 阅读

0 GEO检测

NVIDIA GPU和大语言模型开发教程专栏收录该内容

1692 篇文章 ¥89.90 ¥99.00

订阅专栏

本文展示了如何在 Raspberry Pi 上完全离线运行 LLaMA GPT 模型和自动语音识别 (ASR)，允许设备在无互联网连接的情况下提出问题并获取答案。内容包括硬件选择、代码实现、模型测试，以及在 Raspberry Pi 上运行大语言模型和 ASR 的过程。

如今，没有人会对在云中运行深度学习模型感到惊讶。但在边缘或消费设备领域，情况可能要复杂得多。这有几个原因。首先，云API的使用要求设备始终在线。对于网络服务来说这不是问题，但对于需要在没有互联网接入的情况下运行的设备来说可能会成为一个问题。其次，云 API 需要花钱，客户可能不愿意再支付订阅费。最后但并非最不重要的一点是，几年后，该项目可能会完成，API 端点将被关闭，昂贵的硬件将变成一块砖头。这对于客户、生态系统和环境自然是不友好的。这就是为什么我坚信最终用户硬件应该能够完全离线运行，无需额外成本或使用在线 API（嗯，它可以是可选的，但不是强制性的）。

在本文中，我将展示如何在 Raspberry Pi 上运行 LLaMA GPT 模型和自动语音识别 (ASR)。这将使我们能够向 Raspberry Pi 提出问题并获得答案。正如所承诺的，所有这一切都将完全离线进行。

让我们开始吧！

本文中提供的代码旨在在 Raspberry Pi 上运行。但大多数方法（“显示”部分除外）也适用于 Windows、OSX 或 Linux 笔记本电脑。因此，那些没有 Raspberry Pi 的读者可以轻松测试代码，没有任何问题。