手把手教你如何使用 llama.cpp 构建 AI 智能体！

llama.cpp 是一个高性能的本地大模型运行框架，它为众多流行的本地 AI 工具提供了底层支持，包括 Ollama、本地聊天机器人以及各种设备端的 LLM 应用。通过直接使用 llama.cpp，你可以最大限度地减少系统开销，获得更精细的控制能力，并针对自身硬件优化运行效率，从而让你的本地 AI 智能体和应用程序更加快速且可定制。

接下来你将学会如何构建一个基于 llama.cpp 的 AI 应用，具体包括搭建 llama.cpp 服务器、与 Langchain 的集成，以及构建能够使用 Web 搜索和 Python REPL 等工具的 ReAct 智能体。

搭建 llama.cpp 服务器

本节介绍如何安装 llama.cpp 及其依赖项，配置 CUDA 支持，构建所需的二进制文件，并启动服务器。

注：本示例环境为 NVIDIA RTX 4090 显卡、Linux 系统，CUDA 工具链已预配置。如没有类似本地硬件，也可通过 https://vast.ai/ 以较低成本租用 GPU 实例。

首先更新系统包列表并安装必要的依赖，包括编译工具、cmake、curl、git、libcurl 等：

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git -y

克隆官方 llama.cpp 仓库并配置构建：

# 克隆 llama.cpp 仓库
git clone https://github.com/ggml-org/llama.cpp

# 启用 CUDA 和 CURL 支持
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF \
    -DGGML_CUDA=ON \
    -DLLAMA_CURL=ON

编译所有工具和服务端程序，并将生成的二进制文件复制到主目录中：

cmake --build llama.cpp/build --config Release -j --clean-first
cp llama.cpp/build/bin/* llama.cpp/

使用 unsloth/gemma-3-4b-it-GGUF 模型启动 llama.cpp 服务器：

./lla