从远程机器通过 Python 调用本地部署Ollama 大模型服务

原创已于 2026-03-20 22:44:04 修改 · 106 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#python

于 2026-03-20 17:10:02 首次发布

python教程专栏收录该内容

22 篇文章

订阅专栏

本文主要介绍了如何在其他的电脑上调用局域网内部署的 Ollama大模型，本人在ubuntu 系统上部署了 qwen3.5:0.8b ，现用一台windows 电脑进行调用ubuntu电脑上的 qwen3.5:0.8b模型

1.安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

执行这条脚本会完成下面这些事项：

下载最新的 Ollama。
自动创建 /usr/lib/systemd/system/ollama.service。
自动启用并启动服务

在ubuntu 系统上安装ollama后，运行下面命令部署 qwen3.5:0.8b模型

ollama run qwen3.5:0.8b

配置 Ollama 监听所有网络接口

Ollama 默认只监听 127.0.0.1:11434（仅本机可访问），需要改为监听 0.0.0.0。

创建 override 文件

sudo mkdir -p /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/override.conf << 'EOF'
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

确保防火墙放行

# 如果用的是 ufw
sudo ufw allow 11434/tcp

验证

# 2. 查看实际生效的环境变量
systemctl show ollama.service --property=Environment
# 应该输出: Environment=OLLAMA_HOST=0.0.0.0:11434

# 3. 查看监听地址
ss -tlnp | grep 11434
# 应该输出: 0.0.0.0:11434  而不是  127.0.0.1:11434

另一台机器上用 Python 调用：

import requests

OLLAMA_HOST = "http://<服务器IP>:11434"

# --- 非流式调用 ---
def chat(prompt: str) -> str:
    resp = requests.post(
        f"{OLLAMA_HOST}/api/chat",
        json={
            "model": "qwen3.5:0.8b",
            "messages": [{"role": "user", "content": prompt}],
            "stream": False,
        },
    )
    resp.raise_for_status()
    return resp.json()["message"]["content"]

print(chat("用一句话介绍你自己"))