快速使用langchain调用各模型

最新推荐文章于 2026-06-18 14:16:48 发布

原创最新推荐文章于 2026-06-18 14:16:48 发布 · 371 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#人工智能 #python #ollama #langchain #ai

语言大模型(LLM)

维科

我们常见的模型有下面这几种

deepseek、Xiaomi、openAi(chatGPT)、claude等等

langchain+openAI快速入门

langchain安装

因为openAi等外国AI都是需要支付(支付不太行)、地址信息(可以使用工具随机生成)，导致我们受限，所以自己搭建本地LLM可能是最好的


import os
from langchain.agents import create_agent

#去到openid管理后台获取，同时账号还要有钱
API_KEY = "sk-proj-xxxx"
os.environ["OPENAI_API_KEY"] = API_KEY

def get_weather(city: str) -> str:
    """获取指定城市的天气。"""
    return f"{city}总是阳光明媚！"

agent = create_agent(
    model="openai:gpt-4.1",
    tools=[get_weather],
    system_prompt="你是一个乐于助人的助手",
)

# 运行代理
response = agent.invoke(
    {"messages": [{"role": "user", "content": "旧金山的天气怎么样"}]}
)

print(response['structured_response'])

ollama

ollama类似docker的作用，快速使用各种语言模型。
它的常用命令

ollama list 列出模型

ollama ps 显示运行模型(信息、性能)

ollama rm deepseek-r1:8b(模型名) 删除模型

ollama run deepseek-r1:8b(模型名) 运行模型

ollama run deepseek-r1:8b --verbose 运行模型结束之后可查看token信息

它有两种使用方式：控制台命令、桌软

安装好之后，你还要下载模型，模型的话看电脑性能

这种就是下载好的模型

有两种下载模型方法（控制台命令、桌软）
控制台命令方式

这样去下载

ollama run qwen3.6

桌软方式

然后在send a message 随便输入一些信息，回车就会看见下载了

win的ollama默认是使用CPU运行，可以打开任务管理器查看性能和ollama ps命令查看性能

把它改成GPU【不是必须的】。

nvidia-smi

查看显卡情况（任务管理器也可以查看）

1.要安装好NVIDIA显卡（默认都是安装好的），对显卡版本有要求的>452.39

2.要安装CUDA Toolkit，版本要>5.0

这个安装好之后会有nvcc环境变量

nvcc -v
nvcc --version

安装好之后对比版本
之前

更新

3.还要加入系统环境变量

变量名：OLLAMA_GPU_LAYER
变量值：cuda

指定特定的 GPU，可以添加以下环境变量：

变量名：CUDA_VISIBLE_DEVICES
变量值：GPU的UUID

GPU的UUID查看方法继续用命令行输入 nvidia-smi -L

3.在ollama配置文件进行配置
C:\Users\xxxx\.ollama\config.json

"use_gpu": true,
"cuda_device": 0,

4.重启电脑
5.测试结果
之前

现在

测试token数量

ollama run deepseek-r1:8b --verbose

langchain+ollama本地调用

from langchain_openai import ChatOpenAI

# api_key是必填的为空即可

llm = ChatOpenAI(
    name="ollama-ai",
    model="deepseek-r1:8b",
    base_url="http://localhost:11434/v1",
    api_key="your api key",
    temperature=0.7,
    timeout=300,
)

response = llm.invoke("用一句话解释什么是 LangChain")
print(response)