最详细的谷歌Colab白嫖·部署Deepseek

原创已于 2025-03-05 10:06:53 修改 · 1.5k 阅读

19 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#人工智能 #Deepseek #colab #ngrok #chatbox

于 2025-03-03 18:01:17 首次发布

人工智能专栏收录该内容

26 篇文章

订阅专栏

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏，讲透 AI 如何接管脏活累活

一键订阅

技术背景

DeepSeek是这段时间最热门的话题之一，其蒸馏模型可以实现低成本而高质量的推理，使得我们现在可以在本地小型化的硬件上也用上大模型这一AI利器。本文主要介绍通过Colab来部署DeepSeek R1模型的方法。使用Ngrok穿透让本地Chatbox可以调用ollama Deepseek api。
在这里插入图片描述

搭建流程

环境设置

代开Google colab 修改 Colab 的 Runtime Type

1.点击 Colab 右上角的「Runtime」。
2.选择「Change runtime type」。
3.在「Hardware accelerator」中选择「GPU」，然后保存。

在这里插入图片描述

安装 Ollama

在终端机中输入以下指令来安装 Ollama：

!curl -fsSL https://ollama.com/install.sh | sh

安装完成后运行ollama

!ollama serve

使用 ollama 指令下载需要的语言模型,模型有很多种，具体可访问官网根据自己需求下载，Ollama的官网地址为：https://ollama.com

!ollama pull deepseek-r1:14b

检查已安装模型

!ollama list

测试

!curl http://localhost:11434/api/generate -d ‘{“model”: “llama3.2:1b”,“prompt”:"Question: Who are you: "}’

想使用colab-xterm安装的执行以下命令安装启用终端，不想的忽略此步骤。

!pip install colab-xterm
%load_ext colabxterm
%xterm

在这里插入图片描述

Colab 中安装 LangChain

!pip install langchain
!pip install langchain-core
!pip install langchain-community

安装 LangChain 后，使用以下代码测试是否能够正常使用 Ollama：

from langchain_community.llms import Ollama

llm = Ollama(model="deepseek-r1:14b")
r = llm.invoke("Tell me a joke")
print(r)

可以看到效果
在这里插入图片描述

启用ngrok让本地代码可以调用ollama deepseek api

安装pyngrok

!pip install -qU pyngrok

允许外部调用

!systemctl stop ollama
%env OLLAMA_HOST=0.0.0.0
%env OLLAMA_ORIGINS=‘*’
!systemctl daemon-reload
!systemctl restart ollama

启动穿透

from google.colab import userdata
from pyngrok import ngrok, conf

# get NGROK_TOKEN from colab secrets
ngrok_token = userdata.get('NGROK_TOKEN')
if not ngrok_token:
    raise ValueError("NGROK_TOKEN secret not found. Please add it to Colab secrets.")

# Set the ngrok auth token using Python
conf.get_default().auth_token = ngrok_token
ngrok.set_auth_token(ngrok_token)

# Expose Ollama server via ngrok on port 11434
public_url = ngrok.connect("http://localhost:11434")
print(f"Ollama server public URL: {public_url.public_url}")