DeepSeek本地化部署

0. 本地化部署 DeepSeek 作用：

数据安全隐私：适合对数据保密要求高的场景，将数据留本地，防外泄，满足规定。

性能提升：避免数据传输延迟，适用于实时性要求高的应用，还可按需优化本地计算资源。

业务定制：可针对法律、教育等特殊行业和场景，对模型定制开发，满足独特需求。

网络适应性强：减少网络依赖，在网络不佳或无网络环境中，保证业务正常运行。尤其适合内网环境部署大模型。

1. ollama

Ollama是一个免费开源跨平台的大型语言模型工具，可让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。具有模型管理便捷、支持多种模型、本地运行优势、任务处理多样、易于集成和使用、支持模型微调与自定义等特点。

1.1 下载ollama

登录ollama官网  Ollama，下载Windows版本

1.2 安装ollama

程序默认安装在C盘

安装结束后，在cmd中输入“ollama”回车，显示如下，即为安装成功

如果提示找不到该命令，检查环境变量是否有该配置，如果有就重启电脑，没有就是未安装成功，可重新安装。

2. 下载模型

在ollama官网，点击“Models”-“deepseek-r1”，

2.1 选择合适的模型。

这里的XXb，b为billion，即为十亿，代表模型参数量。数据越大，回答质量越高，同样需要的GPU资源越高（即显卡性能越强）。在下载前可先查看配置要求。

例如，笔记本没有独立显卡，下载1.5b；普通有独立显卡笔记本，7b/8b均能运行；台式机单张RTX3080 8G显卡，可流畅运行14b模型，32b模型很慢。

2.2将对应命令粘贴到cmd中

待下载完成后，显示 “success”后，DeepSeek本地部署成功。

3.安装第三方工具

为实现交互UI界面，类似于APP的效果，需要下载和配置第三方工具cherry studio

3.1 下载安装cherry studio

Cherry Studio 官方网站 - 全能的AI助手 官网下载，可选择默认安装，全部下一步。

3.2 配置

点击左下角“设置”

关闭“硅基流动”,打开“ollama”，在ollama中点击“管理”。

选择合适的ollama模型。

点击“检查”

如果弹出“连接成功”弹窗，即为连接成功。

在“默认模型”里，将默认助手模型改为上一步配置的模型。

这时所有部署完成，可以进行大模型相关操作了。

4.设置开放局域网供其他电脑使用

Windows中，如果不设置ollama，只能本机访问，其他电脑无法访问。不需要将局域网所有电脑都安装大模型服务，只安装Ollama到一台显卡配置高的电脑上，用作服务端，其他电脑只需要安装客户端即可正常访问。这需要相关配置。

4.1服务端设置环境变量

（1）右键点击“此电脑”或“计算机”，选择“属性”；在左侧点击“高级系统设置”；在弹出的窗口中，点击“环境变量”。

（2）在“系统变量”部分，点击“新建”；在“变量名”输入框中输入OLLAMA_HOST；在“变量值”输入框中输入0.0.0.0，然后点击“确定”。

（3）关闭并重新启动Ollama服务，以使环境变量生效。

4.2 服务端开放防火墙端口

Ollama服务默认使用端口11434。为了允许局域网中的其他设备访问该服务，需要在Windows防火墙中开放此端口。

步骤：

（1）打开“控制面板”，搜索并选择“Windows Defender 防火墙”。

（2）在左侧点击“高级设置”，进入高级防火墙设置页面。

（3）在左侧菜单中，点击“入站规则”，然后在右侧点击“新建规则”。

（4）选择“端口”作为规则类型，点击“下一步”。

（5）选择“TCP”，在“特定本地端口”一栏中输入11434，点击“下一步”。

（6）选择“允许连接”，点击“下一步”。

（7）根据需求选择应用的网络类型（域、专用或公用），点击“下一步”。

（8）为这条规则命名（如“Allow Ollama Port 11434”），点击“完成”。

4.3 客户端调用

如在cherry studio中，将API地址改为：http://(部署ollama服务的电脑IP):(端口号) 比如我的客户端改为：http://10.16.17.18:11434

并选择对应模型，即可在同局域网不同电脑中用客户端进行大模型使用。

5.删除模型

如果你发现本地部署完DeepSeek后电脑变得异常卡顿，或者下载的模型参数不适配电脑，这样就需要删除

5.1 查看模型列表

打开cmd命令提示符，输入“ollama list”，查看当前部署的模型列表。

5.2 删除指定模型

根据你要删除的模型版本，输入相应的命令。例如，如果要删除32b版本的DeepSeek，输入“ollama rm deepseek-r1:32b”并按下回车键。

再次输入“ollama list”，查看当前部署的模型列表