本地部署deepseek+知识库+局域网用户使用(ollama+docker+openWebui+dify摸索时遇到的坑)

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏 ,讲透 AI 如何接管脏活累活

需求:政府部门用户,想让搭建自己的deepseek,尝试学习一些自己的文件,看看效果。

完全小白根据教程进行了摸索,随便记录一下:

1、ollama部署+deepseek加载 :按教程部署很容易,几乎没有踩坑,黑窗口问答比较顺利。注意配置一下环境变量,让ollama可以在浏览器中用http://192.168.2.176:11434 访问

2、寻求界面化的管理:尝试了anything(比较慢)、chatbox(不算本地)、cherrystudio(可以加本地知识库),能连接本地ollama自己用,但是需要安装第三方软件界面化聊天,不符合领导需求。

3、寻求页面端工具,尝试部署了OpenWebUI,就要先部署docker。

(1)安装windows版的docker,各种报错,卸了按按了卸,还为了登录注册账号浪费很久(外网界面无法打开),实际上根本不需要登录。

(2)docker的资源引擎修改成能用的!!(后面按教程安装dify时各种失败,后来发现是因为引擎地址不够合理)中间修改后docker又无法启动,只好又卸载后重装。最后这个版本是能正常下载openwebui和dify的:

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://x9r52uz5.mirror.aliyuncs.com",
    "https://dockerhub.icu",
    "https://docker.chenby.cn",
    "https://docker.1panel.live",
    "https://docker.awsl9527.cn",
    "https://docker.anyhub.us.kg",
    "https://dhub.kubesre.xyz",
    "https://zd35kpil.mirror.aliyuncs.com",
    "https://hub-mirror.c.163.com",
    "https://registry.docker-cn.com",
    "https://docker-proxy.741001.xyz",
    "https://registry.docker-cn.com"
  ]
}

(3)按教程下载了openwebui(在doceker中的终端进行下载,下了一次失败了,又下载,过来恶一个周末来了一看成功了……),也部署成功了。网页也能打开,管理员可以正常看到本地模型列表和对话,但是给同事新增普通用户后,他在他的电脑中不能选择模型也不能对话。

又浪费时间查找是不是ollama不能跨域访问、docker配置之类的问题,后来发现是openwebui-管理员设置-权限组-“用户权限”中,默认的是不勾选 “模型查看”……放开权限,同事就能看到模型列表了。(这里我傻了,后来我在本地用同事账号登上也不能看到模型,就该先想到不是本地不本地的事,而是系统设置的事儿……)

(4)openwebui本地知识库,添加后还要选择“语义解析模型”才有用。

总结:openwebui可以通过浏览器网页直接访问,但是需要注册用户名,对用户可以做权限的管理和设置,指定用户组访问某个模型。

4、部署dify

(1)下载dify包后,一句话安装,中间因为docker资源引擎又浪费半天时间。下载完成后直接成功。

(2)可以自定义应用进行发布,同事通过我的ip使用网页端可以访问,不需要登录。

(3)功能似乎比openwebui丰富,可以自定义和制作各种专用工具,发布也比较简单。中间提示o1模型报错等,模型进行切换设置后就好了。

以上两种方式基本上就满足了领导想直接通过网页,访问本地部署的deepseek的需求,至于知识库都需要在后台进行增加,不过语义解析效果一般(可能模型选的不好)……

按的时候一步一坑,左边通义千问,右边csdn……按完之后,其实还是比较简单,卡点在电脑设置、网络设置、资源库设置。

ps:周末去参加了华为组织的deepseek的交流会(实际上是推销一体机),问了一下一体机上提供哪些服务,说是安装适配deepseek(华为改造过的一个版本),但是不提供RAG相关,又问建议用什么RAG,回答说是dify……

期待有一个更好用的RAG,直接从开发工作量变为运维工作量……

20250313ps:docker用的镜像有时失效,下面这个暂时能用:

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
    "https://docker.m.daocloud.io",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://your_preferred_mirror",
    "https://dockerhub.icu",
    "https://docker.registry.cyou",
    "https://docker-cf.registry.cyou",
    "https://dockercf.jsdelivr.fyi",
    "https://docker.jsdelivr.fyi",
    "https://dockertest.jsdelivr.fyi",
    "https://mirror.aliyuncs.com",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn",
    "https://docker.mirrors.ustc.edu.cn",
    "https://mirror.iscas.ac.cn",
    "https://docker.rainbond.cc"
  ]
}

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏 ,讲透 AI 如何接管脏活累活

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值