需求:政府部门用户,想让搭建自己的deepseek,尝试学习一些自己的文件,看看效果。
完全小白根据教程进行了摸索,随便记录一下:
1、ollama部署+deepseek加载 :按教程部署很容易,几乎没有踩坑,黑窗口问答比较顺利。注意配置一下环境变量,让ollama可以在浏览器中用http://192.168.2.176:11434 访问
2、寻求界面化的管理:尝试了anything(比较慢)、chatbox(不算本地)、cherrystudio(可以加本地知识库),能连接本地ollama自己用,但是需要安装第三方软件界面化聊天,不符合领导需求。
3、寻求页面端工具,尝试部署了OpenWebUI,就要先部署docker。
(1)安装windows版的docker,各种报错,卸了按按了卸,还为了登录注册账号浪费很久(外网界面无法打开),实际上根本不需要登录。
(2)docker的资源引擎修改成能用的!!(后面按教程安装dify时各种失败,后来发现是因为引擎地址不够合理)中间修改后docker又无法启动,只好又卸载后重装。最后这个版本是能正常下载openwebui和dify的:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://x9r52uz5.mirror.aliyuncs.com",
"https://dockerhub.icu",
"https://docker.chenby.cn",
"https://docker.1panel.live",
"https://docker.awsl9527.cn",
"https://docker.anyhub.us.kg",
"https://dhub.kubesre.xyz",
"https://zd35kpil.mirror.aliyuncs.com",
"https://hub-mirror.c.163.com",
"https://registry.docker-cn.com",
"https://docker-proxy.741001.xyz",
"https://registry.docker-cn.com"
]
}
(3)按教程下载了openwebui(在doceker中的终端进行下载,下了一次失败了,又下载,过来恶一个周末来了一看成功了……),也部署成功了。网页也能打开,管理员可以正常看到本地模型列表和对话,但是给同事新增普通用户后,他在他的电脑中不能选择模型也不能对话。
又浪费时间查找是不是ollama不能跨域访问、docker配置之类的问题,后来发现是openwebui-管理员设置-权限组-“用户权限”中,默认的是不勾选 “模型查看”……放开权限,同事就能看到模型列表了。(这里我傻了,后来我在本地用同事账号登上也不能看到模型,就该先想到不是本地不本地的事,而是系统设置的事儿……)
(4)openwebui本地知识库,添加后还要选择“语义解析模型”才有用。
总结:openwebui可以通过浏览器网页直接访问,但是需要注册用户名,对用户可以做权限的管理和设置,指定用户组访问某个模型。
4、部署dify
(1)下载dify包后,一句话安装,中间因为docker资源引擎又浪费半天时间。下载完成后直接成功。
(2)可以自定义应用进行发布,同事通过我的ip使用网页端可以访问,不需要登录。
(3)功能似乎比openwebui丰富,可以自定义和制作各种专用工具,发布也比较简单。中间提示o1模型报错等,模型进行切换设置后就好了。
以上两种方式基本上就满足了领导想直接通过网页,访问本地部署的deepseek的需求,至于知识库都需要在后台进行增加,不过语义解析效果一般(可能模型选的不好)……
按的时候一步一坑,左边通义千问,右边csdn……按完之后,其实还是比较简单,卡点在电脑设置、网络设置、资源库设置。
ps:周末去参加了华为组织的deepseek的交流会(实际上是推销一体机),问了一下一体机上提供哪些服务,说是安装适配deepseek(华为改造过的一个版本),但是不提供RAG相关,又问建议用什么RAG,回答说是dify……
期待有一个更好用的RAG,直接从开发工作量变为运维工作量……
20250313ps:docker用的镜像有时失效,下面这个暂时能用:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
"https://docker.m.daocloud.io",
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://your_preferred_mirror",
"https://dockerhub.icu",
"https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"
]
}
&spm=1001.2101.3001.5002&articleId=145991686&d=1&t=3&u=86c4ae8b73f54ef89faf48d638b79441)
2450

被折叠的 条评论
为什么被折叠?



