Ollama+Deepseek+open-webui搭建本地知识库

一,Ollama下载安装 Ollama

现在完毕安装后。在命令提示符里面输入ollama -v

如看到以上提示则证明安装成功。

二,下载安装模型deepseek-r1
还是进入Ollama官网 进入模型 Ollama

选择Deepseek-r1 根据自己的电脑配置选择模型大小

进入命令提示符

版本:1.5b,(需要1.1GB空余空间)ollama run deepseek-r1:1.5b
版本:7b,(需要4.7GB空余空间)ollama run deepseek-r1:7b
版本:8b,(需要4.9GB空余空间)ollama run deepseek-r1:8b
版本:14b,(需要9GB空余空间)ollama run deepseek-r1:14b
版本:32b,(需要20GB空余空间)ollama run deepseek-r1:32b
版本:70b,(需要43GB空余空间)ollama run deepseek-r1:70b
版本:671b,(需要404GB空余空间)ollama run deepseek-r1:671b
如遇到下载失败可新建XXX.ps1文件内如图下(注意上面的代码运行下载不成功才用下面的)
 

while ($true) {
    # 检查模型是否已下载完成
    $modelExists = ollama list | Select-String "deepseek-r1:1.5b"
    if ($modelExists) {
        Write-Host "模型已下载完成!"
        break
    }
 
    # 启动ollama进程并记录
    Write-Host "开始下载模型..."
    $process = Start-Process -FilePath "ollama" -ArgumentList "run", "deepseek-r1:1.5b" -PassThru -NoNewWindow
    
    # 等待60秒
    Start-Sleep -Seconds 60
    
    # 尝试终止进程
    try {
        Stop-Process -Id $process.Id -Force -ErrorAction Stop
        Write-Host "已终止下载"
    }
    catch{
        Write-Host "重试"
	}
}

有2个地方的1.5b根据你的需要修改
然后在终端管理员中运行

PS 如果上面的命令运行失败可先运行一次  set-ExecutionPolicy RemoteSigned

可以根据实际情况下载多个模型,比如1.5b、7b、b8,我的显卡是2080的22G 可以流畅的跑32B

三,安装open-webui
我才用简单粗放的方式,先搭建python环境。安装:python-3.11.7-amd64.exe
安装完毕后直接使用pip install 安装。
 

pip install open-webui

系统会自动安装各种组建,安装完毕后运行

open-webui serve

开启web界面(PS 运行上面代码时会自动下载基础模型需要课学上网,如果不能,需要单独配置,见文末)

出现这个就表示运行环境安装成功。
打开浏览器输入:http://127.0.0.1:8080 按说明创建账号登录进入系统(此过程需1分钟左右)

忘记账号密码可删除 C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\open_webui\data下面目录的内容

进入openwebui

四,上传知识库

点工作空间---知识库

创建知识库

上传附件

这里我准备了一个word文件内容如下:
 

上午9.30打卡上班
中午12点到13.30分休息
下午18点下班
上班睡觉扣200元
迟到扣50元
每周5下午15点提交工作日报

PS:如遇上传不成功(前面提到的课学上网)解决办法如下 
进入管理员面板

进入管理员设置面版--设置--文档---按下图设置

五,新建模型

      上面知识库上传完毕后,返沪工作空间-----模型

输入:模型名称,模型ID,基础模型,选择知识库,保存并创建

创建成功后点击模型开始测试

出入内容测试

连续问题了两个问题

这只是个基础环境的搭建和测试,想要更高级的知识库还需要准备更多的文档和跟高的服务器资源。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值