Ollama+deepseek+AnythingLLM 本地部署完全指南创建本地知识库

一、Ollama

Ollama 是一个开源工具，专为在本地计算机上高效运行大型语言模型（LLM，如 deepseek-r1、qwen2.5 等）而设计。它简化了模型的下载、部署和管理流程，让用户无需复杂配置即可在本地体验和开发基于大语言模型的应用。

官方网址：https://ollama.com/

1.1、下载Ollama：进入Ollama官网点击Download进入下载页面，选择适用于你的系统（Max、Linux、Windows），点击下载即可


1.2、下载完成后点击安装，傻瓜式安装即可，安装完成后验证是否安装成功，打开CMD输入ollama -v，输出版本号即为安装成功

二、Deep seek

2.1、下载deep seek模型，在Ollama官网中点击Models进入模型选择页面，搜索deepseek可以获取全部版本包括R1和V3版本，下边以R1为例。

根据自己集群和使用选择安装的版本，具体参数要求可以参考下表

复制并下载deepseek模型：ollama run deepseek-r1:1.5b

📚 Ollama终端指令与命令全攻略

🚀 启动Ollama服务：只需输入 ollama serve，即可轻松启动Ollama服务。

📁 从模型文件创建模型：使用 ollama create 命令，从模型文件快速创建新模型。

🔍 显示模型信息：通过 ollama show 命令，查看模型的详细信息。

🏃‍♂️ 运行模型：只需输入 ollama run 模型名称，即可启动并运行所选模型。

📦 从注册表中拉取模型：使用 ollama pull 模型名称，从注册表中拉取所需的模型。

📤 将模型推送到注册表：通过 ollama push 命令，将本地模型推送到注册表。

📋 列出模型：通过 ollama list 命令，查看所有可用模型的列表。

🔄 复制模型：使用 ollama cp 命令，轻松复制模型。

⚠️ 删除模型：通过 ollama rm 模型名称 命令，删除不再需要的模型。

❓ 获取帮助：使用 ollama help 命令，获取有关Ollama的任何命令的详细帮助信息。

三、AnythingLLM

官网地址：https://anythingllm.com/desktop

3.1、下载anythingllm，进入官网选择自己的系统下载。

3.2、安装完成后配置模型

在LLM 首选项中选择Ollama，其余信息自动关联出来，需要确保自己安装的模型已经启动

在向量数据库、嵌入首选项中保持不变即可

四、创建属于自己的知识库并开启对话

4.1、新建工作区并上传文件到知识库中