本人也是一个AI小白,不知道如何使用、如何部署,随着DeepSeek的热度持续增长,对DeepSeek也非常感兴趣,想知道如何使用和调用。
通过搜集资料总结了一个初步了解AI和本地部署DeepSeek模型的方式,现在让我们一起学习,一起成长吧。
一、部署前置条件
1、需要安装一个能够运行AI模型的框架程序,这里我们可以使用Ollama,这是一个开源的命令行工具和平台,主要就是可以下载、管理和运行模型。
安装Ollama首先需要去官网进行下载,官网地址: https://ollama.com/

进入官网后点击Download,点击之后会让选择一个下载的系统版本,我下载的是windows版本

选择好自己下载的版本后点击Download for Windows 就会自动下载安装包了

下载完成后双机安装Ollama安装包,需要注意的是,安装Ollama会默认安装在C盘,占用空间大小是5G左右,如果C盘空间不够最好空出足够的空间再去安装,运行模型也会放到C盘里面,但是我们可以通过环境变量,将模型的存放路径换个位置,下面我们详细讲解下。

安装完成后先不要启动,调整下环境变量,将数据模型存放路径换个位置,选中此电脑,鼠标右键属性,拉倒最下面找到高级系统设置,


在系统变量处新建一个OLLAMA_MODELS变量,地址就是你需要存放数据模型的位置。

配置完成后,找到Ollama并启动

启动完成后,即可打开命令行查看是否安装成功,win+r 输入cmd 打开命令提示符,然后输入ollama查看是否安装成功


此时我们可以找到Ollama官网,点击DeepSeek,查询想要部署运行的模型,



不同版本的模型占用的控件以及本地内存和各种资源也是不同的,如果电脑内存和显卡以及磁盘空间不够,就选择比较小的模型进行部署。
输入想要部署的模型版本即可使用,如果本地模型库中不存在,首次会先进行下载,下载好后,再次运行就会直接从本地读取,不会再次去下载。

下载完成后即可进行对话

想要退出会话可以使用按键ctrl + d退出会话,输入ollama list 可以查看本地存在的数据模型有哪些

至此一个简单的本地部署模型就完成了。



被折叠的 条评论
为什么被折叠?



