本地部署小模型

最新推荐文章于 2026-06-23 21:23:37 发布

原创最新推荐文章于 2026-06-23 21:23:37 发布 · 175 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#linux #人工智能

环境配置
VMware Workstation Pro版本：17.6.4 (Windows)
链接：https://download3.vmware.com/software/WKST-1764-WIN/VMware-workstation-full-17.6.4-24832109.exe
镜像版本：Rocky-9.4-x86_64-minimal
链接：https://mirrors.aliyun.com/rockylinux/9.4/isos/x86_64/Rocky-9.4-x86_64-minimal.iso
ollama包版本：ollama-linux-amd64.tar.zst
链接：https://github.com/ollama/ollama/releases

注意：个人电脑有GPU的，建议别开独显直连，PhysX打开自动选择，后续安装系统，系统会自动勾选3D GPU加速，省去很多麻烦

一，部署系统流程
1，部署系统
打开VMware Workstation Pro——文件——新建虚拟机

下一步

下一步

这一步直接选择镜像文件进行安装，后续安装流程安装即可

2.系统安装初始工具

systemctl stop firewalld
systemctl disable firewalld

进入系统后安装vim docker curl wegt等

dnf install -y curl wget vim tar

#添加阿里云 Docker 源
dnf config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#替换阿里源地址
sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
#加载阿里源
dnf makecache
#下载docker
dnf -y install docker-ce docker-ce-cli containerd.io docker-compose-plugin

docker --version查看是否安装成功

二，部署ollama
1，将下载好的ollama-linux-amd64.tar.zst包在win系统里先进行初次解压
解压后得到，如下图文件，再将ollama-linux-amd64.tar拉到Rocky系统里

2，ollama部署

tar -xvf ollama-linux-amd64.tar

解压后得到如下图两个目录

mkdir /usr/local/ollama
mv ./bin /usr/local/ollama/
mv ./lib /usr/local/ollama/

3. 创建全局命令

ln -s /usr/local/ollama/bin/ollama /usr/local/bin/ollama

ollama --version 进行检测是否配置成功

4.配置ollama systemd 服务

vim /etc/systemd/system/ollama.service

将下面配置文件内容复制粘贴在ollama.service里

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/ollama/bin/ollama serve
Environment=PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
Environment=OLLAMA_HOST=0.0.0.0:11434
Environment=OLLAMA_NUM_THREADS=4
WorkingDirectory=/usr/local/ollama/bin
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

保存退出

systemctl daemon-reload 重新加载服务
systemctl start ollama
systemctl status ollama

查看ollama状态
三，部署deekseep

ollama pull deepseek-r1:1.5b
ollama list #查看模型列表
ollama run deepseek-r1:1.5b

出现下面情况即是部署完成

/exit 可以退出终端
四，部署浏览器可访问的WEB UI
1，启动docker

systemctl start docker

2，运行WebUI 界面容器

docker run -d \
  --net=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

下载镜像时间较长，耐心等待

docker ps -a #可以查看容器运行情况
netstat -lntp #查看端口

打开浏览器，输入本机ip:3000 即可访问