Ollama

官方网址：https://ollama.com/ ，是目前本地部署大模型最便携的解决方案，配合OpenWebUi可以实现本地对话需求，支持FP16或FP32的模型量化，支持API服务

安装成功后，在本地浏览器输入网址 http://127.0.0.1:11434/，如果出现 Ollama is running 证明服务运行成功，也可通过命令查看

# 查看版本号
ollama --version
# 查看已下载模型 list
ollama ls
# 查看正在运行的模型
ollama ps
# 运行某个模型
ollama run gemma:7b
# 删除某个模型
ollama rm gemma:7b

不同操作系统模型存放的位置不同

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\xxx\.ollama\models