Linux服务器离线安装ollama及大模型

Linux服务器离线安装ollama及大模型

核心思路：使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地，之后传输到Linux服务器上安装并配置

环境说明
联网机：macOS M1Pro
Linux服务器：x86_64
安装ollama版本：v0.6.4 （某些新模型不支持低版本ollama，最好用新一点的）
安装的大模型：llama3.2-vision:11b 官网地址

下载ollama安装包

前往 下载地址，下载对应的Linux版本ollama

下载大模型

在联网机上运行ollama pull llama3.2-vision，将模型下载到本地，默认模型的安装路径为~/.ollama/models，其中blobs文件夹和manifests文件夹内容如下

• ~/.ollama/models/blobs/（模型文件)，文件名形式（如 sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc）
• ~/.ollama/models/manifests/（元数据）

其对应关系为每个模型的元数据（如文件列表）存储在 manifests 文件夹中。例如：

进入 manifests/registry.o