01、提示:如果想要私有化部署的,首先要保证自己的电脑或服务器的硬件资源跟得上,具体配置推荐可以参考一下表格
| 模型版本 |
CPU |
内存 |
GPU |
显卡推荐 |
| 1.5B |
4核+ |
8GB+ |
非必需 4GB+ |
RTX1650 RTX2060 |
| 7B、8B |
8核+ |
16GB+ |
8GB+ |
RTX3070 RTX4060 |
| 14B |
12核+ |
32GB+ |
16GB+ |
RTX4090 RTX5080 |
| 32B |
16核+ |
64GB+ |
24GB+ |
A100 40GB |
| 70B |
32核+ |
128GB+ |
多卡 |
2×A100 80GB |
| 671B |
64核+ |
512GB+ |
多卡 |
8×A100/H100 |
声明:以上配置仅供参考
02、安装Ollama
(1)下载Ollama
进入https://ollama.com/,选择Download

目前支持三种系统,macos、Linux、Windows,根据自己的需求来下载,因为我是Windows系统,所以下载的就是Windows,如果你想部署到Lin


6063

被折叠的 条评论
为什么被折叠?



