Ollama&llama

原创已于 2024-05-01 12:04:40 修改 · 1.5k 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#llama

收录于

于 2024-05-01 11:43:02 首次发布

Olllama

直接下载ollama程序，安装后可在cmd里直接运行大模型；

llama 3

meta 开源的最新llama大模型；

下载运行

1 ollama

ollama run llama3

2 github

下载仓库，需要linux环境，windows可使用wsl；

接受许可协议。获取下载链接
仓库运行download.sh

3.quickstart

3 huggingface

meta
接受协议，访问模型文件，（不知道是不是affiliation填none被拒绝了）
在这里插入图片描述

补充

1.windows访问wsl文件

\\wsl$

查看文件
在这里插入图片描述
2. wsl访问windows
lwsl文件系统mnt已挂载windows盘符，不过需要在linux 里（terminal）访问，使用cp复制等。

3. 使用ip网络传输文件

#wsl terminal
#查看IP地址
ip addr 
# 复制windows文件至wsl
scp [-r]  file/dir hostname@ip_addr:/home/ 

# windows terminal
scp [-r] hostname@ip_addr:/home/ D:\rev

wsl nvidia cuda
似乎默认能直接访问gpu，但cuda还需安装nvidia-cuda-toolkit

5.模型后缀

Instruct is fine-tuned for chat/dialogue use cases.
Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.
Example: ollama run llama3:text / ollama run llama3:70b-text