【LLM】通义千问Qwen2-7b-instruct部署

前言

https://www.modelscope.cn/models/qwen/Qwen2-7B-Instruct
其实完全可以按照这个介绍来装，不过容易遇到一些问题，新学习，也是记录一下

环境

python 3.10

1. 在自己电脑上用conda创建一个新环境
2. 找租用的服务器租一台，3090一小时也就一两块钱

我个人是租的服务器来运行的

具体步骤

安装依赖

pip install transformers==4.37.0 accelerate tiktoken einops scipy transformers_stream_generator==0.0.4 peft deepspeed

pip install modelscope

假如说，依赖的包找不到，可以从网上找到zip或者tar，通过绝对地址来进行安装

pip install 包的绝对路径

模型下载

我没有预先下载模型，完全通过代码自动下载的，快慢主要受限于网速，我在服务器上下载模型很快，十分钟左右就下好了。

from modelscope import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen2-7B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)

生成tokenizer

tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen2-7B-Instruct")