使用丹摩DAMODEL平台进行ChatGLM-6B-部署与使用

实例创建

1.先进入官网https://doc.damodel.com
进行注册，新用户可以免费送代金券，实名注册后一共可以得到50块钱，现在4090还搞活动，1.5左右一个钟。

2.创建后进入DAMODEL控制台创建实例：
如下：

这里创建实例，还需要创建密钥对，这个很简单，直接创建并保存在本地主机即可，然后再选这个密钥对就好。
如下：

接着就等待一小会就可以看到新建好的实例了。

ChatGLM-6B-部署

官方教程

官方教程其实也十分详细，下面贴出链接：
https://doc.damodel.com/profile/best_practice/ChatGLM-6B/cglm6b.html

个人教程与实际操作

下载ChatGLM-6B代码

1. 在命令行里直接git：
   git clone https://gitcode.com/applib/ChatGLM-6B.git

2. cd 进入ChatGLM-6B

3. pip install -r requirements.txt 装这个demo所需要的一些配置
   如下图：
   

下载ChatGLM-6B模型

这里是我和官方教程不一样的地方，我选了魔塔社区的下载教程，并且全部下载了模型和一些文件。
官方教程是先下载到本地，然后再上传到服务器。
我是直接下载到云服务器。

我这里是先:

1. pip install modelscope
2. 新建一个python文件，代码如下：
   #模型下载
   from modelscope import snapshot_download
   model_dir = snapshot_download(‘ZhipuAI/chatglm3-6b’)
3. 查看模型文件路径
   /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b
   如下图所示：
   

调用ChatGLM-6B模型

1. 首先修改cli_demo.py中的模型路径
   cli_demo.py中有俩行代码如下：
   tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True)
   model = AutoModel.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True).half().cuda()

需要修改为：
tokenizer = AutoTokenizer.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True)
model = AutoModel.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True).half().cuda()

2. 在终端直接调用pythoncli_demo.py

如下图：