第一篇-ChatGLM-Webui-Windows安装部署-CPU版

原创已于 2025-12-02 10:47:04 修改 · 2.9k 阅读

9 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python #人工智能 #nlp

于 2023-04-20 00:28:11 首次发布

AI-LLM-实战专栏收录该内容

85 篇文章

订阅专栏

该文详细介绍了在Windows10系统上，使用IntelXeonCPU和64GB内存，无GPU环境下，如何安装Anaconda，下载ChatGLM模型，配置环境变量，通过pip安装所需依赖，特别是PyTorch的CPU版本，并最终启动ChatGLM-webui服务进行使用。虽然CPU运行速度较慢，但系统成功运行。

ChatGLM-webui

1.硬件

系统:
	Window10
CPU:
	Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz
 
内存:
	64G,运行试了下，最少要26G内存，不然电脑卡死
显卡：
	无
	（使用CPU版，没使用显卡）

2.安装Anaconda

下载Anaconda
	加速地址：http://mirrors.aliyun.com/anaconda/archive/
	我下载
	Anaconda3-2022.05-Windows-x86_64

配置PATH新增
	F:\Anaconda3
	F:\Anaconda3\Scripts
	F:\Anaconda3\Library\bin

测试
	python -v
	
	Python 3.9.12

3.下载模型

百度网盘
	https://pan.baidu.com/s/1m8XxRhz1byvDPA46R_IfLw?pwd=8888
	或者GitHUB
	https://github.com/THUDM/ChatGLM-6B
	https://hub.nuaa.cf/Akegarasu/ChatGLM-webui

解压
E:\ChatGLM-webui

4.安装配置

依据：README.md安装配置

下载依赖
进入E:\ChatGLM-webui\ChatGLM-webui
1.pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
	也可以手动下载安装
		下载：
			https://download.pytorch.org/whl/cu117/torch-1.13.1+cu117-cp39-cp39-win_amd64.whl
			
		安装(进入文件目录)
			pip install torch-1.13.1+cu117-cp39-cp39-win_amd64.whl

2.pip install --upgrade -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

5.启动

E:\ChatGLM-webui\ChatGLM-webui\0-使用CPU运行.bat
可以选择其他模式启动，我没有显卡，使用CPU模式运行

6.访问

http://127.0.0.1:17860/
可以使用了
CPU比较慢，有的问题要60%CPU1，2分钟

系列文章

第一篇-ChatGLM-webui-Windows安装部署-CPU版
 第二篇-二手工作站配置
 第三篇-Tesla P40+CentOS-7+CUDA 11.7 部署实践
 第四篇-Miniconda3-CentOS7-安装
 第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
 第六篇-ChatGLM2-6B-CentOS安装部署-GPU版