昇腾平台LLM pytorch推理环境搭建

【昇腾】LLM pytorch推理环境搭建

1.基础环境准备

资源下载地址：https://www.hiascend.com/developer/download
需要下载：
驱动
固件
cann
pytorch
pytorch_npu

python和pytorch的对应关系

检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。

1.1 驱动安装

sh Ascend-hdk-910b-npu-driver_23.0.rc3_linux-aarch64.run --full --install-for-all
sh Ascend-hdk-910b-npu-firmware_6.4.0.4.220.run

通过执行npu-smi info命令查看

1.2 cann安装

sh Ascend-cann-nnrt_7.0.RC1_linux-aarch64.run

安装成功确认
cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend-toolkit_install.info

2. 安装pytorch

2.1 安装pytorch

aarch64:

pip install torch==2.1.0

2.2 安装依赖

pip3 install pyyaml
pip3 install setuptools

2.3 安装pytorch-npu

pip3 install torch-npu==2.1.0rc1

3.验证

3.1 设置环境变量

# Default path, change it if needed.
source /usr/local/Ascend/ascend-toolkit/set_env.sh

查看状态

python3 -c "import torch;import torch_npu;print(torch_npu.npu.is_available())"
#如果为false，则需要进行迁移

#自动映射cuda API到npu的代码
from torch_npu.contrib import transfer_to_npu
print(torch_npu.npu.is_available())
print(torch_npu.cuda.is_available())

#True
#True

3.2 代码验证

import torch
import torch_npu

x