华为昇腾NPU驱动问题排查与vLLM部署踩坑记录

原创 已于 2025-10-21 11:24:28 修改 · 2.4k 阅读 · 25 GEO检测
于 2025-10-20 11:25:10 首次发布

本文记录了华为NPU服务器驱动失效问题的完整排查与解决过程。服务器重启后npu-smi info命令失效，经诊断发现是内核自动升级导致当前运行的5.15.0-153版本缺少Ascend驱动模块。通过对比/lib/modules目录下各内核版本的驱动文件，确认5.15.0-144-generic版本包含完整的24个驱动模块。随后修改GRUB配置回退至该内核版本，并通过锁定内核包和禁用自动升级机制防止问题再次发生。在尝试部署vLLM框架时，遇到了NumPy版本冲突、缺少依赖模块、C++编译环境配置、CANN OPP包缺失等一系列问题，最终发现310P3显卡因硬件过旧无法支持vLLM。切换到Atlas 900服务器后，又发现CANN版本23.0.0不满足24.1以上的要求，需要升级HDK驱动和固件。整个过程涉及Linux内核管理、驱动版本兼容性、Python依赖解决和华为昇腾生态系统配置等多个技术层面，为类似环境下的问题排查提供了详实的参考案例。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

问题背景

在使用华为NPU服务器的过程中，原本可以正常运行的npu-smi info命令在服务器重启后突然失效。通过查询相关资料，在Atlas 500 Pro 服务器重启后npu-smi info报错的解决方案这篇博客中找到了问题根源——内核自动升级导致驱动失效。

在这里插入图片描述

驱动状态诊断

当前内核版本确认

首先需要确认系统当前运行的内核版本以及已安装的所有内核版本。使用以下命令进行查询：

uname -r
dpkg --list | grep linux-image

在这里插入图片描述

查询结果显示：

  • 当前运行内核: 5.15.0-153-generic
  • 已安装的内核: 系统中有多个内核版本，其中标记为 ii 的是已安装状态：
    • 5.15.0-153-generic (当前运行)
    • 5.15.0-157-generic (已安装但未使用)
    • 标记为 rc 的是已删除但配置文件还在的内核

驱动安装历史追溯

由于无法回忆起最初安装驱动时使用的内核版本，需要通过查询历史记录来确定应该使用的内核版本。

首先查看Ascend驱动的安装目录：

ls -la /usr/local/Ascend/
total 56
drwxr-xr-x  6 root root 4096 Sep 24 08:22 .
drwxr-xr-x 16 root root 4096 Sep 24 08:21 ..
drwxr-xr-x  2 root root 4096 Feb 14  2025 add-ons
drwxr-xr-x  3 root root 4096 Sep 24 08:21 develop
drwxr-xr-x  9 root root 4096 Sep 24 08:22 driver
dr-xr-x---  5 root root 4096 Sep 24 08:22 firmware
-r-xr-x---  1 root root 3794 Sep 24 08:21 host_servers_remove.sh
-r-xr-x---  1 root root 6129 Sep 24 08:21 host_servers_setup.sh
-r-xr-x---  1 root root   89 Sep 24 08:21 host_services_exit.sh
-r-xr-x---  1 root root   89 Sep 24 08:21 host_services_setup.sh
-r-xr-x---  1 root root 7523 Sep 24 08:21 host_sys_init.sh
-r--r--r--  1 root root   17 Sep 24 08:21 version.info

在这里插入图片描述

接着查看内核模块目录：

ls -la /lib/modules/
total 80
drwxr-xr-x 20 root root 4096 Oct  3 06:50 .
drwxr-xr-x 91 root root 4096 Sep 24 08:21 ..
drwxr-xr-x  3 root root 4096 Jul 19 06:28 5.15.0-119-generic
drwxr-xr-x  2 root root 4096 Feb 26  2025 5.15.0-131-generic
drwxr-xr-x  2 root root 4096 Mar  6  2025 5.15.0-133-generic
drwxr-xr-x  2 root root 4096 Mar 27  2025 5.15.0-134-generic
drwxr-xr-x  2 root root 4096 Apr  1  2025 5.15.0-135-generic
drwxr-xr-x  2 root root 4096 Apr 23 06:04 5.15.0-136-generic
drwxr-xr-x  2 root root 4096 May  7 06:21 5.15.0-138-generic
drwxr-xr-x  2 root root 4096 May 17 06:24 5.15.0-139-generic
drwxr-xr-x  2 root root 4096 Jun  5 06:22 5.15.0-140-generic
drwxr-xr-x  2 root root 4096 Jun 21 06:48 5.15.0-141-generic
drwxr-xr-x  2 root root 4096 Jul  2 06:24 5.15.0-142-generic
drwxr-xr-x  3 root root 4096 Jul 31 06:02 5.15.0-143-generic
drwxr-xr-x  3 root root 4096 Aug 19 06:46 5.15.0-144-generic
drwxr-xr-x  2 root root 4096 Sep 25 06:22 5.15.0-151-generic
drwxr-xr-x  2 root root 4096 Aug 30 06:05 5.15.0-152-generic
drwxr-xr-x  6 root root 4096 Sep 24 08:21 5.15.0-153-generic
drwxr-xr-x  2 root root 4096 Oct  3 06:53 5.15.0-156-generic
drwxr-xr-x  6 root root 4096 Oct  3 06:51 5.15.0-157-generic

在这里插入图片描述

观察这些目录，会发现有些目录大小是2，有些是3。进一步查看具体内容会发现，大小较小的目录缺少updates子目录。

在这里插入图片描述

驱动模块定位

从目录创建日期来看，有完整目录结构的内核版本包括：

  • 5.15.0-119-generic (Jul 19 06:28) - 有完整的目录结构
  • 5.15.0-143-generic (Jul 31 06:02) - 有完整的目录结构
  • 5.15.0-144-generic (Aug 19 06:46) - 有完整的目录结构
  • 5.15.0-153-generic (Sep 24 08:21) - 有完整的目录结构，且时间与驱动安装时间一致
  • 5.15.0-157-generic (Oct 3 06:51) - 有完整的目录结构

为了进一步确认，执行以下命令直接搜索驱动相关的.ko文件：

find /lib/modules/ -name "*.ko" | grep -E "drv|ascend|npu|davinci"
/lib/modules/5.15.0-144-generic/updates/drv_devdrv_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_pcie_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_pcie_hdc_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_davinci_intf_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_dms_smf.ko
/lib/modules/5.15.0-144-generic/updates/drv_seclib_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_xsmem.ko
/lib/modules/5.15.0-144-generic/updates/ascend_urd.ko
/lib/modules/5.15.0-144-generic/updates/drv_vascend_stub.ko
/lib/modules/5.15.0-144-generic/updates/ascend_logdrv.ko
/lib/modules/5.15.0-144-generic/updates/drv_vpc_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_virtmng_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_devmng_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_event_sched_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_devmm_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_vascend.ko
/lib/modules/5.15.0-144-generic/updates/drv_dp_proc_mng_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_dms_dtm.ko
/lib/modules/5.15.0-144-generic/updates/drv_tsdrv_platform_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_uda.ko
/lib/modules/5.15.0-144-generic/updates/ascend_queue.ko
/lib/modules/5.15.0-144-generic/updates/drv_soft_fault.ko
/lib/modules/5.15.0-144-generic/updates/drv_pcie_vnic_host.ko
/lib/modules/5.15.0-144-generic/updates/ascend_soc_resmng.ko
/lib/modules/5.15.0-153-generic/kernel/sound/soc/ti/snd-soc-davinci-mcasp.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/media/radio/wl128x/fm_drv.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/media/usb/s2255/s2255drv.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/misc/ti-st/st_drv.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/net/ethernet/hisilicon/hns/hns_enet_drv.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/net/hamradio/hdlcdrv.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/virtio/virtio_input.ko
/lib/modules/5.15.0-153-generic/kernel/drivers/input/gameport/gameport.ko
...（省略大量通用驱动）
find: '/lib/modules/5.15.0-153-generic/updates': Permission denied

驱动模块分析

从搜索结果可以看到关键信息：

5.15.0-144 - 有完整的Ascend驱动模块

/lib/modules/5.15.0-144-generic/updates/drv_devdrv_host.ko
/lib/modules/5.15.0-144-generic/updates/drv_pcie_host.ko
...（24个Ascend相关的.ko文件）

5.15.0-153 - 没有Ascend驱动模块

/lib/modules/5.15.0-153-generic/kernel/drivers/input/misc/drv2665.ko  # 这是通用驱动，不是Ascend的
/lib/modules/5.15.0-153-generic/kernel/drivers/input/misc/drv260x.ko  # 这也是通用驱动
find: '/lib/modules/5.15.0-153-generic/updates': Permission denied  # 关键：updates目录访问被拒绝

5.15.0-157 - 有完整的Ascend驱动模块

/lib/modules/5.15.0-157-generic/updates/dkms/drv_devdrv_host.ko
/lib/modules/5.15.0-157-generic/updates/dkms/drv_pcie_host.ko
...（24个Ascend相关的.ko文件）

驱动模块特征识别

Ascend NPU驱动具有明显的命名模式：

  • drv_devdrv_host.ko - 设备驱动主模块
  • drv_pcie_host.ko - PCIe主机接口
  • drv_davinci_intf_host.ko - DaVinci接口（华为NPU架构名称）
  • ascend_*.ko - Ascend相关模块
  • drv_devmm_host.ko - 设备内存管理

驱动模块的位置规律：

  • 有驱动的内核：模块在 /lib/modules/X.X.X-XXX/updates/ 目录下
  • 5.15.0-153：find 命令显示 Permission denied，说明updates目录可能不存在或为空

内核版本驱动状态汇总

通过以上分析，驱动模块存在于以下内核版本：

  • 5.15.0-119-generic - 有驱动模块
  • 5.15.0-143-generic - 有驱动模块
  • 5.15.0-144-generic - 有驱动模块
  • 5.15.0-153-generic - 没有驱动模块（权限被拒绝，但很可能是空的）
  • 5.15.0-157-generic - 有驱动模块（在 updates/dkms/ 下）

问题根源：当前运行的是 5.15.0-153，但这个内核版本下没有编译驱动模块！

详细版本对照表

内核版本目录创建时间dpkg状态目录结构完整性Ascend驱动模块驱动位置模块数量备注
5.15.0-119-generic2024-07-19 06:28rc (已删除)✅ 完整✅ 有/updates/24个最早的有驱动版本
5.15.0-131-generic2025-02-26rc (已删除)❌ 简化❌ 无-0-
5.15.0-133-generic2025-03-06rc (已删除)❌ 简化❌ 无-0-
5.15.0-134-generic2025-03-27rc (已删除)❌ 简化❌ 无-0-
5.15.0-135-generic2025-04-01rc (已删除)❌ 简化❌ 无-0-
5.15.0-136-generic2024-04-23 06:04rc (已删除)❌ 简化❌ 无-0-
5.15.0-138-generic2024-05-07 06:21rc (已删除)❌ 简化❌ 无-0-
5.15.0-139-generic2024-05-17 06:24rc (已删除)❌ 简化❌ 无-0-
5.15.0-140-generic2024-06-05 06:22rc (已删除)❌ 简化❌ 无-0-
5.15.0-141-generic2024-06-21 06:48rc (已删除)❌ 简化❌ 无-0-
5.15.0-142-generic2024-07-02 06:24rc (已删除)❌ 简化❌ 无-0-
5.15.0-143-generic2024-07-31 06:02rc (已删除)✅ 完整✅ 有/updates/24个可用版本
5.15.0-144-generic2024-08-19 06:46rc (已删除)✅ 完整✅ 有/updates/24个推荐使用
5.15.0-151-generic2024-09-25 06:22rc (已删除)❌ 简化❌ 无-0-
5.15.0-152-generic2024-08-30 06:05rc (已删除)❌ 简化❌ 无-0-
5.15.0-153-generic2024-09-24 08:21ii (已安装)✅ 完整❌ 无-0当前运行，无驱动
5.15.0-156-generic2024-10-03 06:53rc (已删除)❌ 简化❌ 无-0-
5.15.0-157-generic2024-10-03 06:51ii (已安装)✅ 完整✅ 有/updates/dkms/24个最新版本，有驱动

Ascend驱动模块清单

完整的Ascend NPU驱动包含24个内核模块：

序号模块名称功能说明
1drv_devdrv_host.ko设备驱动主模块
2drv_pcie_host.koPCIe主机接口
3drv_pcie_hdc_host.koPCIe HDC主机
4drv_davinci_intf_host.koDaVinci接口主机
5ascend_dms_smf.koDMS SMF模块
6drv_seclib_host.ko安全库主机
7ascend_xsmem.ko扩展共享内存
8ascend_urd.koURD模块
9drv_vascend_stub.kovAscend存根
10ascend_logdrv.ko日志驱动
11drv_vpc_host.koVPC主机
12drv_virtmng_host.ko虚拟管理主机
13drv_devmng_host.ko设备管理主机
14ascend_event_sched_host.ko事件调度主机
15drv_devmm_host.ko设备内存管理主机
16drv_vascend.kovAscend驱动
17drv_dp_proc_mng_host.koDP进程管理主机
18ascend_dms_dtm.koDMS DTM模块
19drv_tsdrv_platform_host.koTS驱动平台主机
20ascend_uda.koUDA模块
21ascend_queue.ko队列模块
22drv_soft_fault.ko软件故障处理
23drv_pcie_vnic_host.koPCIe vNIC主机
24ascend_soc_resmng.koSOC资源管理

解决方案选择

推荐方案：回退到 5.15.0-144-generic

选择理由：

  1. ✅ 有完整的24个驱动模块
  2. ✅ 时间最接近当前，相对较新
  3. ✅ 驱动稳定性经过验证

备选方案：使用 5.15.0-157-generic

优点： 最新的内核版本，有驱动模块（在 updates/dkms/ 下）
缺点： 需要测试稳定性

驱动回退实施

GRUB配置修改

首先编辑GRUB配置文件：

sudo vi /etc/default/grub

原始配置内容：

# If you change this file, run 'update-grub' afterwards to update
# /boot/grub/grub.cfg.
# For full documentation of the options in this file, see:
#   info -f grub -n 'Simple configuration'

GRUB_DEFAULT=0
GRUB_TIMEOUT_STYLE=hidden
GRUB_TIMEOUT=0
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT=""
GRUB_CMDLINE_LINUX=""

# Uncomment to enable BadRAM filtering, modify to suit your needs
# This works with Linux (no patch required) and with any kernel that obtains
# the memory map information from GRUB (GNU Mach, kernel of FreeBSD ...)
#GRUB_BADRAM="0x01234567,0xfefefefe,0x89abcdef,0xefefefef"

# Uncomment to disable graphical terminal (grub-pc only)
#GRUB_TERMINAL=console

# The resolution used on graphical terminal
# note that you can use only modes which your graphic card supports via VBE
# you can see them in real GRUB with the command `vbeinfo'
#GRUB_GFXMODE=640x480

# Uncomment if you don't want GRUB to pass "root=UUID=xxx" parameter to Linux
#GRUB_DISABLE_LINUX_UUID=true

# Uncomment to disable generation of recovery mode menu entries
#GRUB_DISABLE_RECOVERY="true"

# Uncomment to get a beep at grub start
#GRUB_INIT_TUNE="480 440 1"
~

修改以下行：

#GRUB_DEFAULT=0
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 5.15.0-144-generic"
GRUB_TIMEOUT=10

应用GRUB配置

更新GRUB配置：

sudo update-grub

在这里插入图片描述

系统重启验证

重启系统：

sudo reboot

重启后验证驱动是否正常：

npu-smi info

在这里插入图片描述

可以看到NPU设备信息已经正常显示，驱动问题得到解决。

防止内核自动升级

为了避免类似问题再次发生，需要禁用内核的自动升级。

锁定内核版本

执行以下命令锁定当前使用的内核版本，防止手动误操作升级：

sudo apt-mark hold linux-image-generic linux-headers-generic
sudo apt-mark hold linux-image-5.15.0-144-generic linux-headers-5.15.0-144-generic
  • 作用：锁定特定的软件包，防止它们被升级
  • 范围：只针对指定的包（这里是内核相关包）
  • 特点：即使手动运行 apt upgrade，这些包也不会被升级
  • 解锁：需要手动 apt-mark unhold 才能再次升级

禁用系统自动升级

防止系统在后台自动升级内核：

echo -e "APT::Periodic::Update-Package-Lists \"0\";\nAPT::Periodic::Download-Upgradeable-Packages \"0\";\nAPT::Periodic::AutocleanInterval \"0\";\nAPT::Periodic::Unattended-Upgrade \"0\";" | sudo tee /etc/apt/apt.conf.d/10periodic

echo -e "APT::Periodic::Update-Package-Lists \"0\";\nAPT::Periodic::Unattended-Upgrade \"0\";" | sudo tee /etc/apt/apt.conf.d/20auto-upgrades
  • 作用：禁用整个自动升级机制
  • 范围：影响所有软件包的自动更新
  • 特点：防止系统在后台自动运行 apt update 和 apt upgrade
  • 不影响：手动运行 apt upgrade 仍然可以升级所有包

在这里插入图片描述

未来升级策略

当确定需要升级内核时（比如安装了新的驱动），可以按以下步骤操作：

# 解锁内核版本
sudo apt-mark unhold linux-image-generic linux-headers-generic

# 执行升级
sudo apt update
sudo apt upgrade

# 重新为新驱动编译或重新锁定

vLLM框架部署尝试

在解决了驱动问题后，接下来尝试在华为NPU服务器上部署vLLM框架。然而这台服务器的主要问题是硬件过于陈旧——使用的是上古时代的310P3，并不在vLLM支持设备列表当中。尽管如此，还是按照安装教程进行尝试。

Python环境配置

首先创建Python虚拟环境：

conda create -n vllm-ascend-env python=3.11
conda activate vllm-ascend-env

CANN工具包安装

安装CANN所需的基础依赖：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple attrs 'numpy<2.0.0' decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py wheel typing_extensions

下载并安装CANN工具包，注意--full参数表示完整安装到系统（默认 /usr/local/Ascend/）：

wget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-toolkit_8.2.RC1_linux-"$(uname -i)".run
chmod +x ./Ascend-cann-toolkit_8.2.RC1_linux-"$(uname -i)".run
./Ascend-cann-toolkit_8.2.RC1_linux-"$(uname -i)".run --full
source /usr/local/Ascend/ascend-toolkit/set_env.sh

在这里插入图片描述

算子库安装

虽然显卡型号不匹配，但仍然先按照教程中910b对应的包进行安装：

wget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-kernels-910b_8.2.RC1_linux-"$(uname -i)".run
chmod +x ./Ascend-cann-kernels-910b_8.2.RC1_linux-"$(uname -i)".run
./Ascend-cann-kernels-910b_8.2.RC1_linux-"$(uname -i)".run --install
wget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-nnal_8.2.RC1_linux-"$(uname -i)".run
chmod +x ./Ascend-cann-nnal_8.2.RC1_linux-"$(uname -i)".run
./Ascend-cann-nnal_8.2.RC1_linux-"$(uname -i)".run --install
source /usr/local/Ascend/nnal/atb/set_env.sh

vLLM框架安装

配置系统软件源和Python包源：

sed -i 's|ports.ubuntu.com|mirrors.tuna.tsinghua.edu.cn|g' /etc/apt/sources.list
apt-get update -y && apt-get install -y gcc g++ cmake libnuma-dev wget git curl jq

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install vllm==0.11.0
pip install vllm-ascend==0.11.0rc0

依赖冲突处理

此时直接安装vllm-ascend==0.11.0rc0会报错：

ERROR: No matching distribution found for torch-npu==2.7.1.dev20250724

由于这个 torch-npu==2.7.1.dev20250724 是一个开发版本，不在公开的 PyPI 上发布。因此尝试使用最接近的稳定版本：

pip install torch-npu==2.8.0rc1

接下来使用--no-deps跳过依赖检查：

pip install vllm-ascend==0.11.0rc0 --no-deps

在这里插入图片描述

基础功能验证

简单测试vLLM是否能正常运行：

在这里插入图片描述

基础功能看起来没有问题，接下来尝试加载本地模型进行测试。

模型加载问题排查

NumPy版本兼容性问题

首先尝试运行本地的Qwen3-8B-AWQ模型：

vllm serve Qwen3-8B-AWQ

在这里插入图片描述

报错的关键信息是：

Failed to import Python module [AttributeError: `np.float_` was removed in the NumPy 2.0 release. Use `np.float64` instead..].

这说明虽然安装了 NumPy 2.x，但华为昇腾的 CANN 工具包内部还在使用已被废弃的 np.float_ API，导致 ACL (Ascend Computing Language) 初始化失败。

解决方案是降级NumPy版本：

# 卸载当前的 NumPy
pip uninstall numpy -y

# 安装兼容的 NumPy 1.x 版本
pip install "numpy<2.0.0"

# 验证版本
python -c "import numpy; print(numpy.__version__)"

# 重新启动服务
vllm serve Qwen3-8B-AWQ

在这里插入图片描述

缺少decorator模块

解决NumPy问题后，核心错误变成了缺少 decorator 模块：

ModuleNotFoundError: No module named 'decorator'.

安装所有缺失的依赖：

# 安装所有缺失的依赖
pip install decorator cmake pybind11 quart setuptools-scm ml-dtypes tornado absl-py

# 然后重新启动服务
vllm serve Qwen3-8B-AWQ

在这里插入图片描述

量化模型配置问题

再次尝试启动：

在这里插入图片描述

此时NPU初始化成功了，但出现了新的问题——模型量化配置错误：

KeyError: 'model.embed_tokens.weight'

这是因为 Qwen3-8B-AWQ 模型的量化描述文件缺少 embed_tokens 层的配置。由于不确定是否是模型量化导致的问题，因此决定换用非量化模型进行测试。

切换非量化模型测试

使用非量化的小模型进行测试：

vllm serve Qwen2.5-0.5B-Instruct/

在这里插入图片描述

这次错误是 CANN 编译器缺少 C++ 标准库头文件：

fatal error: 'cstdint' file not found

这是 CANN 工具包的 C++ 编译环境配置问题。CANN 的算子编译需要 C++ 标准库，但系统环境变量没有正确配置，导致编译器找不到 cstdint 等标准头文件。

C++编译环境配置

解决C++编译环境问题：

# 确保系统有完整的 C++ 开发环境
sudo apt-get install -y build-essential clang-11 libc++-dev libc++abi-dev

# 找到 C++ 标准库位置
dpkg -L libc++-dev | grep cstdint

# 设置完整环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export CPLUS_INCLUDE_PATH=/usr/include/c++/11:/usr/include/aarch64-linux-gnu/c++/11:$CPLUS_INCLUDE_PATH

# 验证
echo '#include <cstdint>' | clang++ -x c++ -E - && echo "OK"

# 运行 vLLM
vllm serve Qwen2.5-0.5B-Instruct/

在这里插入图片描述

CANN OPP包缺失问题

从错误日志可以清楚看到，这是 CANN 安装不完整的问题：

EZ1001: Get path and read binary_info_config.json failed, please check if the opp_kernel package is installed!

以及算子执行失败：

RopeOperation setup failed!
call aclnnSwiGlu failed, error code is 361001

这说明系统缺少 CANN OPP (Operator Package) 内核包。这不是一个可以通过 pip 安装或配置解决的问题，需要系统管理员重新安装完整的 CANN 软件栈。

在GitLab issue中有大量关于此问题的提问，经过调查发现这是由于显卡版本过老导致的兼容性问题，目前无法解决。

更换服务器测试

新服务器环境确认

由于310P3显卡无法正常运行vLLM，决定切换到另一台配置更新的服务器进行测试。

在这里插入图片描述

需要注意的是，这台服务器运行的是EulerOS系统，会出现 apt: command not found 的情况。这是因为 apt 是 Debian/Ubuntu 系列的包管理器，而EulerOS（RHEL/Fedora/CentOS 系列）使用的是 yum / dnf / rpm，不支持 apt 命令。因此在这台服务器上暂时跳过需要apt的命令。

环境重新配置

重新执行之前的安装步骤，配置Python环境和CANN工具包。

在这里插入图片描述

驱动版本兼容性检查

尝试运行vllm serve Qwen2.5-0.5B-Instruct/，仍然遇到了问题：

在这里插入图片描述

问题原因是驱动与固件版本不匹配，导致ACL(Ascend Computing Language)无法设置某些编译选项。

CANN版本要求确认

在CANN版本兼容性文档中可以看到，HDK版本至少要在24.1以上。

在这里插入图片描述

执行cat /usr/local/Ascend/driver/version.info查看当前CANN版本，结果显示为23.0.0，确实不符合要求。

在这里插入图片描述

查看详细的NPU信息：

npu-smi info -t board -i 0
        NPU ID                         : 0
        Software Version               : 23.0.0
        Firmware Version               : 7.1.0.3.220
        Compatibility                  : OK
        Board ID                       : 0x21
        PCB ID                         : A
        BOM ID                         : 1
        PCIe Bus Info                  : 0000:C1:00.0
        Slot ID                        : 0
        Class ID                       : NA
        PCI Vendor ID                  : 0x19E5
        PCI Device ID                  : 0xD801
        Subsystem Vendor ID            : 0x0200
        Subsystem Device ID            : 0x0100
        Chip Count                     : 1

服务器型号确定

使用dmidecode -s system-product-name确定华为服务器型号为Atlas 900，属于高密度训练节点。因此在Ascend HDK安装文档中，需要选择中心训练服务器类型。

在这里插入图片描述

查阅Atlas 中心训练服务器 24.1.0 NPU驱动和固件安装指南和Atlas 中心训练服务器 24.1.0 NPU驱动和固件升级指导书，文档开头明确说明针对Atlas 900 计算节点。

在这里插入图片描述

驱动升级准备

按照指引中的物理机升级部分，输入rpm -qa | grep Ascend，返回Ascend910-driver-23.0.rc2-1.aarch64，说明需要使用rpm包进行安装。

进入Ascend HDK软件页，选择对应版本下载。但会发现商业版无法下载，因此需要前往社区版下载对应的包：

在这里插入图片描述

驱动升级执行

参考固件升级指导书进行升级操作：

# 查看当前环境的rpm固件列表
rpm -qa | grep Ascend
# 返回结果如下
# Ascend910-driver-23.0.rc2-1.aarch64

# 如果需要卸载旧版本固件，执行以下命令（本例中跳过）
# rpm -e Ascend910-driver-23.0.rc2-1.aarch64

# 安装固件与驱动，注意顺序：先固件，后驱动
rpm -Uvh Ascend-hdk-910b-npu-firmware-7.5.0.5.220-1.noarch.rpm
rpm -Uvh Ascend-hdk-910b-npu-driver-24.1.0.3-1.aarch64.rpm

至此，完成了华为NPU服务器从驱动问题诊断、修复到vLLM框架部署尝试的完整过程。虽然在310P3显卡上由于硬件限制未能成功运行vLLM，但通过升级到支持的硬件和对应的驱动版本，为后续的深度学习框架部署奠定了基础。

标签
#昇腾 #npu #vllm
主流开源大模型基于Server适配PyTorch NPU推理指导- 推理场景介绍
2403_89344729的博客
11-28 2280
本教程需要使用到的AscendCloud-6.3.910中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块。├── ascend_vllm-0.6.0-py3-none-any.whl # 推理安装包。├── vllm_install.patch # 社区昇腾适配的补丁包。
LMDeploy量化部署LLM&VLM实战（笔记）
2301_80703617的博客
04-15 923
服务器端:CPU部署，单GPU/TPU/NPU部署，多卡/集群部署.移动端/边缘端:移动机器人，手机…….LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
38、记录使用华为的ModelArts去调用npu训练yolov5模型和推理
sxj731533730
09-07 2714
下载官方源码yolov5进行测试,注意要下载到work目录下，否则下次登录，文件不复存在。基本思想：有机会使用华为ModelArts云服务，做一下尝试，逐记录一下。第一步：登录帐号，查看一下服务配置。
手把手教你用昇腾NPU和vLLM部署Qwen3-30B-A3B模型（保姆级避坑指南）
weixin_29230059的博客
03-28 380
本文提供了一份详细的昇腾NPU部署Qwen3-30B-A3B大模型的保姆级指南，涵盖环境准备、镜像选择、容器化部署、性能调优及常见问题解决方案。重点分享了官方文档未提及的避坑技巧，帮助开发者高效完成大模型部署，适用于AI推理服务构建和性能优化场景。
昇腾显卡运维指南：npu-smi命令详解与性能监控
weixin_29056701的博客
07-01 345
AI加速卡作为深度学习计算的核心硬件，其性能监控与运维管理直接影响模型训练和推理效率。在国产化技术栈中，昇腾（Ascend）系列芯片通过npu-smi工具链提供全面的设备管理能力，包括温度监控、算力利用率分析和显存管理等核心功能。该工具采用类似nvidia-smi的设计理念，但针对昇腾架构进行了深度优化，支持实时性能指标采集和JSON格式输出，便于与Prometheus等监控系统集成。在AI服务器运维场景中，合理使用npu-smi的stats、top等子命令，可以快速诊断计算瓶颈、内存带宽不足等典型性能问题
华为显卡信息：通过npu-smi info查看
斯人若彩虹，遇上方知有！
01-24 5578
熟悉华为显卡的信息
华为服务器资源查看npu-smi info、lscpu、lsblk
qq_15821487的博客
01-29 1万+
该命令将会列出服务器的网卡和光模块信息，包括型号、速率、驱动程序等。这将列出当前在容器中运行的所有进程，包括其PID（进程ID）、CPU利用率、内存占用等信息。该命令将会列出服务器的内存信息，包括总内存容量、已使用内存容量、可用内存容量等。该命令将会列出服务器的硬盘信息，包括硬盘类型、容量、挂载点等。该命令将会列出服务器的CPU信息，包括型号、频率、核心数等。该命令将会列出服务器的RAID卡信息，包括型号、厂商等。该命令将会列出服务器的NPU信息，包括型号、数量等。
封神！昇腾平台推理性能翻倍秘籍：SGLang+vllm-ascend 调优全拆解（5 年运维血泪踩坑实录）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 CSDN 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
10-30 1万+
摘要 本文详细记录了在昇腾平台部署Llama 2-70B大模型的优化过程。作者作为5年昇腾生态专家，在头部城商行智能客服项目中遭遇性能瓶颈：初始部署NPU利用率仅30%，推理延迟820ms，远低于客户要求的300ms。通过深入分析昇腾NPU架构特性，采用华为官方适配的SGLang框架和vllm-ascend推理引擎进行针对性调优，最终实现性能突破：延迟降至220ms，吞吐量提升3.8倍至45 tokens/s，NPU利用率稳定在85%左右。文章包含完整测试环境配置、优化方案实施细节和实测数据对比，为昇腾平台
华为 A800I A2 昇腾 910B NPU 大模型推理部署
maoye的博客
07-05 561
改完环境变量后，后续所有 modelscope/huggingface 操作都自动走大分区，无需每次手动指定路径。恢复方法：停止 Docker，将旧目录内容 mv 到新路径，再启动 Docker。对应 CANN 9.0，可在页面右上角切换版本，选与驱动版本匹配的（本机驱动 25.5.2）。（内核 6.6.0-159.x），SP4 内核与驱动预置的闭源二进制模块不兼容，会导致。Root Dir 被改为新路径后，新目录是空的，旧镜像数据还留在原路径的。在 vllm-ascend，其余两个在 CANN 文档。
Qwen3.5-397B-A17B在昇腾NPU上的部署实战：从零到生产级配置
最新发布
gitblog_00064的博客
07-14 393
在人工智能大模型快速发展的今天，如何在国产硬件平台上高效部署千亿参数级别的多模态模型成为技术团队面临的关键挑战。本文深入探讨了在华为昇腾NPU平台上部署Qwen3.5-397B-A17B这一旗舰级多模态大语言模型的完整流程。作为Qwen系列的最新力作，该模型采用创新的MoE架构，在保持强大推理能力的同时显著降低了计算成本，为昇腾生态开发者提供了理想的实践案例。 ## 部署决策树：选择最适合你的方
昇腾910B部署vLLM-ascend实战指南
weixin_35592186的博客
12-15 938
在昇腾910B上成功部署vLLM-ascend的关键在于选择Python 3.9+环境，正确配置CANN工具链，并解决版本兼容性问题。本文详细记录了从环境搭建、依赖安装到推理测试的完整流程，揭示了Python版本不匹配导致的安装失败等常见坑点，提供了一条可复现的高性能推理部署路径。
从GPU到NPU：我的vLLM迁移踩坑全记录（CANN 8.2.RC1 + torch_npu 2.5.1版本兼容性指南）
weixin_27015733的博客
04-15 469
本文详细记录了将vLLM从GPU迁移到昇腾NPU平台的实战经验，重点解决CANN 8.2.RC1与torch_npu 2.5.1版本兼容性问题。通过系统化的环境构建、依赖管理、编译部署和性能调优，帮助开发者规避常见陷阱，提升NPU平台的AI模型推理效率。
昇腾910B部署DeepSeek-V4：从硬件加电到生产级推理的完整Day 0指南
leonard61306500的专栏
06-22 491
大模型推理依赖底层算力基础设施的深度适配，昇腾910B作为国产AI加速卡代表，其CANN架构与CUDA生态存在根本性差异——从PCIe拓扑约束、BIOS级IOMMU/ASPM配置，到ATC编译器驱动的OM模型转换，均需重构传统部署范式。本文聚焦长上下文（200K tokens）与混合精度推理两大技术挑战，解析昇腾910B如何通过HBM2e高带宽、L2 Cache优化及PagedAttention内存管理支撑DeepSeek-V4的稳定服务；覆盖政务云、企业私有AI平台等典型国产化替代场景，提供可复现的驱动固
昇腾Ascend之npu-smi工具在Atlas 200 DK（Model: 3000）的简单使用
IT菜鸟
04-08 4367
昇腾Ascend之npu-smi工具的简单使用
昇腾Ascend之npu-smi工具在Atlas 200I DK A2的简单使用
IT菜鸟
04-10 6418
昇腾Ascend之npu-smi工具在Atlas 200I DK A2的简单使用
华为Ascend昇腾CANN详细教程（一）
热门推荐
IT菜鸟
07-12 2万+
华为Ascend昇腾CANN详细教程（一）
DeepSeek专栏3：vLLM×DeepSeek部署指南（鲲鹏+昇腾）
openEuler_的博客
02-22 4615
上期介绍了在鲲鹏 CPU+NVIDIA GPU上部署DeepSeek的流程，本期将会继续介绍在鲲鹏 CPU+昇腾 NPU上通过vLLM框架来部署DeepSeek。
【人工智能】华为昇腾NPU-Vllm Ascend部署及镜像制作
静待花开时，终有重逢日。
07-14 3481
本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码，支持单问题和批量请求测试，适用于Qwen2.5-72B-Instruct和BGE-M3等模型的昇腾NPU推理场
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值