从零搭建：VLLM 多机大模型部署教程第三层

原创

于 2026-04-16 09:51:36 发布 · 208 阅读

标签

#vllm

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏，讲透 AI 如何接管脏活累活

一键订阅

趁热打铁，目前昇腾社区这边已经推出Ascend-VLLM,好多小伙伴再问为什么我按照官网上的拉不起来，别慌，小V来帮忙，前行步骤按照第一层设置完毕之后，再来看这一层，首先跟MindIE的区别，镜像
下载地址：镜像下载地址
根据自己的服务器类型来选择对应的镜像，重点说明怎么启动服务，下面以DeepSeeK-V3.1-W8A8为例
官方网址：VLLM
步骤 2 使用如下命令加载镜像
docker load -i xxxx //根据实际修改
or
docker load -i xxxxx //根据实际修改
在这里插入图片描述

步骤 3 完成加载镜像后，请使用docker images命令确认查找具体镜像名称与标签。

#docker images 
REPOSITORY                                                            TAG                                                                                 IMAGE ID       CREATED         SIZE
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie                     1.0.0-300I-Duo-py311-openeuler24.03-lts                                             3a7f38bed48b   3 weeks ago     13.8GB

步骤 4 创建容器
步骤1官方有可以直接复制官方进行修改。

第一步：定义环境变量（一次性执行，确保镜像和容器名生效）

export IMAGE=quay.io/ascend/vllm-ascend:v0.13.0rc1  镜像名
export NAME=vllm-ascend -容器名称，自定义

第二步：特权启动容器（–privileged 开启特权，无内嵌注释，续行符完整）

sudo docker run  \
--privileged \
--name $NAME \
--net=host \
--shm-size=500g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
-