使用 vLLM 部署 bge-m3 / Qwen3-32B 模型（魔搭模型部署）/ mineru-docker启动

原创已于 2025-12-17 11:14:32 修改 · 8.2k 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

于 2025-05-14 14:20:37 首次发布

vLLM说明

vLLM 是一个高效的大型语言模型推理和服务系统，具有低延迟、高吞吐量的特点。支持 HuggingFace 格式的模型，并且可以通过简单的命令行启动服务。

说明

CPU内存就不说了，Qwen3-32B大概需要40G以上的显存，m3为小模型，普通显卡即可

本次部署的服务器为腾讯云16核160G，H20显卡（96G），算力44+TFlops SP

基础环境：Driver 525.105.17，Python3.8，CUDA12，cuDNN8

部署

安装vllm

pip install vllm

使用 ModelScope（魔搭）模型

# 用大陆的源，并且可以让 vLLM 自动从modelscope下载并加载模型
export VLLM_USE_MODELSCOPE=True

pip install modelscope

modelscope地址

Qwen/Qwen3-32B

BAAI/bge-m3

用vllm启动m3

vllm serve BAAI/bge-m3 \
    --gpu-memory-utilization 0.34 \
    --port 10010 \
    --host 0.0.0.0 &

vllm启动q3-32b，32b需要更多的显卡内存

vllm serve qwen/Qwen3-32B \
    --gpu-memory-utilization 0.88 \
    --port 10011 \
    --host 0.0.0.0 &

32b稍微慢一点，启动成功后使用 BAAI/bge-m3 实现嵌入生成；使用 Qwen3-32B 实现文本生成任务。

也可以加载到本地服务运行

添加到系统运行服务器中启动

vim /etc/systemd/system/qwen.service

[Unit]
Description=qwen3-32b
After=network.target

[Service]
Type=simple
Environment=VLLM_USE_MODELSCOPE=True
ExecStart=/usr/local/bin/vllm serve Qwen/Qwen3-32B --gpu-memory-utilization 0.88 --port 10011 --host 0.0.0.0
WorkingDirectory=/data/Qwen3-32B
User=root
Restart=on-failure
RestartSec=10
Environment=PYTHONUNBUFFERED=1

[Install]
WantedBy=multi-user.target

重新加载 systemd 并启动服务

systemctl daemon-reexec
systemctl daemon-reload
systemctl enable qwen
systemctl start qwen

#查看运行状态
systemctl status qwen
 
#查看输出日志（实时）
journalctl -fu qwen
 
#如果失败，查看最近日志
journalctl -xeu qwen

MinerU使用docker启动，独立的服务器，配置是腾讯云的 44+TFlops SP

CPU - 16 核 | 内存 - 160GiB | H20 96G

这个有一个挂载的地方，如果每天解析的文档pdf各种很多的话，就需要写一个定时任务删除output输出的文档，SGLANG_MEM_FRACTION_STATIC参数可以根据自己的显卡去调整，健康检查还是建议加上，如果解析并发大容易崩掉

docker run -d \
  --gpus all \
  --name mineru-sglang \
  --restart unless-stopped \
  --cpus=16 \
  --memory=120g \
  --memory-swap=120g \
  --shm-size=16g \
  -p 8888:8888 \
  -p 30000:30000 \
  -v /data/mineru/data:/app/data \
  -v /data/mineru/output:/app/output \
  -e MINERU_MODEL_SOURCE=local \
  -e SGLANG_MEM_FRACTION_STATIC=0.28 \
  -e NVIDIA_VISIBLE_DEVICES=all \
  --health-cmd="curl -fs http://localhost:8888/health || exit 1" \
  --health-interval=30s \
  --health-timeout=5s \
  --health-retries=3 \
  zxwei/mineru-api-full:v2.1.11

标签