vLLM-CPU部署大模型

vLLM-CPU部署大模型

背景

​ 作为一个预算有限的开发者（手头没有高配GPU，但又想调试7B以上的大模型），当vLLM运行大参数量模型时爆显存怎么办？别急，这里教你一个"丐版"解决方案——基于CPU的vLLM部署大模型方法（仅适用于测试场景）。

运行环境

• 系统：ubuntu20.04

• python：3.9-3.12

• gcc/g++：建议使用 gcc/g++ >= 12.3.0 作为默认编译器，我这里直接上gcc/g++ 13, 详细的安装方式可以参考：

   sudo add-apt-repository ppa:ubuntu-toolchain-r/test
   sudo apt update
   sudo apt install gcc-13 g++-13
   # 查看优先级
   sudo update-alternatives --config gcc
   # 将4.8版本的优先级提高
   sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-13 100
   sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-13 100
  
  

  结果果如下：

  (vllm-cpu) dongyongfei786@DYF-PC:/mnt/g/dongyongfei786/vllm_source$  sudo update-alternatives --config gcc
  [sudo] password for dongyongfei786:
  There are 4 choices for the alternative gcc (providing /usr/bin/gcc).
  
    Selection    Path             Priority   Status
  ------------------------------------------------------------
    0            /usr/bin/gcc-13   100       auto mode
    1            /usr/bin/gcc-11   90        manual mode
  * 2            /usr/bin/gcc-13   100       manual mode
    3            /usr/bin/gcc-7    70        manual mode
    4            /usr/bin/gcc-9    80        manual mode
  

源码编译

• 创建一个新的 Python 虚拟环境

# （推荐）创建新的 conda 环境
conda create -n vllm python=3.12 -y
conda activate vllm

• 从源码构建 wheel

  升级gcc/g++上面已经说了，libnuma-dev这个