vLLM在不同服务器部署踩坑

本地部署 vllm

首先要检查你本地的模型文件的绝对路径和启动命令中-v挂在的本地目录文件夹（这个到模型文件夹的上一层，即如果config.json在/vllm/models/bge-reranker-v2-m3中，则这里写/vllm/models）。–served-model-name 模型名: 用来设置对外提供服务时该模型的名称，这个名称就是后面大家发请求的时候model里面的参数。注意：这里需要评估一下自己卡的gpu是不是够，如果一张15G的卡要启动17G的模型是起不来的！vllm当前版本可以支持的模型参考。

deepseek-r1大模型部署

上次介绍了怎么用 vllm 去部署 Yi-34B 的 Int4 版本。这次尝试下 12G 显存的双卡部署，因为这个模型即使是 int4 的版本，也差不多需要至少 20G 的显存，所以如果是 12G 显存的话，也至少需要两块显卡。我这里尝试下用两个 3080Ti 跑起来这个模型。整个过程其实和上个视频的过程是类似的，本来觉得整个过程应该比较顺利，但最后发现还是踩了不少坑，这里我用这个视频把整个过程记录一下供大家参考。

vLLM 非常适合中高级开发者、AI 工程团队，在具备一定 GPU 资源的前提下部署高效、低成本、可控的大语言模型服务，尤其适合本地化、安全敏感、高并发调用等场景。

借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。

./output/qwen2_5-1_5b-instruct/v0-202xxxxx-xxxxxx/checkpoint-xxx-merged”：替换为真实的微调模型路径。该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。然后，在终端窗口执行wrk压测命令，分别设置chat接口的并发量(-c)为1和10，压测时间(-d)均为10s，观察两个实验的压测结果。请注意，关闭终端窗口将会立即终止服务。

主要讲述的是VLLM的部署在open-webui上部署模型的全流程

在大语言模型技术快速迭代的浪潮中，数据安全与定制化需求推动着私有化部署成为企业和开发者的重要选择。Ollama 和 vLLM 作为两款备受关注的大语言模型部署和推理开源框架，各有千秋。接下来，我们将从多个关键维度对二者进行深度剖析，为你的私有化部署选型提供全面参考，并分享实用的实战经验与避坑技巧。

适用于 LLM 的高吞吐量和内存高效推理和服务引擎vLLM环境部署

参考官网链接如下：https://developer.nvidia.com/cuda-toolkit-archive。

注意，如果在启服务的时候遇到了下面这个错误，需要进入到模型所在的文件夹，找到config.json，修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意，–limit-mm-per-prompt参数尽量加上，如果不加的话，一个对话里最多只能有一张图片，多了就会报错400，这里我随便设成了5，一个对话中对于5张图片就会报400。这个网站就可以实现，直接把转换内容替换到上面 “url” 的值就可以了，因为那个编码太长了，贴一张图片作为例子。

DeepSeek的出现让"本地跑大模型"从极客玩具变成了实用工具。V3的MoE架构在保持高性能的同时把推理成本砍到了传统Dense模型的几分之一。R1的推理链机制在复杂任务上表现让人惊喜。我每天实际在用的组合：笔记本上Ollama跑R1 14B处理日常开发问题，云端API V3处理多平台内容生成任务。两个月下来API费用不到50块钱。如果你也在做AI相关的开发，DeepSeek值得认真试试。不一定要替代GPT-4，但作为高性价比的补充方案，已经足够好了。

在大模型部署这个领域，其实已经形成了相对清晰的生态分工。主要面向资源受限的环境，比如个人电脑、边缘设备等。它的优势在于对硬件要求低，能够在CPU上运行大模型，对于个人开发者和小型应用来说非常友好。可以理解为LlamaCPP的用户友好版本，提供了更简洁的API和更便捷的模型管理，但本质上还是基于LlamaCPP的核心。。当面临数百个用户同时访问，或者需要在多GPU环境下发挥最大性能时，它们就显得力不从心了。正是为了填补这个空白。它从设计之初就瞄准了多GPU、高并发的应用场景。

vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统

本文介绍了使用vLLM框架在云服务器上部署大语言模型的完整流程。

https://www.python.org/downloads/source/ 压缩包地址。如果不要求操作系统，个人建议使用ubuntu22.04版本。三、安装miniconda3。下载好的压缩包上传到服务器。四、安装nvidia驱动。下载之后上传到服务器。

【Python数据分析实践】2026年06月22日，使用Python爬虫采集20+公开新闻源数据，通过jieba分词、SnowNLP情感分析、TF-IDF关键词提取、LDA主题模型等NLP技术进行文本挖掘，并使用Matplotlib/Plotly进行数据可视化。本文为自动化脚本输出的技术学习笔记。