解决Qwen3-Reranker-8B模型无法通过Vllm平台直接部署的方法

本项目旨在解决Qwen3-Reranker-8B模型无法通过Vllm平台直接部署的问题。

自从Qwen3-Reranker系列模型发布以来，迅速在向量模型和重排模型中掀起了使用热潮，但遗憾的是，无法正常使用Vllm部署Qwen3-Reranker-8B模型，截止目前，Vllm官方也没有更新补丁支持，预计官方最快在Vllm v0.9.2中才支持Qwen3-Reranker。作为过渡，于是做了这个版本供大家暂时使用。

项目下载地址：https://www.modelscope.cn/models/dengcao/Qwen3-Reranker-8B

https://github.com/dengcao/Qwen3-Reranker-8B

注意：2025年6月20日之前已下载本项目的，请删除后重新使用此方法部署，即可完美在Vllm上运行Qwen3-Reranker-8B模型。

Docker desktop（Wind