LLM推理部署（四）：一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台FastChat

       FastChat是用于对话机器人模型训练、部署、评估的开放平台。体验地址为：https://chat.lmsys.org/，该体验平台主要是为了收集人类的真实反馈，目前已经支持30多种大模型，已经收到500万的请求，收集了10万调人类对比大模型的数据，可以在排行榜（https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard）进行查看。

FastChat核心特性包括：

• 提供了SOTA模型（比如Vicuna，FastChat-T5）的模型权重，训练代码，评估代码；
• 分布式多模型部署系统，自带Web UI和OpenAI兼容的RESTful APIs。

一、FastChat安装

方法一：pip安装

pip3 install "fschat[model_worker,webui]"

方法二：源码安装

Step1 克隆源码并切换到对应的目录下

git clone https://github.com/lm-sys/FastChat.gitcd FastChat

如果是mac，还需要执行如下代码

brew install rust cmake

Step2 安装相关的包​​​​​​​

pip3 install --upgrade pip  # enable PEP 660 supportpip3 install -e ".[model_worker,webui]"

二、FastChat聊天应用

下面展示一下不同模型以及不同大小启用聊天功能

Vicuna模型