InternLM第四期基础岛第6关OpenCompass 评测书生大模型实践

基础任务

• 使用 OpenCompass 评测浦语 API 记录复现过程并截图。
• 使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。（可选）

一、环境配置

conda create -n opencompass python=3.10
conda activate opencompass

cd /root
git clone -b 0.3.3 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install huggingface_hub==0.25.2

二、评测浦语 API

评测通过 API 访问的大语言模型，整个过程其实很简单。首先需要获取模型的 API 密钥（API Key）和接口地址。以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。评测过程中，评测框架会自动向模型服务发送测试用例，获取模型的回复并进行打分分析。整个过程你不需要准备任何模型文件，也不用担心本地计算资源是否足够，只要确保网络连接正常即可。

1.获取API Key

1.1首先打开浦语官方地址 书生·浦语 ，获取API Key。

1.2打开后，点击左侧菜单栏的API Tokens

1.3然后，点击创建创建API Token

1.4输入名称后，点击提交，即可创建成功

1.5在终端中运行:

export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx 

出于安全考虑这里我隐藏了自己的API Key

2.配置模型

cd /root/opencompass/configs/models/openai
touch puyu_api.py

然后打开puyu_api.py文件，粘贴以下代码

import os
from opencompass.models import OpenAISDK


internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址
internlm_api_key = os.getenv('INTERNLM_API_KEY')

models = [
    dict(
        # abbr='internlm2.5-latest',
        type=OpenAISDK,
        path='internlm2.5-latest', # 请求服务时的 model name
        # 换成自己申请的APIkey
        key="自己的API Key", # 出于安全考虑，我隐藏了自己的API Key
        openai_api_base=internlm_url, # 服务地址
        rpm_verbose=True, # 是否打印请求速率
        query_per_second=0.16, # 服务请求速率
        max_out_len=1024, # 最大输出长度
        max_seq_len=4096, # 最大输入长度
        temperature=0.01, # 生成温度
        batch_size=1, # 批处理大小
        retry=3, # 重试次数
    )
]

3.配置数据集

cd /root/opencompass/configs/datasets/demo
touch demo_cmmlu_chat_gen.py

然后打开demo_cmmlu_chat_gen.py文件，粘贴以下代码

from mmengine import read_base

with read_base():
    from ..cmmlu.cmmlu_gen_c13365 import cmmlu_datasets


# 每个数据集只取前2个样本进行评测
for d in cmmlu_datasets:
    d['abbr'] = 'demo_' + d['abbr']
    d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.

这样就可以使用 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测。

配置完成后，在终端输入以下代码（首先要回退到opencompass目录下）

cd ~
cd /root/opencompass
python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug

配置结果：

三、评测本地模型

评测本地部署的大语言模型，首先需要获取到完整的模型权重文件。以开源模型为例，你可以从 Hugging Face 等平台下载模型文件。接下来，你需要准备足够的计算资源，比如至少一张显存够大的 GPU，因为模型文件通常都比较大。有了模型和硬件后，你需要在评测配置文件中指定模型路径和相关参数，然后评测框架就会自动加载模型并开始评测。这种评测方式虽然前期准备工作相对繁琐，需要考虑硬件资源，但好处是评测过程完全在本地完成，不依赖网络状态，而且你可以更灵活地调整模型参数，深入了解模型的性能表现。这种方式特别适合需要深入研究模型性能或进行模型改进的研发人员。

以评测 InternLM2-Chat-1.8B 在 C-Eval 数据集上的性能为例。

1.安装相关配置

cd /root/opencompass
conda activate opencompass
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
apt-get update
apt-get install cmake
pip install protobuf==4.25.3
pip install huggingface-hub==0.23.2

2.将数据集下载到本地:

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

将会在 OpenCompass 下看到data文件夹.

3.加载本地模型进行评测

在 OpenCompass 中，模型和数据集的配置文件都存放在 configs 文件夹下。我们可以通过运行 list_configs 命令列出所有跟 InternLM 及 C-Eval 相关的配置。

python tools/list_configs.py internlm ceval

打开 opencompass 文件夹下 configs/models/hf_internlm/的 hf_internlm2_5_1_8b_chat.py 文件, 修改如下:

from opencompass.models import HuggingFacewithChatTemplate

models = [
    dict(
        type=HuggingFacewithChatTemplate,
        abbr='internlm2_5-1_8b-chat-hf',
        path='/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/',
        max_out_len=2048,
        batch_size=8,
        run_cfg=dict(num_gpus=1),
    )
]

# python run.py --datasets ceval_gen --models hf_internlm2_5_1_8b_chat --debug

可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。

python run.py --datasets ceval_gen --models hf_internlm2_5_1_8b_chat --debug
# 如果出现 rouge 导入报错, 请 pip uninstall rouge 之后再次安装 pip install rouge==1.0.1 可解决问题.

 评测比较费时, 预计2~4个小时评测完成后，将会看到：

4.也使用配置文件来指定数据集和模型

cd /root/opencompass/configs/
touch eval_tutorial_demo.py

打开 eval_tutorial_demo.py 贴入以下代码

from mmengine.config import read_base

with read_base():
    from .datasets.ceval.ceval_gen import ceval_datasets
    from .models.hf_internlm.hf_internlm2_5_1_8b_chat import models as hf_internlm2_5_1_8b_chat_models

datasets = ceval_datasets
models = hf_internlm2_5_1_8b_chat_models

这样指定了评测的模型和数据集，然后运行

python run.py configs/eval_tutorial_demo.py --debug 

四、将本地模型通过部署成API服务在评测

OpenCompass 通过其设计，不会真正区分开源模型和 API 模型。可以使用相同的方式甚至在一个设置中评估这两种模型类型。

1.首先打开一个终端, 安装和部署模型:

pip install lmdeploy==0.6.1 openai==1.52.0

lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/ --server-port 23333

 成功部署以后会看到如下输出:

[WARNING] gemm_config.in is not found; using default GEMM algo                                                                                                                                                                                           
HINT:    Please open http://0.0.0.0:23333 in a browser for detailed api usage!!!
HINT:    Please open http://0.0.0.0:23333 in a browser for detailed api usage!!!
HINT:    Please open http://0.0.0.0:23333 in a browser for detailed api usage!!!
INFO:     Started server process [59833]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:23333 (Press CTRL+C to quit)
INFO:     127.0.0.1:38584 - "POST /v1/chat/completions HTTP/1.1" 200 OK

新开一个终端, 使用以下 Python 代码获取由 LMDeploy 注册的模型名称：

from openai import OpenAI
client = OpenAI(
    api_key='sk-123456', # 可以设置成随意的字符串
    base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
model_name # 注册的模型名称需要被用于后续配置.

结果显示 /share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/, 接着, 创建配置脚本 /root/opencompass/configs/models/hf_internlm/hf_internlm2_5_1_8b_chat_api.py

from opencompass.models import OpenAI

api_meta_template = dict(round=[
    dict(role='HUMAN', api_role='HUMAN'),
    dict(role='BOT', api_role='BOT', generate=True),
])

models = [
    dict(
        abbr='InternLM-2.5-1.8B-Chat',
        type=OpenAI,
        path='/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat/', # 注册的模型名称
        key='sk-123456',
        openai_api_base='http://0.0.0.0:23333/v1/chat/completions', 
        meta_template=api_meta_template,
        query_per_second=1,
        max_out_len=2048,
        max_seq_len=4096,
        batch_size=8),
]

 然后运行

opencompass --models hf_internlm2_5_1_8b_chat_api --datasets ceval_gen --debug # opencompass 命令基本等价于 python run.py 命令

 得到结果:

五、笔记

1.OpenCompass评测体系致力于探索最先进的语言与视觉模型，为工业界和研究社区提供全面、客观、中立的评测参考。它支持大语言模型和多模态模型的一站式评测，并定期公布评测结果榜单。通过完整开源可复现的评测框架，OpenCompass能够支持各类模型的高效评测，并帮助用户快速上手评测工具，迅速开展模型能力评估。

2.OpenCompass评测体系涵盖了多个评测维度，包括知识、语言、理解、推理、考试等五大能力维度。为了全面评估模型的能力，它整合了超过70个评测数据集，合计提供了超过40万个模型评测问题。此外，OpenCompass还支持长文本、安全、代码等特色技术能力评测，以满足不同场景下的需求。

3.评测流程

• 配置：选择评估的模型和数据集，配置整个评估过程。
• 推理与评估：OpenCompass会对模型和数据集进行推理和评估，衡量输出与标准答案的匹配程度。
• 可视化：将评估结果整理成易读的表格，方便用户查看和分析。

4.特点

• 分布式评测：支持在本机或集群上的计算任务并行分发，实现评测并行式的提速。
• 多样化评测：提供零样本评测、小样本评测和思维链评测等多样化评测方式，全方位量化模型在各个维度上的能力。
• 灵活拓展：支持灵活便捷的添加评测数据集与模型，用户可通过预留接口对非开源的自定义模型进行评测。
• 公开透明：所有支持的数据集及各数据集多版本提示词均可一键下载，确保评测结果可以被完整复现。

5.评测结果与应用

OpenCompass评测体系定期公布评测结果榜单，包括大语言模型的评测榜单OpenCompass LLM Leaderboard等。这些榜单为技术社区提供了直观的模型能力对比，有助于用户选择合适的模型进行应用。同时，OpenCompass还支持将评测结果应用于学术研究、模型优化和产品开发等多个领域，为AI生态的繁荣做出贡献。