OpenCompass 评测操作笔记

一、前置知识

        OpenCompass 是由上海人工智能实验室推出的大模型评测体系，旨在为大语言模型和多模态大模型提供全面、高效、可复现的评测服务。

CMMLU（Chinese Massive Multitask Language Understanding）是一个专门用于评估语言模型在中文语境下的知识和推理能力的综合性基准测试体系。其旨在评估大型语言模型在中文语境下的多任务语言理解能力。它涵盖了自然科学、社会科学、工程学和人文学科等多个领域，包含从基础学科到高级专业水平的 67 个主题。

二、实验过程

1.配置初始环境，在conda下主要配置或安装的如下：

git clone -b 0.3.3 https://github.com/open-compass/opencompass
pip install -e .
pip install huggingface_hub==0.25.2
pip install importlib-metadata

然后将申请好的书生api设置成环境变量，在如下路径写入模型配置：

import os
from opencompass.models import OpenAISDK
internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址
internlm_api_key = os.getenv('INTERNLM_API_KEY')
models = [
    dict(
        # abbr='internlm2.5-latest',
        type=OpenAISDK,
        path='internlm2.5-latest', # 请求服务时的 model name
        # 换成自己申请的APIkey
        key=internlm_api_key, # API key
        openai_api_base=internlm_url, # 服务地址
        rpm_verbose=True, # 是否打印请求速率
        query_per_second=0.16, # 服务请求速率
        max_out_len=1024, # 最大输出长度
        max_seq_len=4096, # 最大输入长度
        temperature=0.01, # 生成温度
        batch_size=1, # 批处理大小
        retry=3, # 重试次数
    )
]

2.配置数据集，在opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py路径写入文件，（参考完整文档：https://github.com/InternLM/Tutorial/blob/camp4/docs/L1/Evaluation/readme.md）运行文件，

 ！请注意：该步骤很容易出现报错，往往是缺少包或者版本不匹配，这里需要检测或者重新进行配置。出现下图这样的警告为正常现象。

3.完成以后有如下截图：

使用pip show 命令进行版本查看，以确定在部署时的版本。有了足够的资源后，可以进行本地部署。

随着人工智能技术的不断进步，未来的大模型将越来越多地融合多种模态（如文本、图像、语音等）。上海人工智能实验室提供OpenCompass 为广大开发者作为评测体系，在推动大模型技术发展、指导行业应用、促进研究社区交流以及启示人工智能发展等方面都发挥了重要的作用。随着技术的不断进步和应用场景的不断拓展，OpenCompass 有望在未来发挥更大的价值，为大模型技术的健康发展提供有力支持。