书生·共学大模型实战营第四期 L2-G300作业分享

关注

已于 2024-10-31 18:00:57 修改 · 468 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

从零开始：YOLOv8车牌检测模型训练全流程实战本文详细介绍了从零开始训练YOLOv8车牌检测模型的全流程实战指南。内容涵盖环境搭建、数据集收集与标注、模型配置与训练、评估测试及高级优化技巧。通过使用预训练模型和迁移学习，开发者可以高效构建精准的车牌检测系统，并掌握模型导出与部署的关键步骤。阅读详情

书生 $\cdot$ 共学大模型实战营第四期

本系列为InterLM 闯关作业个人完成情况分享
欢迎加入书生大模型实战训练营，赢取A100算力，丰富实战经验，完成实际项目，解锁更多可能！

Reference: https://github.com/syzonline/pjlearning/blob/camp4/docs/L1/Prompt/tasks.md
Affiliation: University of Science & Technology of China
Organization: Shanghai Artificial Intelligence Laboratory
Contact: zhangsy2023@mail.ustc.edu.cn

基础任务：优化prompt引导浦语大模型得出正确结果

任务描述：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。

InternStudio的开发机内置了多个书生系列大模型，因此本实验建议采用开发机完成。首先在开发机上创建名为prompt_demo的环境，下载相关依赖：

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

（这里可参考第三期的文档https://github.com/InternLM/Tutorial/tree/camp3/docs/L1/Prompt）
使用VSCode连接开发机后，先开启终端1，在该终端中通过LMDeploy对模型进行部署：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

后面采用终端2，使用Tutorial项目中的脚本创建图形化页面（通过streamlit）：

git clone https://github.com/InternLM/Tutorial.git
cd Tutorial/tools
python -m streamlit run chat_ui.py

在VSCode中，会自动设置端口转发，将远程端口0.0.0.0:23333转发到本地端口localhost:23333：
在这里插入图片描述
此时，我们在浏览器中打开localhost:23333，可以看到经过streamlit渲染的书生大模型UI界面。
我们发现，直接询问模型"strawberry"中包含几个字母"r"，它会给出错误的答案1，这里，采用的策略是，引导模型将整个任务拆解，分别考虑前半段的"straw"和后半段的"berry"含有几个目标字符，正确的答案是两段相加得到的结果。
在这里插入图片描述