初夏专场：魔力四射书生浦语大模型Lagent&AgentLego智能体应用赋能

第一部分：基本认识

         从Agent理论及开源产品介绍认识轻量级智能体框架Lagent和组装智能体”乐高“AgentLego的作用，使用internlm2-chat-1.8b、internlm2-chat-7b、internlm2-chat-20b大模型在Lagent 调用 Arxiv 论文搜索工具，Lagent 自定义工具查询天气，AgentLego目标物体检测，LMDeploy 部署AgentLego图生文，AgentLego 新增 MagicMaker 文生图工具等实践过程中了解internlm2大模型的理解能力，体验Lagent智能体赋能的能力，AgentLego组装agen智能体能力赋能的光彩。

         智能体实践学习内容：

         Lagent 是一个智能体框架，AgentLego与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

        Lagent是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体，目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式。

        AgentLego是一个提供了多种开源工具 API 的多模态工具包，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。AgentLego算法库既可以直接使用，也可以作为智能体工具使用。

   智能体应用搭建视频学习请戳：Lagent & AgentLego 智能体应用搭建_哔哩哔哩_bilibili由 Lagent&AgentLego 核心贡献者樊奇带来【Lagent & AgentLego 智能体应用搭建】课程内容的讲解~1、Agent 理论及 Lagent&AgentLego 开源产品介绍2、Lagent 调用已有 Arxiv 论文搜索工具实战3、Lagent 新增自定义工具实战（以查询天气的工具为例）4、AgentLego 新增 MagicMaker 文生图工具, 视频播放量 3433、弹幕量 3、点赞数 59、投硬币枚数 26、收藏人数 86、转发人数 19, 视频作者 OpenMMLab, 作者简介 构建国际领先的计算机视觉开源算法平台 | 小助手：OpenMMLabwx 微信公众号同名，相关视频：OpenCompass 大模型评测实战，如何搭建一套Agent系统，【迄今为止最先进的模型】多名大佬精讲CLIP、BLIP-2、视觉Agent等多模态大模型落地应用！人工智能AI、ChatGPT，LMDeploy 量化部署 LLM-VLM 实践，多模态 Agents：用大模型语言模型串联多模态专家，书生·浦语大模型全链路开源体系，【企业级教程合集】DB-GPT+开源大模型源码部署流程详解|数据分析顶级Agent DB-GPT保姆级部署流程，智能的新境界：InternLM2和Lagent，丝滑！没想到只花了两个小时就搞定了【langchain+RAG】课程！真的太赞了，优质课程分享给大家一起学习进步！—吴恩达、大模型课程、多模态大模型、人工智能，如何基于大模型构建智能体？多机构百页综述从交互角度详解 AI Agent！https://www.bilibili.com/video/BV1Xt4217728/

   智能体应用搭建时间学习请戳：Tutorial/agent at camp2 · InternLM/Tutorial · GitHubLLM Tutorial. Contribute to InternLM/Tutorial development by creating an account on GitHub.https://github.com/InternLM/Tutorial/tree/camp2/agent

  Lagent工具介绍请戳：https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.htmlhttps://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html

   AgentLego介绍文档请戳：自定义工具 — AgentLego 0.2.0 文档https://agentlego.readthedocs.io/zh-cn/latest/modules/tool.html  MagicMaker体验更多功能请戳：Magic Makerhttps://magicmaker.openxlab.org.cn/home 

第二部分：安装环境

第三部分：基础实践作业

1.Lagent Web Demo使用

1.1LMDeploy部署

      Lagent 的 Web Demo 需要用到 LMDeploy 所启动的 api_server. 

1.2启动并使用Lagent Web Demo

1.3搜索工具

     让模型获得在 arxiv 上搜索论文的能力，搜索InternLM2技术报告

2.AgentLego直接使用

    实现目标物体检测。

2.1下载demo文件

2.2安装检测工具

      AgentLego所实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型，因此我们首先安装 mim，然后通过 mim 工具来安装 mmdet。

2.3创建检测工具

2.4直接推理

2.5原图与目标物体结果图对比

原图：

目标物体间检测结果图：

第四部分：进阶实践作业

1.AgentLego WebUI使用

1.1修改模型

      AgentLego 算法库默认使用 InternLM2-Chat-20B 模型，因此我们首先需要修改成7B模型。

1.2使用LMDeploy部署

      LMDeploy启动一个api_server。

1.3启动AgentLego WebUI

1.4使用AgentLego WebUI

1.4.1配置Agent

1.4.2配置工具

1.4.3选择工具

1.4.4使用Agent

2.Lagent自定义工具

       基于Lagent 自定义一个工具。现一个调用和风天气 API 的工具以完成实时天气查询的功能。

2.1创建工具

2.2获取天气服务能力API KEY

     开发文档 | 和风天气开发服务 获得稳定的天气查询服务，获取服务能力API KEY。

2.3体验自定义工具效果

3.AgentLego自定义工具

     基于AgentLego构建自己的自定义工具。实现一个调用MagicMaker的API实现图像生成的工具。实现生成不同风格的图像。

3.1创建工具

3.2注册工具

3.3体验自定义工具效果