书生浦语第二期实战营学习笔记（作业）（第三节课）

书生浦语第二期实战营系列—综述加技术报告研读
书生浦语第二期实战营系列—Tutorial1：demo体验
书生浦语第二期实战营系列—Tutorial2：RAG
书生浦语第二期实战营系列—Tutorial3：Xtuner微调
书生浦语第二期实战营系列—Tutorial4：Lmdeploy量化部署
书生浦语第二期实战营系列—Tutorial5：Agent
书生浦语第二期实战营系列—Tutorial6：OpenCompass

1 RAG基础知识

1.1 RAG技术概述

如下图，RAG是检索用户提供的外部知识库，让LLM理解然后生成的一种技术

1.2 向量数据库

首先看下用户输入的向量数据库是怎么构建的，通过word2vec等成熟技术将上传的文本转化为向量，方便计算机存储和相似度检索

1.3 RAG工作原理和流程

1.3.1 RAG工作原理

如下图，主要可以概括为以下三个部分：
1.数据库生成
2.用户输入检索
3.整理数据库检索内容和一些特定的Prompt给LLM生成

1.3.2 RAG工作流程

下面是构建好的RAG使用的流程：用户的输入在向量数据库（知识库）中检索，具体的检索方式就是求相似度：
1.检索到的超过阈值的文本索引出来和prompt提供给LLM，给出回答；
2.未检索到的超过阈值的LLM根据输入和prompt给出回答；

1.4 RAG常见优化方法

上面RAG使用的流程中可以看到，RAG也面临许多问题，例如：本来知识库有的没检索出来 检索效率低等。下面介绍了一些常见的优化方法：

1.5 RAG or Fine-Tuning

1.5.1 RAG vs Fine-Tuning

下面列举了一些RAG和Fine-Tuning各自的优势和局限

1.5.2 RAG 和 Fine-Tuning怎么选

具体是选择RAG还是 Fine-Tuning需要根据我们的实际任务来：
1.需要让LLM具备更多的外部知识库的能力，选择RAG；
2.需要让LLM在执行具体任务是有更强的适应能力，选择 Fine-Tuning；
3.既要1又要2，可以选择RAG和Fine-Tuning；
4.既不那么要1，也不那么要2，可以选择Prompt Engineering；

1.6 RAG的评估

下面是对做好的RAG的一些评估手段

2 RAG应用-茴香豆

2.1 茴香豆的简介

2.2 茴香豆的构建流程

可以看到茴香豆不仅是一个应用，也是一套非常完善的Pipline，它包含了：
1.知识库构建
2.和前端交互
3.和后端交互

2.3 茴香豆工作流

下面是茴香豆的一个完整的工作流：
1.用户输入，用大模型给出输入的keyword；
2.对用户的输入进行理解并打分，是否拒答；
3.不拒答的，分别可以在外部知识库 网页 甚至知识图谱中进行检索；
4.对检索的结果给到LLM进行组织；
5.对LLM的输出进行安全检查，确保安全合规；

2.4 线上茴香豆助手试用

2.4.1 创建知识库

点击链接：https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web
创建并上传个人知识库，这里找了些猫相关的知识，做成文档

上传个人知识库

2.4.2 试用茴香豆 Web 版（基础作业1）

上传好后就可以和豆哥对话，5轮 截图为证

2.5 在 InternLM Studio 上部署茴香豆技术助手

2.5.1 安装依赖

激活之前已经安装好的环境，安装一些可能会缺的包

conda activate internlm
pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==