LlamaIndex+InternLM API 实践笔记

一、前置技术

1.RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索技术和语言生成模型的人工智能框架，旨在通过检索外部知识库中的相关信息来增强大语言模型（LLM）的生成能力。其框架由两部分组成：检索器和生成器。检索器负责从外部知识库中提取与用户查询相关的文档或信息片段，生成器则将这些检索到的信息整合到生成模型中，生成更准确、更丰富的回答。与内部修改参数相比，外部增加知识优势在于以下几点：

        解决幻觉问题，为模型提供最新的、准确的信息，减少模型生成错误回答的可能性。

        增强时效性，模型可以利用实时数据，生成更符合当前知识水平的回答。

        数据安全，支持私有化部署，企业可以将私有数据存储在本地，避免数据泄露风险。

2.LlamaIndex 是一个专注于构建基于大语言模型的数据应用框架，旨在帮助开发者创建能够与私有数据交互的智能应用。它通过提供数据摄入、索引构建和查询处理等功能，支持从文档RAG应用的完整流程（官网：https://www.llamaindex.ai/）。

3.“API”是“Application Programming Interface”（应用程序编程接口）的缩写。它是一种允许不同软件程序之间进行交互的规则和定义。可以理解让不同的软件能够互相通信和共享数据。nternLM API 是基于 InternLM 系列模型提供的接口服务，旨在为开发者提供便捷的方式来调用 InternLM 的强大语言生成和推理能力。通过 API，用户可以将 InternLM 集成到本地应用、云端服务、Web 应用以及其他软件项目中，极大地拓宽其应用场景（可以参考之前介绍书生大模型的博客）。

二、应用操作

1.在虚拟机上创建并激活python3.10的虚拟环境，安装Llamaindex相关的包，命令如下：

conda activate llamaindex
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

2.下载 Sentence Transformer 模型,设置python文件环境变量（时间比较长）：

huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer。

使用git下载第三方库 nltk使用开源词向量模型构建开源词向量，gitee.com/yzy0612/nltk_data 。

3.申请浦语api，进行测试。

4.使用API+LlamaIndex进行测试，进行对比。

后续，可以进行实现了知识库的构建与检索。这为管理和利用大规模知识库提供了强大的工具和基础，后续可以按需添加模块完成需求。