AIGC学习笔记（11）——AI大模型开发工程师

AI大模型开发工程师

010 LangChain之Retrieval模块

1 Retrieval模块核心知识

Data Connection

Load 文档加载器

• 从许多不同的来源加载文档。LangChain提供了100多个不同的文档加载器，以及与其他主要提供商（如AirByte和Unstructured）的集成。提供了加载所有类型文档（HTML、PDF、代码）的集成，可以从各种位置（私有s3存储桶、公共网站）加载。

Transform 文档转换器

• 检索的一个关键部分是仅获取文档中相关的部分。这涉及到多个转换步骤，以最好地准备文档进行检索。其中一个主要步骤是将大型文档分割（或分块）为较小的块。LangChain提供了几种不同的算法来实现这一点，并且还针对特定文档类型（代码、Markdown等）优化了逻辑。

Embed 文本嵌入模型