【RAG】【embeddings35】Oracle Cloud Infrastructure Generative AI嵌入模型完整案例

Oracle Cloud Infrastructure (OCI) Generative AI是一个完全托管的服务，提供了一系列最先进的、可定制的大型语言模型(LLMs)，涵盖广泛的使用场景，并通过单一API提供服务。本案例将展示如何使用OCI Generative AI的嵌入模型与LlamaIndex集成，实现文本嵌入功能。

1. 案例目标

本案例旨在展示如何：

• 使用OCI Generative AI服务提供的预训练嵌入模型
• 通过LlamaIndex与OCI Generative AI嵌入模型集成
• 配置OCI服务端点和身份验证
• 实现文本嵌入和查询嵌入操作
• 使用批量处理提高嵌入效率

2. 技术栈与核心依赖

• llama-index-embeddings-oci-genai - OCI Generative AI嵌入模型的LlamaIndex集成库
• oci - Oracle Cloud Infrastructure SDK，用于与OCI服务交互
• OCI Generative AI Service - Oracle云生成式AI服务平台
• Cohere嵌入模型 - OCI提供的预训练嵌入模型
• Python 3.x - 编程语言环境

3. 环境配置

3.1 安装依赖

%pip install llama-index-embeddings-oci-genai
!pip install llama-index
!pip install -U oci

3.2 OCI配置

在使用OCI Generative AI服务之前，需要配置以下信息：

• 服务端点：OCI Generative AI服务的API端点
• 区间ID：OCI资源所在的区间标识符
• 身份验证：配置适当的OCI身份验证方式

4. 案例实现

4.1 初始化嵌入模型

from llama_index.embeddings.oci_genai import OCIGenAIEmbeddings

# 初始化OCI Generative AI嵌入模型
embedding = OCIGenAIEmbeddings(
    model_name="cohere.embed-english-light-v3.0",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)

4.2 文本嵌入

# 单个文本嵌入
e1 = embedding.get_text_embedding("这是一个测试文档")
print(e1[-5:])  # 打印嵌入向量的最后5个元素

4.3 查询嵌入

# 查询嵌入
e2 = embedding.get_query_embedding("这是一个测试文档")
print(e2[-5:])  # 打印嵌入向量的最后5个元素

4.4 批量文本嵌入

# 批量文本嵌入
docs = ["这是一个测试文档", "这是另一个测试文档"]
e3 = embedding.get_text_embedding_batch(docs)
print(e3)

5. 案例效果

• 企业级服务：利用OCI Generative AI的托管服务，获得高可用性和可靠性
• 预训练模型：直接使用Cohere等高质量预训练嵌入模型
• 统一API：通过单一API访问多种生成式AI功能
• 灵活部署：支持预训练模型和自定义微调模型
• 批量处理：支持批量文本嵌入，提高处理效率

6. 案例实现思路

本案例的实现基于以下思路：

1. 云服务集成：通过LlamaIndex集成OCI Generative AI的嵌入模型服务
2. API封装：将OCI Generative AI的API封装为LlamaIndex标准的嵌入接口
3. 模型选择：支持选择不同的预训练嵌入模型
4. 批量优化：实现批量处理，减少API调用次数，提高效率
5. 错误处理：添加适当的错误处理和重试机制

7. 扩展建议

• 自定义模型：在OCI Generative AI上部署自定义训练的嵌入模型
• 多语言支持：探索支持多语言的嵌入模型
• 缓存机制：添加嵌入向量缓存，减少重复计算
• 性能监控：集成OCI监控服务，跟踪模型使用情况
• 安全增强：利用OCI的安全特性，加强数据保护
• 异步支持：实现异步API，支持高并发场景
• 向量存储：将嵌入向量存储到专门的向量数据库中

8. 总结

Oracle Cloud Infrastructure Generative AI提供了一个强大、可靠的平台，用于访问和部署大型语言模型和嵌入模型。通过LlamaIndex的集成，开发者可以轻松地将OCI Generative AI上的嵌入模型应用到各种NLP任务中。本案例展示了如何配置OCI服务端点、初始化嵌入模型以及实现文本嵌入和查询嵌入操作。利用OCI的企业级基础设施和预训练模型，开发者可以快速构建可扩展、高可用的文本嵌入解决方案，满足企业级应用的需求。