使用OpenSearch自查询检索器实现电影搜索

关注

最新推荐文章于 2026-08-21 19:17:26 发布 · 498 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

使用OpenSearch进行向量存储和自查询检索的实战演示在这篇文章中，我们将深入探讨如何使用OpenSearch进行向量存储，并结合自查询检索技术来优化搜索体验。OpenSearch是一款基于Apache Lucene的分布式搜索和分析引擎，灵活且可扩展，适用于搜索、分析和可观测性应用。阅读详情

在大数据时代，搜索和分析能力至关重要。开源软件套件OpenSearch提供了一个高效、可扩展的解决方案，用于搜索、分析和观察应用程序。OpenSearch基于Apache Lucene构建，是分布式的搜索引擎。在本篇文章中，我们将演示如何使用OpenSearch和向量存储实现自查询检索器（SelfQueryRetriever）。

技术背景介绍

OpenSearch是一款强大的分布式搜索和分析引擎，适用于各种规模的搜索应用。它允许开发者构建高性能的搜索和分析解决方案。通过结合OpenAI的嵌入技术，我们可以实现更智能的自查询检索器，帮助用户根据自然语言查询从向量存储中检索信息。

核心原理解析

通过使用OpenAI的嵌入技术，我们可以将文档内容转化为向量，并存储在OpenSearch中。然后利用自查询检索器结合语言模型（LLM）来解释用户的查询，并从存储中返回匹配的文档。这个过程涉及到向量化文档、构建检索器、以及处理复杂查询的步骤。

代码实现演示

首先，我们需要创建OpenSearch的向量存储，并进行数据填充。请确保安装了lark和opensearch-py库。

%pip install --upgrade --quiet lark opensearch-py

数据准备和存储

在代码中，我们将电影简介文档转为向量，并存储到OpenSearch的索引中。

import os
import getpass
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 输入自己OpenAI的API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 使用OpenAI的嵌入服务
embeddings = OpenAIEmbeddings()

# 准备电影简介文档
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他电影文档略
]

# 创建向量存储
vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://localhost:9200",
)

构建自查询检索器

接着，我们构建一个自查询检索器，利用语言模型来处理用户的自然语言查询。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain_retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 定义文档元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 其他字段信息略
]

# 初始化语言模型和检索器
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True
)

查询示例

我们可以使用检索器进行一些示例查询：

# 查询有关恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 查询由Greta Gerwig导演的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 查询高评分的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")