构建查询分析系统：一步步实现搜索引擎优化

关注

最新推荐文章于 2026-08-21 19:17:26 发布 · 676 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

构建一个查询分析系统 在构建一个查询分析系统时，需要能够加载文档、使用聊天模型、生成嵌入、创建向量存储并执行检索。这些过程的目标是将用户输入的查询优化，以实现更为精准的检索结果。本文将通过一个端到端的示例展示如何使用查询分析提升检索结果的相关性。我们将着眼于如何对LangChain的YouTube视频进行检索，并通过查询分析解决原始用户问题直接传递给搜索引擎时可能出现的失败模式。阅读详情

技术背景介绍

在现代信息 retrieval 系统中，简单的内容检索往往无法满足用户的复杂查询需求。特别是在处理自然语言查询时，直接的字符串匹配可能导致结果不够精确或相关。本次指南将展示如何利用查询分析技术来改进搜索引擎结果。我们将构建一个简单的查询分析系统，通过对 LangChain 的 YouTube 视频进行检索来展示其效果。

核心原理解析

查询分析的核心在于将自然语言查询转换为结构化查询，以便能够根据特定的文档属性进行过滤和精确匹配。在这个示例中，我们将通过定义一个查询模式（query schema），并使用 OpenAI 模型将自然语言查询转换为结构化查询。

代码实现演示

安装依赖

# 安装必要的Python依赖
%pip install -qU langchain langchain-community langchain-openai youtube-transcript-api pytube langchain-chroma

设置环境变量

使用 OpenAI 的 API 进行查询分析。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 安全获取API密钥

加载文档

利用 YoutubeLoader 从 YouTube 加载 LangChain 视频的转录文本。

from langchain_community.document_loaders import YoutubeLoader

urls = [
    "https://www.youtube.com/watch?v=HAn9vnJy6S4",
    # 可继续添加其他视频链接
]
docs = []
for url in urls:
    docs.extend(YoutubeLoader.from_youtube_url(url, add_video_info=True).load())

# 为每个文档添加额外的元数据
import datetime

for doc in docs:
    doc.metadata["publish_year"] = int(
        datetime.datetime.strptime(
            doc.metadata["publish_date"], "%Y-%m-%d %H:%M:%S"
        ).strftime("%Y")
    )

索引文档

使用向量存储创建文档索引。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)
chunked_docs = text_splitter.split_documents(docs)
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(
    chunked_docs,
    embeddings,
)

不使用查询分析的检索

直接对用户问题进行相似性搜索。

search_results = vectorstore.similarity_search("how do I build a RAG agent")
print(search_results[0].metadata["title"])  # 打印检索到的文档标题

使用查询分析进行检索

定义查询模式，转换用户问题到结构化查询。

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class Search(BaseModel):
    query: str = Field(..., description="Similarity search query applied to video transcripts.")
    publish_year: Optional[int] = Field(None, description="Year video was published")

# 使用 OpenAI 模型生成结构化查询。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are an expert at converting user questions into database queries."),
    ("human", "{question}"),
])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

利用生成的查询进行检索：

def retrieval(search: Search):
    if search.publish_year is not None:
        _filter = {"publish_year": {"$eq": search.publish_year}}
    else:
        _filter = None
    return vectorstore.similarity_search(search.query, filter=_filter)

retrieval_chain = query_analyzer | retrieval
results = retrieval_chain.invoke("RAG tutorial published in 2023")
[(doc.metadata["title"], doc.metadata["publish_date"]) for doc in results]