使用 PromptLayer 进行 LangChain 回调处理

码龄2年

关注

原创最新推荐文章于 2025-12-29 06:58:58 发布 1k 阅读 GEO检测

使用PromptLayer和LangChain实现高效的Prompt工程 PromptLayer是一个集成平台，设计用于Prompt的管理和优化。它为我们提供了可视化工具来监控和分析Prompt的性能，并可以通过API与其他工具集成。特别是，PromptLayer可以与LangChain无缝协作，以增强大型语言模型（LLM）的管控能力。在这篇文章中，我们介绍了如何利用PromptLayer和LangChain进行Prompt工程。通过结合使用这两者，开发者可以更有效地管理和优化Prompt。阅读详情

在本篇文章中，我们将详细介绍如何设置和使用 PromptLayerCallbackHandler 来进行高效的提示工程和 LLM 可观测性。PromptLayer 是一个专注于提示工程的平台，并且能够可视化请求、版本提示和跟踪使用情况。通过集成 PromptLayer 和 LangChain，我们可以更好地管理和优化LLM的使用。

技术背景介绍

PromptLayer 是一个提供提示工程和 LLM 可观测性的平台。它帮助开发者视觉化请求、版本提示以及跟踪使用情况。结合 LangChain 我们可以通过回调机制实现更为细致的控制。

核心原理解析

PromptLayerCallbackHandler 提供了两个可选参数：

pl_tags：一个可选的字符串列表，这些标签将被追踪到 PromptLayer 上。
pl_id_callback：一个可选的函数，该函数将接收 promptlayer_request_id 作为参数。这个 ID 可用于所有的 PromptLayer 跟踪特性，记录元数据、评分和提示使用情况。

通过这些参数，我们可以有效地将执行的 prompt 和其元数据记录到 PromptLayer 上，并利用其强大的追踪管理功能进行分析和优化。

代码实现演示

安装和设置

首先，我们需要安装相关的库：

%pip install --upgrade --quiet langchain-community promptlayer --upgrade

然后, 获取 API 凭证。如果你还没有 PromptLayer 帐户，可以在 promptlayer.com 创建一个。然后通过点击导航栏中的设置图标获取 API 密钥，并将其设置为环境变量 PROMPTLAYER_API_KEY。

简单的 OpenAI 示例

在这个简单的示例中，我们使用 PromptLayerCallbackHandler 和 ChatOpenAI，并添加一个名为 chatopenai 的 PromptLayer 标签。

import promptlayer
from langchain_community.callbacks.promptlayer_callback import PromptLayerCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

# 使用稳定可靠的 API 服务
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

chat_llm = ChatOpenAI(
    temperature=0,
    callbacks=[PromptLayerCallbackHandler(pl_tags=["chatopenai"])],
)

llm_results = chat_llm.invoke(
    [
        HumanMessage(content="What comes after 1,2,3 ?"),
        HumanMessage(content="Tell me another joke?"),
    ]
)
print(llm_results)

GPT4All 示例

下面展示了如何在 GPT4All 中使用 PromptLayerCallbackHandler。

from langchain_community.llms import GPT4All
from langchain_community.callbacks.promptlayer_callback import PromptLayerCallbackHandler

model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)
callbacks = [PromptLayerCallbackHandler(pl_tags=["langchain", "gpt4all"])]

response = model.invoke(
    "Once upon a time, ",
    config={"callbacks": callbacks},
)
print(response)

完整功能示例

在这个示例中，我们展示了 PromptLayer 的更多功能。我们可以使用 Prompt Registry 获取名为 example 的提示模板，并定义一个 pl_id_callback 函数来记录评分、元数据并关联提示模板。

from langchain_openai import OpenAI

def pl_id_callback(promptlayer_request_id):
    print("prompt layer id ", promptlayer_request_id)
    promptlayer.track.score(
        request_id=promptlayer_request_id, score=100
    )
    promptlayer.track.metadata(
        request_id=promptlayer_request_id, metadata={"foo": "bar"}
    )
    promptlayer.track.prompt(
        request_id=promptlayer_request_id,
        prompt_name="example",
        prompt_input_variables={"product": "toasters"},
        version=1,
    )

openai_llm = OpenAI(
    model_name="gpt-3.5-turbo-instruct",
    callbacks=[PromptLayerCallbackHandler(pl_id_callback=pl_id_callback)],
)

example_prompt = promptlayer.prompts.get("example", version=1, langchain=True)
openai_llm.invoke(example_prompt.format(product="toasters"))