使用应用监控查看 AI 资源

本文档介绍了如何查看 App Hub 注册的应用、服务和工作负载使用的 AI 资源的遥测数据。

为了生成错误率、延迟时间和 token 用量等指标，应用监控 会查询跟踪记录数据，以查找遵循 OpenTelemetry GenAI 语义惯例的应用专用标签 和事件。 这些指标可量化 AI 资源的健康状况、性能和费用，并且可以作为应用的汇总数据提供，也可以作为单个服务和工作负载的精细数据提供。

以下信息中心显示了已注册应用的 AI 资源信息：

准备工作

本文档中的过程需要一个包含要分析的活跃 AI 资源的项目。 Google Cloud 它们还要求 AI 资源与已向 App Hub 注册的应用、服务和工作负载相关联。应用监控需要遥测数据和跟踪记录数据才能生成有意义的结果。

配置角色、API 并设置应用监控

1. 完成 调查应用、服务和工作负载：准备工作中所述的步骤。

2. 启用 Observability、Cloud Trace 和 Telemetry API。

   启用 API 所需的角色

   如需启用 API，您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin)，该角色包含 serviceusage.services.enable 权限。了解如何授予 角色。

   启用 API

3. 如需获得查看 AI 资源用量信息所需的权限，请让您的管理员为您授予以下 IAM 角色：

   • Observability Viewer (roles/observability.viewer) 项目
   • Observability View Accessor (roles/observability.viewaccessor) 您要查询的 Observability 视图。您可以将此授予限制为特定视图。

   如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

   您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

开发和注册应用、服务和工作负载

如需显示应用、服务和工作负载使用的 AI 资源的数据，跟踪记录数据必须包含遵循 OpenTelemetry GenAI 语义惯例的应用专用标签和事件。您可以按照以下步骤获取这些标签：

1. 向 App Hub 注册应用及其服务和工作负载。
2. 使用 智能体开发套件 (ADK) 框架 或使用 OpenTelemetry 对应用进行插桩，并将跟踪记录 数据发送到 Telemetry API。如需查看插桩示例，请参阅 使用 OpenTelemetry 对 ADK 应用进行插桩和 基于收集器的插桩示例概览。

查看应用的 AI 资源

如需查看与应用关联的 AI 资源，请执行以下操作：

1. 在 Google Cloud 控制台中，前往 应用监控 页面：

   前往应用监控

   如果您使用搜索栏查找此页面，请选择子标题为监控 的结果。

2. 在控制台的 Google Cloud 工具栏中，选择 您的 App Hub 宿主项目或 管理项目。

3. 选择应用 标签页，然后从列表中选择应用。

4. 选择信息中心 标签页。

5. 在信息中心的目录 中，选择 AI 资源 。

   当您至少有一个与应用关联的 AI 智能体处于活跃状态时，系统会创建 AI 资源 条目。如果您没有任何代理或所有代理都处于非活跃状态，则不会列出该选项。

信息中心会转到 AI 资源 部分，其中会显示以下信息：

• 每秒查询次数和 token 数。
• 平均错误率、延迟时间和工具调用错误率。
• token 用量。
• 代理的错误率和延迟时间。

查看服务或工作负载的 AI 资源

如需查看与服务或工作负载关联的 AI 资源，请执行以下操作：

1. 打开服务或工作负载的信息中心：

   1. 在 Google Cloud 控制台中，前往 应用监控 页面：

      前往应用监控

      如果您使用搜索栏查找此页面，请选择子标题为监控 的结果。

   2. 选择服务和工作负载 标签页，然后选择服务或工作负载。

   系统会打开服务或工作负载的信息中心。目录 列出了信息中心内的各个部分，这些部分可能取决于 AI 资源的类型。

2. 如需前往信息中心中包含 AI 资源相关信息的部分，请使用信息中心的目录：

   • 代理：适用于代理。此部分显示了会话、代理调用和 token 用量相关信息。

   • 工具：适用于代理。此部分显示了工具调用相关信息，包括错误率、调用次数和 P95 延迟时间。

   • 模型：适用于某些代理。此部分显示了代理发出的模型调用次数、错误率和 token 用量相关信息。

探索遥测数据

针对跟踪记录数据的 SQL 查询决定了 AI 资源图表上显示的数据。这些查询会根据 遵循 OpenTelemetry GenAI 语义惯例的应用专用标签 和生成式 AI 事件来过滤跟踪记录数据。

如需查看图表的查询，请在图表的工具栏中， 依次选择 more_vert 更多图表选项 和 在 Observability Analytics 中探索。

Observability Analytics 会打开并显示生成图表数据的 SQL 查询。您可以采取以下做法：

• 检查查询，然后返回到应用监控。
• 运行查询。
• 修改查询，然后运行修改后的查询。
• 创建显示查询结果的图表。
• 将显示查询结果的图表保存到自定义信息中心。

如需了解详情，请参阅以下文档：

• 遥测数据存储概览：跟踪记录数据
• Observability Analytics