Ver recursos de IA com o Application Monitoring

Neste documento, descrevemos como visualizar a telemetria dos recursos de IA usados pelos aplicativos, serviços e cargas de trabalho registrados no App Hub.

Para gerar métricas como taxa de erros, latência e uso de tokens, o Application Monitoring consulta seus dados de rastreamento em busca de rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry. Essas métricas quantificam a integridade, a performance e o custo dos seus recursos de IA e estão disponíveis como dados agregados para aplicativos ou como dados detalhados para serviços e cargas de trabalho individuais.

O painel a seguir mostra informações de recursos de IA para um aplicativo registrado:

Painel que mostra informações sobre recursos de IA.

Antes de começar

Os procedimentos neste documento exigem um Google Cloud projeto com recursos de IA ativos para análise. Além disso, é necessário que seus recursos de IA estejam associados a aplicativos, serviços e cargas de trabalho registrados no App Hub. O Application Monitoring precisa de dados de telemetria e rastreamento para produzir resultados significativos.

Configurar papéis, APIs e o monitoramento de aplicativos

  1. Conclua as etapas definidas em Investigar aplicativos, serviços e cargas de trabalho: antes de começar.

  2. Ative as APIs Observability, Cloud Trace e Telemetry.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar as APIs

  3. Para receber as permissões necessárias para visualizar informações de uso de recursos de IA, peça ao administrador para conceder a você os seguintes papéis do IAM:

    Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Desenvolver e registrar aplicativos, serviços e cargas de trabalho

Para mostrar dados de recursos de IA usados pelos seus aplicativos, serviços e cargas de trabalho, os dados de rastreamento precisam conter rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry. Para receber esses rótulos, siga estas etapas:

  1. Registre seu aplicativo e os serviços e cargas de trabalho dele no App Hub.
  2. Use o framework do Kit de Desenvolvimento de Agente (ADK) ou instrumente seu aplicativo com o OpenTelemetry e envie os dados de rastreamento para a API Telemetry. Para exemplos de instrumentação, consulte Instrumentar aplicativos ADK com o OpenTelemetry e Visão geral de exemplos de instrumentação baseados em coletores.

Conferir recursos de IA para um aplicativo

Para conferir os recursos de IA associados a um aplicativo, faça o seguinte:

  1. No console do Google Cloud , acesse a página Monitoramento de aplicativos:

    Acessar Monitoramento de aplicativos

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Na barra de ferramentas do console Google Cloud , selecione seu projeto host ou de gerenciamento do App Hub.

  3. Selecione a guia Aplicativos e escolha o aplicativo na lista.

  4. Selecione a guia Painéis.

  5. No Sumário do painel, selecione Recursos de IA.

    O sistema cria a entrada Recursos de IA quando você tem pelo menos um agente de IA associado ao seu aplicativo que está ativo. Se você não tiver agentes ou se todos estiverem inativos, a opção não será listada.

O painel vai para a seção Recursos de IA, que mostra informações como as seguintes:

  • Total de consultas por segundo e contagem de tokens.
  • Taxa média de erros, latência e taxa de erros de chamada de ferramenta.
  • Uso de tokens.
  • Taxas de erro e latência para agentes.

Ver recursos de IA para um serviço ou carga de trabalho

Para ver os recursos de IA associados a um serviço ou carga de trabalho, faça o seguinte:

  1. Abra o painel do serviço ou da carga de trabalho:

    1. No console do Google Cloud , acesse a página Monitoramento de aplicativos:

      Acessar Monitoramento de aplicativos

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

    2. Selecione a guia Serviços e cargas de trabalho e escolha o serviço ou a carga de trabalho.

    O painel do serviço ou da carga de trabalho será aberto. O sumário lista as seções no painel, que podem depender do tipo de recurso de IA.

  2. Para acessar a seção do painel com informações sobre seus recursos de IA, use o Sumário do painel:

    • Agente: disponível para agentes. Esta seção mostra informações sobre sessões, invocações de agentes e uso de tokens.

    • Ferramentas: disponível para agentes. Esta seção mostra informações sobre chamadas de função, incluindo taxa de erro, contagem de chamadas e latência P95.

    • Modelos: disponível para alguns agentes. Esta seção mostra informações sobre o número de chamadas de modelo feitas pelo agente, a taxa de erros e o uso de tokens.

Analisar a telemetria

As consultas SQL nos dados de rastreamento determinam os dados mostrados nos gráficos de recursos de IA. Essas consultas filtram dados de rastreamento por rótulos específicos do aplicativo e eventos de IA generativa que seguem as convenções semânticas do OpenTelemetry GenAI.

Para ver a consulta de um gráfico, na barra de ferramentas dele, selecione Mais opções de gráfico e, em seguida, Explorar no Observability Analytics.

A Análise de observabilidade é aberta e mostra a consulta SQL que gera dados para o gráfico. Siga uma destas instruções:

  • Inspecione a consulta e volte ao Monitoramento de aplicativos.
  • Execute a consulta.
  • Modifique e execute a consulta.
  • Crie um gráfico que mostre o resultado da consulta.
  • Salve um gráfico que mostre o resultado da consulta em um painel personalizado.

Para saber mais, assista a estes vídeos: