Questo documento descrive come visualizzare la telemetria per le risorse AI utilizzate dalle applicazioni, dai servizi e dai carichi di lavoro registrati in App Hub.
Per generare metriche come tasso di errore, latenza e utilizzo dei token, Application Monitoring esegue query sui dati di traccia per etichette ed eventi specifici dell'applicazione che seguono le convenzioni semantiche OpenTelemetry GenAI. Queste metriche quantificano l'integrità, il rendimento e il costo delle tue risorse AI e sono disponibili come dati aggregati per le applicazioni o come dati granulari per singoli servizi e workload.
La seguente dashboard mostra le informazioni sulle risorse AI per un'applicazione registrata:
Prima di iniziare
Le procedure descritte in questo documento richiedono un progetto Google Cloud con risorse AI attive da analizzare. Inoltre, richiedono che le risorse AI siano associate ad applicazioni, servizi e carichi di lavoro registrati in App Hub. Application Monitoring ha bisogno di dati di telemetria e tracce per produrre risultati significativi.
Configurare ruoli, API e impostare il monitoraggio delle applicazioni
- Completa i passaggi definiti in Esamina applicazioni, servizi e carichi di lavoro: prima di iniziare.
-
Abilita le API Observability, Cloud Trace e Telemetry.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (
roles/serviceusage.serviceUsageAdmin), che include l'autorizzazioneserviceusage.services.enable. Scopri come concedere i ruoli. -
Per ottenere le autorizzazioni necessarie per visualizzare le informazioni sull'utilizzo delle risorse AI, chiedi all'amministratore di concederti i seguenti ruoli IAM:
- Visualizzatore osservabilità (
roles/observability.viewer) sul tuo progetto - Observability View Accessor (
roles/observability.viewaccessor) sulle visualizzazioni di osservabilità che vuoi interrogare. Puoi limitare questa concessione a una visualizzazione specifica.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
- Visualizzatore osservabilità (
Sviluppare e registrare applicazioni, servizi e workload
Per visualizzare i dati per le risorse AI utilizzate dalle tue applicazioni, dai tuoi servizi e dai tuoi carichi di lavoro, i dati di traccia devono contenere etichette ed eventi specifici dell'applicazione che seguono le convenzioni semantiche OpenTelemetry GenAI. Puoi ottenere queste etichette seguendo questi passaggi:
- Registra la tua applicazione e i relativi servizi e workload con App Hub.
- Utilizza il framework Agent Development Kit (ADK) o strumenta l'applicazione con OpenTelemetry e invia i dati di traccia all'API Telemetry. Per esempi di strumentazione, vedi Instrumentare le applicazioni ADK con OpenTelemetry e Panoramica degli esempi di strumentazione basati sul collettore.
Visualizzare le risorse di AI per un'applicazione
Per visualizzare le risorse AI associate a un'applicazione:
-
Nella console Google Cloud , vai alla pagina Monitoraggio delle applicazioni:
Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.
Nella barra degli strumenti della console Google Cloud , seleziona il tuo progetto host di App Hub o il progetto di gestione.
Seleziona la scheda Applicazioni, quindi seleziona l'applicazione dall'elenco.
Seleziona la scheda Dashboard.
Nel Sommario della dashboard, seleziona Risorse AI.
Il sistema crea la voce Risorse AI quando hai almeno un agente AI associato alla tua applicazione attivo. Se non hai agenti o tutti gli agenti sono inattivi, l'opzione non viene visualizzata.
La dashboard passa alla sezione Risorse AI, che mostra informazioni come le seguenti:
- Query totali al secondo e conteggio dei token.
- Tasso di errore, latenza e tasso di errore di chiamata dello strumento medi.
- Utilizzo dei token.
- Tassi di errore e latenza per gli agenti.
Visualizzare le risorse AI per un servizio o un workload
Per visualizzare le risorse AI associate a un servizio o a un workload:
Apri la dashboard per il servizio o il workload:
-
Nella console Google Cloud , vai alla pagina Monitoraggio delle applicazioni:
Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.
Seleziona la scheda Servizi e workload e poi seleziona il servizio o il workload.
Si apre la dashboard del servizio o del workload. Il Sommario elenca le sezioni della dashboard, che potrebbero dipendere dal tipo di risorsa AI.
-
Per andare alla sezione della dashboard con informazioni sulle tue risorse AI, utilizza l'indice della dashboard:
Agente: disponibile per gli agenti. Questa sezione mostra informazioni su sessioni, chiamate di agenti e utilizzo dei token.
Strumenti: disponibili per gli agenti. Questa sezione mostra informazioni sulle chiamate agli strumenti, tra cui tasso di errore, numero di chiamate e latenza P95.
Modelli: disponibili per alcuni agenti. Questa sezione mostra informazioni sul numero di chiamate al modello effettuate dall'agente, sul tasso di errore e sull'utilizzo dei token.
Esplorare la telemetria
Le query SQL sui dati di traccia determinano i dati visualizzati nei grafici delle risorse AI. Queste query filtrano i dati di traccia in base alle etichette specifiche dell'applicazione e agli eventi di AI generativa che seguono le convenzioni semantiche OpenTelemetry GenAI.
Per visualizzare la query per un grafico, nella barra degli strumenti del grafico, seleziona more_vert Altre opzioni del grafico, quindi seleziona Esplora in Observability Analytics.
Si apre Observability Analytics e viene visualizzata la query SQL che genera i dati per il grafico. Hai le seguenti opzioni:
- Ispeziona la query e torna ad Application Monitoring.
- Esegui la query.
- Modifica la query e poi esegui la query modificata.
- Crea un grafico che mostri il risultato della query.
- Salva un grafico che mostra il risultato della query in una dashboard personalizzata.
Per saperne di più, consulta i seguenti documenti: