Ce document explique comment afficher la télémétrie des ressources d'IA utilisées par vos applications, services et charges de travail enregistrés dans App Hub.
Pour générer des métriques telles que le taux d'erreur, la latence et l'utilisation des jetons, Application Monitoring interroge vos données de trace pour obtenir des libellés spécifiques à l'application et des événements qui suivent les conventions sémantiques OpenTelemetry GenAI. Ces métriques quantifient l'état, les performances et le coût de vos ressources d'IA. Elles sont disponibles sous forme de données agrégées pour les applications ou de données granulaires pour les services et les charges de travail individuels.
Le tableau de bord suivant affiche des informations sur les ressources d'IA pour une application enregistrée :
Avant de commencer
Les procédures décrites dans ce document nécessitent un Google Cloud projet comportant des ressources d'IA actives à analyser. Elles nécessitent également que vos ressources d'IA soient associées à des applications, des services et des charges de travail enregistrés dans App Hub. Application Monitoring a besoin de données de télémétrie et de trace pour produire des résultats significatifs.
Configurer des rôles, des API et Application Monitoring
- Suivez les étapes définies dans Examiner les applications, les services et les charges de travail : avant de commencer.
-
Activez les API Observability, Cloud Trace et Telemetry.
Rôles requis pour activer les API
Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (
roles/serviceusage.serviceUsageAdmin), qui contient l'autorisationserviceusage.services.enable. Découvrez comment attribuer des rôles. -
Pour obtenir les autorisations dont vous avez besoin pour afficher les informations sur l'utilisation des ressources d'IA, demandez à votre administrateur de vous attribuer les rôles IAM suivants :
- Lecteur d'observabilité (
roles/observability.viewer) sur votre projet - Accesseur de vue d'observabilité (
roles/observability.viewaccessor) sur les vues d'observabilité que vous souhaitez interroger. Vous pouvez limiter cette autorisation à une vue spécifique.
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
- Lecteur d'observabilité (
Développer et enregistrer des applications, des services et des charges de travail
Pour afficher les données des ressources d'IA utilisées par vos applications, services et charges de travail utilisent, vos données de trace doivent contenir des libellés et des événements spécifiques à l'application qui suivent les conventions sémantiques OpenTelemetry GenAI. Pour obtenir ces libellés, procédez comme suit :
- Enregistrez votre application, ses services et ses charges de travail dans App Hub.
- Utilisez le framework Agent Development Kit (ADK) ou instrumentez votre application avec OpenTelemetry et envoyez vos données de trace à l'API Telemetry. Pour obtenir des exemples d'instrumentation, consultez Instrumenter des applications ADK avec OpenTelemetry et Présentation des exemples d'instrumentation basés sur le collecteur.
Afficher les ressources d'IA pour une application
Pour afficher les ressources d'IA associées à une application, procédez comme suit :
-
Dans la Google Cloud console, accédez à la page Application monitoring (Surveillance des applications) :
Accéder à Application monitoring (Surveillance des applications)
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
Dans la barre d'outils de la Google Cloud console, sélectionnez votre projet hôte App Hub ou projet de gestion.
Sélectionnez l'onglet Applications, puis l'application dans la liste.
Sélectionnez l'onglet Tableaux de bord.
Dans la Table des matières du tableau de bord, sélectionnez Ressources d'IA.
Le système crée l'entrée Ressources d'IA lorsque vous disposez d'au moins un agent d'IA associé à votre application qui est actif. Si vous n'avez aucun agent ou si tous les agents sont inactifs, l'option n'est pas listée.
Le tableau de bord accède à la section Ressources d'IA, qui affiche des informations telles que les suivantes :
- Nombre total de requêtes par seconde et nombre de jetons
- Taux d'erreur moyen, latence et taux d'erreur d'appel d'outil
- Utilisation des jetons
- Taux d'erreur et latence des agents
Afficher les ressources d'IA pour un service ou une charge de travail
Pour afficher les ressources d'IA associées à un service ou à une charge de travail, procédez comme suit :
Ouvrez le tableau de bord du service ou de la charge de travail :
-
Dans la Google Cloud console, accédez à la page Application monitoring (Surveillance des applications) :
Accéder à Application monitoring (Surveillance des applications)
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
Sélectionnez l'onglet Services et charges de travail , puis le service ou la charge de travail.
Le tableau de bord du service ou de la charge de travail s'ouvre. La Table des matières liste les sections du tableau de bord, qui peuvent dépendre du type de ressource d'IA.
-
Pour accéder à la section du tableau de bord contenant des informations sur vos ressources d'IA, utilisez la Table des matières du tableau de bord :
Agent : disponible pour les agents. Cette section affiche des informations sur les sessions, les appels d'agent et l'utilisation des jetons.
Outils : disponible pour les agents. Cette section affiche des informations sur les appels d'outils, y compris le taux d'erreur, le nombre d'appels et la latence P95.
Modèles : disponible pour certains agents. Cette section affiche des informations sur le nombre d'appels de modèle effectués par l'agent, le taux d'erreur et l'utilisation des jetons.
Explorer la télémétrie
Les requêtes SQL sur vos données de trace déterminent les données affichées dans les graphiques de ressources d'IA. Ces requêtes filtrent les données de trace par libellés spécifiques à l'application et par événements d'IA générative qui suivent les conventions sémantiques OpenTelemetry GenAI.
Pour afficher la requête d'un graphique, dans la barre d'outils du graphique, sélectionnez more_vert Autres options de graphique, puis sélectionnez Explorer dans Observability Analytics.
Observability Analytics s'ouvre et affiche la requête SQL qui génère les données du graphique. Vous avez le choix entre les options suivantes :
- Inspectez la requête, puis revenez à Application Monitoring.
- Exécutez la requête.
- Modifiez la requête, puis exécutez-la.
- Créez un graphique qui affiche le résultat de la requête.
- Enregistrez un graphique qui affiche le résultat de la requête dans un tableau de bord personnalisé.
Pour en savoir plus, consultez les documents suivants :