In diesem Dokument wird beschrieben, wie Sie Telemetriedaten für die KI-Ressourcen aufrufen, die von Ihren in App Hub registrierten Anwendungen, Diensten und Arbeitslasten verwendet werden.
Um Messwerte wie Fehlerrate, Latenz und Tokennutzung zu generieren, fragt Application Monitoring Ihre Trace-Daten nach anwendungsspezifischen Labels und Ereignissen ab, die den semantischen OpenTelemetry-Konventionen für generative KI entsprechen. Diese Messwerte quantifizieren den Zustand, die Leistung und die Kosten Ihrer KI-Ressourcen. Sie sind als aggregierte Daten für Anwendungen oder als detaillierte Daten für einzelne Dienste und Arbeitslasten verfügbar.
Das folgende Dashboard enthält Informationen zu KI-Ressourcen für eine registrierte Anwendung:
Hinweis
Für die Verfahren in diesem Dokument ist ein Google Cloud Projekt mit aktiven KI-Ressourcen Google Cloud erforderlich. Außerdem müssen Ihre KI-Ressourcen mit Anwendungen, Diensten und Arbeitslasten verknüpft sein, die in App Hub registriert sind. Für aussagekräftige Ergebnisse sind Telemetrie- und Tracedaten erforderlich.
Rollen und APIs konfigurieren und Anwendungsmonitoring einrichten
- Führen Sie die Schritte unter Anwendungen, Dienste und Arbeitslasten untersuchen: Vorbereitung aus.
-
Aktivieren Sie die Observability API, die Cloud Trace API und die Telemetry API.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (
roles/serviceusage.serviceUsageAdmin), die die Berechtigungserviceusage.services.enableenthält. Weitere Informationen zum Zuweisen von Rollen -
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Informationen zur Nutzung von KI-Ressourcen benötigen:
- Observability Viewer (
roles/observability.viewer) für Ihr Projekt - Observability View Accessor (
roles/observability.viewaccessor) für die Observability-Ansichten, die Sie abfragen möchten. Sie können diese Berechtigung auf eine bestimmte Ansicht beschränken.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
- Observability Viewer (
Anwendungen, Dienste und Arbeitslasten entwickeln und registrieren
Damit Daten für KI-Ressourcen angezeigt werden, die von Ihren Anwendungen, Diensten und Arbeitslasten verwendet werden, müssen Ihre Trace-Daten anwendungsspezifische Labels und Ereignisse enthalten, die den semantischen OpenTelemetry-Konventionen für generative KI entsprechen. So erhalten Sie diese Labels:
- Registrieren Sie Ihre Anwendung sowie die zugehörigen Dienste und Arbeitslasten in App Hub.
- Verwenden Sie das Agent Development Kit (ADK) Framework oder instrumentieren Sie Ihre Anwendung mit OpenTelemetry und senden Sie Ihre Tracedaten an die Telemetry API. Beispiele für die Instrumentierung finden Sie unter ADK-Anwendungen mit OpenTelemetry instrumentieren und Übersicht über Collector-basierte Instrumentierungsbeispiele.
KI‑Ressourcen für eine Anwendung ansehen
So rufen Sie KI-Ressourcen auf, die mit einer Anwendung verknüpft sind:
-
Rufen Sie in der Google Cloud Console die Seite Anwendungsmonitoring auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
Wählen Sie in der Symbolleiste der Google Cloud Console Ihr App Hub-Hostprojekt oder Verwaltungsprojekt aus.
Wählen Sie den Tab Anwendungen und dann die Anwendung aus der Liste aus.
Wählen Sie den Tab Dashboards aus.
Wählen Sie im Inhaltsverzeichnis des Dashboards die Option KI-Ressourcen aus.
Der Eintrag KI-Ressourcen wird vom System erstellt, wenn Ihrer Anwendung mindestens ein aktiver KI-Agent zugeordnet ist. Wenn Sie keine Agents haben oder alle Agents inaktiv sind, wird die Option nicht aufgeführt.
Auf dem Dashboard wird der Bereich KI-Ressourcen aufgerufen, in dem unter anderem die folgenden Informationen angezeigt werden:
- Gesamtzahl der Abfragen pro Sekunde und Anzahl der Tokens.
- Durchschnittliche Fehlerrate, Latenz und Fehlerrate für Tool-Aufrufe.
- Tokennutzung.
- Fehlerraten und Latenz für KI-Agents.
KI-Ressourcen für einen Dienst oder eine Arbeitslast ansehen
So rufen Sie KI-Ressourcen auf, die mit einem Dienst oder einer Arbeitslast verknüpft sind:
Öffnen Sie das Dashboard für den Dienst oder die Arbeitslast:
-
Rufen Sie in der Google Cloud Console die Seite Anwendungsmonitoring auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
Wählen Sie den Tab Dienste und Arbeitslasten und dann den Dienst oder die Arbeitslast aus.
Das Dashboard für den Dienst oder die Arbeitslast wird geöffnet. Im Inhaltsverzeichnis sind die Abschnitte im Dashboard aufgeführt, die vom Typ der KI-Ressource abhängen können.
-
Wenn Sie zum Bereich des Dashboards mit Informationen zu Ihren KI-Ressourcen wechseln möchten, verwenden Sie das Inhaltsverzeichnis des Dashboards:
Agent: Für Kundenservicemitarbeiter verfügbar. In diesem Abschnitt werden Informationen zu Sitzungen, Agent-Aufrufen und zur Tokennutzung angezeigt.
Tools: Für Agents verfügbar. In diesem Bereich werden Informationen zu Tool-Aufrufen angezeigt, einschließlich Fehlerrate, Anzahl der Aufrufe und P95-Latenz.
Modelle: Für einige Agenten verfügbar. In diesem Abschnitt werden Informationen zur Anzahl der Modellaufrufe des Agents, zur Fehlerrate und zur Tokennutzung angezeigt.
Telemetrie ansehen
SQL-Abfragen für Ihre Tracedaten bestimmen die Daten, die in den Diagrammen für KI-Ressourcen angezeigt werden. Mit diesen Abfragen werden Tracedaten nach anwendungsspezifischen Labels und Ereignissen der generativen KI gefiltert, die den semantischen OpenTelemetry-Konventionen für generative KI entsprechen.
Wenn Sie die Abfrage für ein Diagramm aufrufen möchten, wählen Sie in der Symbolleiste des Diagramms more_vert Weitere Diagrammoptionen und dann In Observability Analytics untersuchen aus.
Observability Analytics wird geöffnet und die SQL-Abfrage angezeigt, mit der Daten für das Diagramm generiert werden. Sie haben folgende Möglichkeiten:
- Prüfen Sie die Abfrage und kehren Sie dann zum Anwendungsmonitoring zurück.
- Führen Sie die Abfrage aus.
- Ändern Sie die Abfrage und führen Sie sie dann aus.
- Erstellen Sie ein Diagramm, in dem das Abfrageergebnis dargestellt wird.
- Speichern Sie ein Diagramm, in dem das Abfrageergebnis angezeigt wird, in einem benutzerdefinierten Dashboard.
Weitere Informationen finden Sie in folgenden Dokumenten: