アプリケーション モニタリングで AI リソースを表示する

このドキュメントでは、App Hub に登録されているアプリケーション、サービス、ワークロードで使用される AI リソースのテレメトリーを表示する方法について説明します。

エラー率、レイテンシ、トークン使用量などの指標を生成するために、アプリケーション モニタリングは、OpenTelemetry GenAI セマンティック規則に従うアプリケーション固有のラベルとイベントのトレースデータをクエリします。これらの指標は、AI リソースの健全性、パフォーマンス、費用を定量化します。アプリケーションの集計データとして、または個々のサービスとワークロードの詳細データとして使用できます。

次のダッシュボードは、登録済みアプリケーションの AI リソース情報を示しています。

AI リソース情報を表示するダッシュボード。

始める前に

このドキュメントの手順では、分析するアクティブな AI リソースを含む Google Cloud プロジェクトが必要です。また、AI リソースが App Hub に登録されているアプリケーション、サービス、ワークロードに関連付けられていることも必要です。アプリケーション モニタリングでは、有意義な結果を得るためにテレメトリー データとトレースデータが必要です。

ロールと API を構成し、アプリケーション モニタリングを設定する

  1. アプリケーション、サービス、ワークロードを調査する: 始める前にで定義されている手順を完了します。

  2. Observability API、Cloud Trace API、Telemetry API を有効にします。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限を含む Service Usage 管理者 IAM ロール（roles/serviceusage.serviceUsageAdmin）が必要です。詳しくは、ロールを付与する方法をご覧ください。

    API を有効にする

  3. AI リソースの使用状況情報を表示するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

    ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

    必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

アプリケーション、サービス、ワークロードの開発と登録

アプリケーション、サービス、ワークロードで使用する AI リソースのデータを表示するには、トレースデータにアプリケーション固有のラベルと、OpenTelemetry GenAI セマンティック規約に準拠するイベントが含まれている必要があります。これらのラベルを取得するには、次の手順を行います。

  1. アプリケーションとそのサービスとワークロードを App Hub に登録します。
  2. Agent Development Kit（ADK）フレームワークを使用するか、OpenTelemetry でアプリケーションを計測して、トレースデータを Telemetry API に送信します。計測サンプルの場合は、OpenTelemetry を使用して ADK アプリケーションを計測するとコレクタベースの計測サンプルの概要をご覧ください。

アプリケーションの AI リソースを表示する

アプリケーションに関連付けられた AI リソースを表示する手順は次のとおりです。

  1. Google Cloud コンソールで、[アプリケーションのモニタリング] ページに移動します。

    [アプリケーションのモニタリング] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

  2. Google Cloud コンソールのツールバーで、App Hub ホスト プロジェクトまたは管理プロジェクトを選択します。

  3. [アプリケーション] タブを選択し、リストからアプリケーションを選択します。

  4. [ダッシュボード] タブを選択します。

  5. ダッシュボードの [目次] で、[AI リソース] を選択します。

    システムは、アクティブな AI エージェントが 1 つ以上アプリケーションに関連付けられている場合に、[AI リソース] エントリを作成します。エージェントがいない場合や、すべてのアクティブなエージェントがいない場合は、このオプションは表示されません。

ダッシュボードの [AI リソース] セクションに移動し、次のような情報が表示されます。

  • 秒間クエリ数とトークン数の合計。
  • 平均エラー率、レイテンシ、ツール呼び出しエラー率。
  • トークン使用量。
  • エージェントのエラー率とレイテンシ。

サービスまたはワークロードの AI リソースを表示する

サービスまたはワークロードに関連付けられている AI リソースを表示する手順は次のとおりです。

  1. サービスまたはワークロードのダッシュボードを開きます。

    1. Google Cloud コンソールで、[アプリケーションのモニタリング] ページに移動します。

      [アプリケーションのモニタリング] に移動

      検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

    2. [サービスとワークロード] タブを選択し、サービスまたはワークロードを選択します。

    サービスまたはワークロードのダッシュボードが開きます。目次には、ダッシュボードのセクションが一覧表示されます。これは、AI リソースのタイプによって異なる場合があります。

  2. AI リソースに関する情報を含むダッシュボードのセクションに移動するには、ダッシュボードの目次を使用します。

    • エージェント: エージェントが利用できます。このセクションには、セッション、エージェントの呼び出し、トークンの使用状況に関する情報が表示されます。

    • ツール: エージェントが利用できます。このセクションには、エラー率、呼び出し回数、P95 レイテンシなど、ツール呼び出しに関する情報が表示されます。

    • モデル: 一部のエージェントで利用できます。このセクションには、エージェントが行ったモデル呼び出しの数、エラー率、トークン使用量に関する情報が表示されます。

テレメトリーを調べる

トレースデータに対する SQL クエリによって、AI リソースグラフに表示されるデータが決まります。これらのクエリは、アプリケーション固有のラベルと、OpenTelemetry GenAI セマンティック規約に準拠する生成 AI イベントでトレースデータをフィルタします。

グラフのクエリを表示するには、グラフのツールバーで （その他のグラフ オプション）を選択し、[Observability Analytics で調べる] を選択します。

[オブザーバビリティ分析] が開き、グラフのデータを生成する SQL クエリが表示されます。以下のいずれかをご検討ください。

  • クエリを検査してから、アプリケーション モニタリングに戻ります。
  • クエリを実行します。
  • クエリを変更し、変更したクエリを実行します。
  • クエリ結果を表示するグラフを作成します。
  • クエリ結果を表示するグラフをカスタム ダッシュボードに保存します。

詳細については、次のリソースをご覧ください。