ユーザーガイド: 要約の自動評価

要約の自動評価（自動評価）では、精度、完全性、準拠の 3 つの指標に基づいて要約の品質を評価します。この機能は、カスタム セクション定義の調整や、要約モデルに影響するソフトウェアのアップグレードを行う際に重要な、要約生成ツールの品質を評価するのに役立ちます。評価指標の詳細については、要約の自動評価指標をご覧ください。

始める前に

  • 評価用の候補要約を生成する要約生成ツールを作成します。
  • 生成ツールのセクション定義は、評価の正解データ（グラウンド トゥルース）として機能します。
  • 最終スコアに生成ツールの品質が反映されるように、各セクションの手順が生成ツールの手順と一致している必要があります。

要約の自動評価リクエストを作成する

次の手順に沿って要約生成ツールを作成します。

  1. Agent Assist コンソールに移動してログインします。

    コンソールへ移動

  2. プロジェクトを選択します。

  3. [評価] > [新しい評価] をクリックします。

  4. 一意の表示名 を入力し、候補要約に一致する生成ツール を選択します。

  5. [次へ] をクリックします。

  6. 次のいずれかのオプションで評価データセットを選択します。

    • [期間内の会話のランダム サンプル]: Agent Assist の要約機能の料金をお支払い済みの場合は、[期間] と最大 [会話数] を指定します。評価では、履歴から最大数の会話と要約がランダムに選択されます。
    • [**特定のデータセットを選択する**]: Customer Experience Insights でキュレートした会話の特定のサンプルを選択します。

  7. 次のいずれかのオプションから要約ソースを選択します。

    • 指定した生成ツールを使用して、欠落している要約のみを生成します。要約生成費用が発生します。
    • すべての会話の新しい要約を生成します。要約生成費用が発生します。
    • 要約を生成しません。代わりに、データセットで見つかった既存の要約を使用します。別の費用が発生します。

  8. [次へ] をクリックします。

  9. [フォルダを選択] をクリックし、結果を保存するバケット内の Cloud Storage フォルダを選択して、[OK] をクリックします。自動評価では、CSV ファイルに書き込まれ、Cloud Storage バケットに保存されます。

  10. [実行] をクリックします。これは長時間実行オペレーションです。新しい評価が表に表示されます。

評価

次の手順に沿って、要約生成ツールと完了した評価セッションの実行の一覧を表示します。

  1. Agent Assist コンソールに移動してログインします。 コンソールへ移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. 省略可: 作成時間の順序を切り替えるには、keyboard_arrow_down [下] を [作成時間] 列見出しでクリックします。

リストをフィルタリングする

次の手順に沿ってリストをフィルタリングし、特定の評価を検索します。

  1. [評価をフィルタ] をクリックします。

  2. 次のいずれかを選択します。

    • [表示名]
    • [生成ツール名]
    • [作成時間]

  3. パラメータの値を入力します。

評価を削除する

  1. 生成ツールが評価の実行を完了するまで待ちます。
  2. [delete] [Delete] をクリックして評価をクリアします。

評価の結果を表示する

次の手順に沿って、Agent Assist コンソールから詳細な評価結果を表示します。

  1. Agent Assist コンソールに移動してログインします。 コンソールへ移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. リスト内の任意の行をクリックして、次の情報を含む [評価の詳細] を表示します。
    • 生成ツールの表示名
    • 会話数
    • Customer Experience Insights データセットがある場合は、関連付けられた Customer Experience Insights データセットの名前
    • 実行日時
    • Cloud Storage 出力
    • データセット全体の全体的なパフォーマンスの結果
    • データセット内の各会話の会話レベルの結果

会話レベルの結果

Agent Assist には、会話レベルの評価結果が表形式で表示されます。

  1. [評価の詳細] ページで、[会話レベルの結果] テーブルの任意の行をクリックすると、詳細な結果、要約、会話の文字起こしが表示されます。
  2. セクションをクリックすると、要約からそのセクションの例が表示されます。

結果の比較

次の手順に沿って、さまざまな評価の結果を比較します。

  1. Agent Assist コンソールで、[評価] に移動します。
  2. 評価をクリックして詳細を表示します。この評価は比較の基準となり、比較に含める指標を決定します。
  3. [比較] > [実行を追加] をクリックして、比較する他の評価を追加します。一度に最大 5 つの評価を比較できます。各表示名はグレーでハイライト表示されます。
  4. 比較から評価を削除するには、[close] [閉じる] をクリックします。

要約生成ツールのバージョンを比較する

要約の自動評価を使用して、要約生成ツールのさまざまなバージョンの要約を比較することもできます。会話の文字起こしのコレクションが必要です。

以下に、Summarization v4.0 生成ツールと v5.0 生成ツールに基づいて評価結果を比較する例を示します。

ステップ 1: 要約生成ツールの新しいバージョンを作成する

まだ要約生成ツールを使用していない場合は、手順に沿って、要約バージョン 4.0 を使用する要約生成ツールを作成します。次に、次の手順に沿って、要約バージョン 5.0 を使用する 2 つ目の生成ツールを作成します。

  1. [Agent Assist コンソール] > [要約] ページに移動します。
  2. 生成ツールの more_vert > [**生成ツールを複製**] > 生成ツールのコピー名をクリックします。
  3. For the [Version], choose [5.0] and click [Save].

ステップ 2: データセットを作成する

手順に沿って、データセットを作成します。最大 100 件の会話を含む。評価ごとに最大 100 件の会話を作成できます。

ステップ 3: 要約の評価を作成する

次の手順に沿って、各評価を作成します。

  1. Agent Assist コンソールに移動してログインし、プロジェクトを選択します。
  2. [評価] > [新しい評価] をクリックします。
  3. 一意の表示名 を入力します。
  4. 要約 4.0 の生成ツール を選択します。
  5. [次へ] をクリックします。
  6. [特定のデータセットを選択する] を選択します。
  7. [要約を生成する] を選択します。
  8. [次へ] > [フォルダを選択] をクリックします。
  9. 結果を保存するバケット内の Cloud Storage フォルダを選択して、[OK] をクリックします。自動評価では、CSV ファイルに書き込まれ、Cloud Storage バケットに保存されます。
  10. [実行] をクリックします。これは長時間実行オペレーションです。新しい評価が表に表示されます。

要約 5.0 生成ツールに対して手順 2 ～ 10 を繰り返し、同じデータセットを使用します。

ステップ 4: 評価結果を比較する

手順に沿って結果を比較します。 Agent Assist には、2 つの評価結果の比較が表示されます。一方の生成ツールのスコアが他方よりも高い場合、高いスコアは緑色でハイライト表示されます。両方の生成ツールのスコアが同じ場合も、緑色でハイライト表示されます。

制限

要約の自動評価では、VPC Service Controls はサポートされていません。

利用可能なリージョン

要約の自動評価は、3 つの Agent Assist リージョンでのみ使用できます。各機能で利用可能なリージョンの一覧については、リージョン化の表をご覧ください。