用户指南：总结自动评估

摘要自动评估（自动评估）会根据三个指标（准确性、完整性和一致性）评估摘要的质量。此功能可帮助您评估摘要生成器的质量，这对于调整自定义栏目定义或升级影响摘要模型的软件至关重要。如需详细了解评估指标，请参阅摘要自动评估指标。

准备工作

  • 创建一个摘要生成器，用于生成候选摘要以供评估。
  • 生成器中的部分定义将作为评估的标准答案。
  • 为了让最终得分反映生成器的质量，每个部分的说明都必须与生成器中的说明一致。

创建摘要自动评估请求

请按照以下步骤创建摘要生成器。

  1. 前往 Agent Assist 控制台 并登录。

    前往控制台

  2. 选择您的项目。

  3. 依次点击评估结果 > 新建评估 。

  4. 输入唯一的显示名称 ，然后选择与候选摘要匹配的生成器 。

  5. 点击下一步 。

  6. 选择一个评估数据集，方法如下：

    • 从日期范围中随机抽样对话：如果您已为 Agent Assist 摘要功能付费，请指定日期范围和对话数量上限。评估会从您的历史记录中随机选择最多指定数量的对话和摘要。
    • 选择特定数据集：选择您使用客户体验分析洞见精心挑选的特定对话样本。

  7. 从以下选项中选择一个摘要来源：

    • 仅使用指定的生成器生成缺失的摘要。您需要支付摘要生成费用
    • 为所有对话生成新摘要。您需要支付摘要生成费用
    • 不生成摘要。而是使用在数据集中找到的现有摘要。您必须支付不同的费用。

  8. 点击下一步 。

  9. 点击选择文件夹，在存储桶中选择一个 Cloud Storage 文件夹来存储结果，然后点击确定。自动评估会将结果写入 CSV 文件，并将其保存在您的 Cloud Storage 存储桶中。

  10. 点击运行 。这是一项长时间运行的操作。您的新评估会列在表格中。

评估结果

请按照以下步骤查看摘要生成器列表和已完成的评估会话运行。

  1. 前往 Agent Assist 控制台 并登录。 前往控制台
  2. 选择您的项目。
  3. 点击评估结果 。
  4. 可选：如需切换创建时间顺序，请点击 keyboard_arrow_down 向下 列标题中的 创建时间 。

过滤列表

请按照以下步骤过滤列表以搜索特定评估：

  1. 点击过滤评估 。

  2. 选择以下选项之一：

    • 显示名称
    • 生成器名称
    • 创建时间

  3. 输入参数的值。

删除评估

  1. 等待生成器完成评估运行。
  2. 点击 delete 删除 以清除评估。

查看评估结果

请按照以下步骤从 Agent Assist 控制台 查看详细的评估结果。

  1. 前往 Agent Assist 控制台 并登录。 前往控制台
  2. 选择您的项目。
  3. 点击评估结果 。
  4. 点击列表中的任意一行，即可查看评估详情，其中包括以下信息：
    • 生成器的显示名称
    • 对话数量
    • 如果有任何客户体验分析洞见数据集，则为关联的客户体验分析洞见数据集的名称
    • 运行时间
    • Cloud Storage 输出
    • 整个数据集的总体性能结果
    • 数据集中每个对话的对话级结果

对话级结果

Agent Assist 会在表格中显示对话级评估结果。

  1. 在评估详情 页面中，点击对话级结果 表格的任意一行，即可查看详细结果、摘要和对话的转写内容。
  2. 点击某个部分，即可查看摘要中该部分的示例。

结果比较

请按照以下步骤比较不同评估的结果：

  1. 在 Agent Assist 控制台中，前往评估结果 。
  2. 点击一项评估，即可查看其详细信息。此评估将作为比较的基础，并决定比较中包含哪些指标。
  3. 依次点击比较 > 添加运行 ，即可添加其他评估以进行比较。您一次最多可以比较 5 项评估。每个显示名称都会以灰色突出显示。
  4. 如需从比较中移除评估，请点击 close 关闭 。

比较摘要生成器版本

您还可以使用摘要自动评估来比较不同版本的摘要生成器生成的摘要。您需要收集对话转写内容。

以下示例展示了如何根据摘要 v4.0 生成器和 v5.0 生成器比较评估结果。

第 1 步：创建摘要生成器的新版本

如果您尚未使用摘要生成器，请按照说明创建一个使用摘要版本 4.0 的生成器。然后，按照以下步骤创建第二个使用摘要版本 5.0 的生成器：

  1. 前往 Agent Assist 控制台 > 摘要 页面。
  2. 依次点击生成器的 more_vert > 复制生成器 > 生成器副本的名称。
  3. 对于版本，选择 5.0 ，然后点击保存。

第 2 步：创建数据集

按照说明创建一个数据集，其中包含最多 100 个对话。对于每次评估，您最多可以创建 100 个对话。

第 3 步：创建摘要评估

请按照以下步骤创建每项评估。

  1. 前往 Agent Assist 控制台，登录并选择您的项目。
  2. 依次点击评估结果 > 新建评估 。
  3. 输入唯一的显示名称 。
  4. 选择您的摘要 4.0 生成器 。
  5. 点击下一步 。
  6. 选择选择特定数据集 。
  7. 选择生成摘要 。
  8. 依次点击下一步 > 选择文件夹 。
  9. 在存储桶中选择一个 Cloud Storage 文件夹来存储结果，然后点击确定 。自动评估会将结果写入 CSV 文件，并将其保存在您的 Cloud Storage 存储桶中。
  10. 点击运行 。这是一项长时间运行的操作。您的新评估会列在表格中。

针对摘要 5.0 生成器重复执行第 2-10 步，并使用相同的数据集。

第 4 步：比较评估结果

按照说明比较结果。 Agent Assist 会显示您的两项评估结果的比较情况。如果某个生成器的得分高于另一个生成器，则较高的得分会以绿色突出显示。如果两个生成器的得分相等，则这些得分也会以绿色突出显示。

限制

摘要自动评估不支持 VPC Service Controls。

可用区域

摘要自动评估仅在三个 Agent Assist 区域提供。如需查看每个功能可用的区域列表，请参阅区域化表。