사용자 가이드: 요약 자동 평가

요약 자동 평가 (자동 평가)는 정확성, 완전성, 준수라는 세 가지 측정항목을 기반으로 요약의 품질을 평가합니다. 이 기능을 사용하면 요약 생성기의 품질을 평가할 수 있습니다. 이는 맞춤 섹션 정의를 조정하거나 요약 모델에 영향을 미치는 소프트웨어를 업그레이드할 때 매우 중요합니다. 평가 측정항목에 대한 자세한 내용은 요약 자동 평가 측정항목을 참고하세요.

시작하기 전에

  • 평가를 위한 후보 요약을 생성하는 요약 생성기를 만듭니다.
  • 생성기의 섹션 정의는 평가의 정답 역할을 합니다.
  • 최종 점수가 생성기 품질을 반영하려면 각 섹션의 안내가 생성기의 안내와 일치해야 합니다.

요약 자동 평가 요청 만들기

다음 단계에 따라 요약 생성기를 만듭니다.

  1. Agent Assist 콘솔로 이동하여 로그인합니다.

    콘솔로 이동

  2. 프로젝트를 선택합니다.

  3. 평가 > 새 평가 를 클릭합니다.

  4. 고유한 표시 이름 을 입력하고 후보 요약과 일치하는 생성기 를 선택합니다.

  5. 다음 을 클릭합니다.

  6. 다음 두 가지 옵션 중 하나를 사용하여 평가 데이터 세트를 선택합니다.

    • 기간의 대화 무작위 샘플: Agent Assist 요약 기능을 구매한 경우 기간 및 최대 대화 수를 지정합니다. 평가는 기록에서 최대 대화 수와 요약을 무작위로 선택합니다.
    • 특정 데이터 세트 선택: Customer Experience Insights로 큐레이션한 특정 대화 샘플을 선택합니다.

  7. 다음 옵션 중 하나에서 요약 소스를 선택합니다.

    • 지정된 생성기를 사용하여 누락된 요약만 생성합니다. 요약 생성 비용을 지불합니다.
    • 모든 대화에 대해 새 요약을 생성합니다. 요약 생성 비용을 지불합니다.
    • 요약을 생성하지 않습니다. 대신 데이터 세트에서 찾은 기존 요약을 사용합니다. 다른 비용을 지불해야 합니다.

  8. 다음 을 클릭합니다.

  9. **폴더 선택** 을 클릭하고 결과를 저장할 버킷의 Cloud Storage 폴더를 선택한 후 **확인** 을 클릭합니다. 자동 평가는 CSV 파일에 쓰고 Cloud Storage 버킷에 저장합니다.

  10. 실행 을 클릭합니다. 이 작업은 장기 실행 작업입니다. 새 평가가 표에 표시됩니다.

평가

다음 단계에 따라 요약 생성기 및 완료된 평가 세션 실행 목록을 확인합니다.

  1. Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
  2. 프로젝트를 선택합니다.
  3. 평가 를 클릭합니다.
  4. (선택사항) 생성 시간 순서를 전환하려면 keyboard_arrow_down 아래로를 **생성 시간** 열 제목에서 클릭합니다.

목록 필터링

다음 단계에 따라 목록을 필터링하여 특정 평가를 검색합니다.

  1. 평가 필터링 을 클릭합니다.

  2. 다음 옵션 중 하나를 선택합니다.

    • 표시 이름
    • 생성기 이름
    • 생성 시간

  3. 매개변수 값을 입력합니다.

평가 삭제

  1. 생성기가 평가 실행을 완료할 때까지 기다립니다.
  2. delete 삭제 Delete 를 클릭하여 평가를 지웁니다.

평가 결과 보기

다음 단계에 따라 Agent Assist 콘솔에서 자세한 평가 결과를 확인합니다.

  1. Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
  2. 프로젝트를 선택합니다.
  3. 평가 를 클릭합니다.
  4. 목록에서 행을 클릭하여 다음 정보가 포함된 평가 세부정보를 확인합니다.
    • 생성기의 표시 이름
    • 대화 수
    • Customer Experience Insights 데이터 세트가 있는 경우 연결된 Customer Experience Insights 데이터 세트의 이름
    • 실행 시간
    • Cloud Storage 출력
    • 전체 데이터 세트의 전반적인 성능 결과
    • 데이터 세트의 각 대화에 대한 대화 수준 결과

대화 수준 결과

Agent Assist는 대화 수준 평가 결과를 표에 표시합니다.

  1. 평가 세부정보 페이지에서 대화 수준 결과 표의 행을 클릭하여 대화의 세부 결과, 요약, 스크립트를 확인합니다.
  2. 섹션을 클릭하여 요약에서 해당 섹션의 예를 확인합니다.

결과 비교

다음 단계에 따라 여러 평가의 결과를 비교합니다.

  1. Agent Assist 콘솔 내에서 평가 로 이동합니다.
  2. 평가를 클릭하여 세부정보를 확인합니다. 이 평가는 비교의 기준을 제공하고 비교에 포함할 측정항목을 결정합니다.
  3. 비교 > 실행 추가 를 클릭하여 비교할 다른 평가를 추가합니다. 한 번에 최대 5개의 평가를 비교할 수 있습니다. 각 표시 이름은 회색으로 강조표시됩니다.
  4. 비교에서 평가를 삭제하려면 close 닫기 를 클릭합니다.

요약 생성기 버전 비교

요약 자동 평가를 사용하여 요약 생성기의 여러 버전에서 요약을 비교할 수도 있습니다. 대화 스크립트 모음이 필요합니다.

다음은 요약 v4.0 생성기와 v5.0 생성기를 기반으로 평가 결과를 비교하는 예입니다.

1단계: 요약 생성기의 새 버전 만들기

요약 생성기를 아직 사용하지 않는 경우 안내에 따라 요약 버전 4.0을 사용하는 생성기를 만듭니다. 그런 다음 다음 단계에 따라 요약 버전 5.0을 사용하는 두 번째 생성기를 만듭니다.

  1. Agent Assist 콘솔 > 요약 페이지로 이동합니다.
  2. 생성기의 more_vert > 생성기 복제 > 생성기 사본의 이름을 클릭합니다.
  3. 버전에서 5.0을 선택하고 저장을 클릭합니다.

2단계: 데이터 세트 만들기

안내에 따라 데이터 세트를 만듭니다. 최대 100개의 대화가 포함됩니다. 평가당 최대 100개의 대화를 만들 수 있습니다.

3단계: 요약 평가 만들기

다음 단계에 따라 각 평가를 만듭니다.

  1. Agent Assist 콘솔로 이동하여 로그인하고 프로젝트를 선택합니다.
  2. 평가 > 새 평가 를 클릭합니다.
  3. 고유한 표시 이름 을 입력합니다.
  4. 요약 4.0 생성기 를 선택합니다.
  5. 다음 을 클릭합니다.
  6. 특정 데이터 세트 선택 을 선택합니다.
  7. 요약 생성 을 선택합니다.
  8. 다음 > 폴더 선택 을 클릭합니다.
  9. 결과를 저장할 버킷의 Cloud Storage 폴더를 선택한 후 확인 을 클릭합니다. 자동 평가는 CSV 파일에 쓰고 Cloud Storage 버킷에 저장합니다.
  10. 실행 을 클릭합니다. 이 작업은 장기 실행 작업입니다. 새 평가가 표에 표시됩니다.

요약 5.0 생성기에 대해 2~10단계를 반복하고 동일한 데이터 세트를 사용합니다.

4단계: 평가 결과 비교

안내에 따라 결과를 비교합니다. Agent Assist는 두 평가 결과의 비교를 표시합니다. 한 생성기의 점수가 다른 생성기의 점수보다 높으면 높은 점수가 녹색으로 강조표시됩니다. 두 생성기의 점수가 같으면 점수도 녹색으로 강조표시됩니다.

제한사항

요약 자동 평가는 VPC 서비스 제어를 지원하지 않습니다.

사용 가능한 리전

요약 자동 평가는 3개의 Agent Assist 리전에서만 사용할 수 있습니다. 각 기능에 사용할 수 있는 리전 목록은 지역화 표를 참고하세요.