A avaliação automática de resumos (autoavaliação) avalia a qualidade dos resumos com base em três métricas: precisão, integridade e aderência. Esse recurso ajuda a avaliar a qualidade dos geradores de resumos, o que é fundamental ao ajustar definições de seção personalizadas ou fazer upgrade de softwares que afetam modelos de resumo. Para mais detalhes sobre as métricas de avaliação, consulte Métricas de autoavaliação de resumos.
Antes de começar
- Crie um gerador de resumos que gere resumos candidatos para sua avaliação.
- As definições de seção no gerador servem como informações empíricas para avaliação.
- Para que a pontuação final reflita a qualidade do gerador, as instruções de cada seção precisam corresponder às do gerador.
Criar uma solicitação de autoavaliação de resumos
Siga estas etapas para criar um gerador de resumos.
Acesse o console do Agent Assist e faça login.
Selecione o projeto.
Clique em Avaliações > Nova avaliação.
Insira um Nome de exibição exclusivo e escolha um Gerador que corresponda ao resumo candidato.
Clique em Próxima.
Escolha um conjunto de dados de avaliação com uma das duas opções a seguir:
- Amostra aleatória de conversas do período: se você pagou pelo recurso de resumo do Agent Assist, especifique um Período e o Número máximo de conversas. As avaliações selecionam aleatoriamente até o número máximo de conversas e resumos do seu histórico.
- Selecionar um conjunto de dados específico: escolha uma amostra específica de conversas que você selecionou com o Customer Experience Insights.
Escolha uma origem de resumo em uma das seguintes opções:
- Gerar apenas resumos ausentes usando o gerador especificado. Você paga o custo de geração do resumo
- Gerar novos resumos para todas as conversas. Você paga o custo de geração do resumo
- Não gerar resumos. Em vez disso, use os resumos encontrados com o conjunto de dados. Você precisa pagar um custo diferente.
Clique em Próxima.
Clique em Selecionar pasta, escolha uma pasta do Cloud Storage em um bucket para armazenar o resultado e clique em OK. A autoavaliação grava em um arquivo CSV e o salva no bucket do Cloud Storage.
Clique em Executar. Essa é uma operação de longa duração. Sua nova avaliação será listada na tabela.
Avaliações
Siga estas etapas para conferir uma lista de geradores de resumos e execuções de sessões de avaliação concluídas.
- Acesse o console do Agent Assist e faça login. Acesse o console
- Selecione o projeto.
- Clique em Avaliações.
- Opcional: para mudar a ordem do horário de criação, clique em keyboard_arrow_down Baixar no cabeçalho da coluna Horário de criação.
Filtrar a lista
Siga estas etapas para filtrar a lista e pesquisar uma avaliação específica:
- Clique em Filtrar avaliações.
Escolha uma destas opções:
- Nome de exibição
- Nome do gerador
- Horário de criação
Insira o valor do parâmetro.
Como excluir uma avaliação
- Aguarde até que o gerador termine de executar uma avaliação.
- Clique em delete Excluir para limpar a avaliação.
Visualizar os resultados da avaliação
Siga estas etapas para conferir os resultados detalhados da avaliação no console do Agent Assist.
- Acesse o console do Agent Assist e faça login. Acesse o console
- Selecione o projeto.
- Clique em Avaliações.
- Clique em qualquer linha da lista para conferir os Detalhes da avaliação, que incluem as seguintes informações:
- Nome de exibição do gerador
- Número de conversas
- Se houver conjuntos de dados do Customer Experience Insights, o nome do conjunto de dados associado
- Horário da execução
- Saída do Cloud Storage
- Resultados gerais de desempenho de um conjunto de dados inteiro
- Resultados no nível da conversa para cada conversa em um conjunto de dados
Resultados no nível da conversa
O Agent Assist mostra os resultados da avaliação no nível da conversa em uma tabela.
- Na página Detalhes da avaliação , clique em qualquer linha da tabela Resultados no nível da conversa para conferir resultados detalhados, um resumo e uma transcrição da conversa.
- Clique em uma seção para conferir exemplos dessa seção no resumo.
Comparação de resultados
Siga estas etapas para comparar resultados em diferentes avaliações:
- No console do Agent Assist, acesse Avaliações.
- Clique em uma avaliação para conferir os detalhes. Essa avaliação fornece a base para comparação e determina quais métricas a comparação inclui.
- Clique em Comparar > Adicionar execução para adicionar outras avaliações para comparação. É possível comparar até cinco avaliações de uma só vez. Cada nome de exibição é destacado em cinza.
- Para remover uma avaliação da comparação, clique em close Fechar.
Comparar versões do gerador de resumos
Também é possível usar a autoavaliação de resumos para comparar resumos de diferentes versões de um gerador de resumos. Você precisa de uma coleção de transcrições de conversas.
Confira a seguir um exemplo de comparação de resultados de avaliação com base no gerador de resumos v4.0 e no gerador v5.0.
Etapa 1: criar uma nova versão do gerador de resumos
Se você ainda não usa um gerador de resumos, siga as instruções para criar um que use a versão 4.0 de resumos. Em seguida, siga estas etapas para criar um segundo gerador que use a versão 5.0:
- Acesse o console do Agent Assist > página Resumo.
- Clique em more_vert para o gerador > Duplicar gerador > o nome da cópia do gerador.
- Para a Versão, escolha 5.0 e clique em Salvar.
Etapa 2: criar um conjunto de dados
Siga as instruções para criar um conjunto de dados com até 100 conversas. É possível criar um número máximo de 100 conversas para cada avaliação.
Etapa 3: criar avaliações de resumos
Siga estas etapas para criar cada avaliação.
- Acesse o console do Agent Assist, faça login e selecione seu projeto.
- Clique em Avaliações > Nova avaliação.
- Insira um Nome de exibição exclusivo.
- Escolha o Gerador de resumos 4.0.
- Clique em Próxima.
- Selecione Selecionar um conjunto de dados específico.
- Selecione Gerar resumos.
- Clique em Próxima > Selecionar pasta.
- Escolha uma pasta do Cloud Storage em um bucket para armazenar o resultado e clique em OK. A autoavaliação grava em um arquivo CSV e o salva no bucket do Cloud Storage.
- Clique em Executar. Essa é uma operação de longa duração. Sua nova avaliação será listada na tabela.
Repita as etapas de 2 a 10 para o gerador de resumos 5.0 e use o mesmo conjunto de dados.
Etapa 4: comparar os resultados da avaliação
Siga as instruções para comparar resultados. O Agent Assist mostra a comparação dos dois resultados da avaliação. Se um gerador tiver pontuações mais altas do que o outro, as pontuações mais altas serão destacadas em verde. Se os dois geradores tiverem pontuações iguais, elas também serão destacadas em verde.
Limitação
A autoavaliação de resumos não é compatível com o VPC Service Controls.
Regiões disponíveis
A autoavaliação de resumos está disponível apenas em três regiões do Agent Assist. Para conferir uma lista de regiões disponíveis para cada recurso, consulte a tabela de regionalização.