La valutazione automatica della riepilogazione (autovalutazione) valuta la qualità dei riepiloghi in base a tre metriche: accuratezza, completezza e conformità. Questa funzionalità ti aiuta a valutare la qualità dei generatori di riepiloghi, il che è fondamentale quando si ottimizzano le definizioni delle sezioni personalizzate o si esegue l'upgrade del software che influisce sui modelli di riepilogazione. Per ulteriori dettagli sulle metriche di valutazione, consulta Metriche di autovalutazione della riepilogazione.
Prima di iniziare
- Crea un generatore di riepiloghi che generi riepiloghi candidati per la valutazione.
- Le definizioni delle sezioni nel generatore fungono da dati empirici reali per la valutazione.
- Affinché il punteggio finale rifletta la qualità del generatore, le istruzioni di ogni sezione devono corrispondere a quelle del generatore.
Creare una richiesta di autovalutazione della riepilogazione
Per creare un generatore di riepiloghi:
Vai alla console di Agent Assist e accedi.
Seleziona il progetto.
Fai clic su Valutazioni > Nuova valutazione.
Inserisci un Nome visualizzato univoco e scegli un Generatore che corrisponda al riepilogo candidato.
Fai clic su Avanti.
Scegli un set di dati di valutazione con una delle due opzioni seguenti:
- Esempio casuale di conversazioni dall'intervallo di date: se hai pagato per la funzionalità di riepilogazione di Agent Assist, specifica un Intervallo di date e un Numero massimo di conversazioni. Le valutazioni selezionano in modo casuale fino al numero massimo di conversazioni e riepiloghi dalla cronologia.
- Seleziona un set di dati specifico: scegli un esempio specifico di conversazioni che hai curato con Insight sulla customer experience.
Scegli un'origine del riepilogo da una delle seguenti opzioni:
- Genera solo i riepiloghi mancanti utilizzando il generatore specificato. Paghi il costo di generazione del riepilogo
- Genera nuovi riepiloghi per tutte le conversazioni. Paghi il costo di generazione del riepilogo
- Non generare riepiloghi. Utilizza invece i riepiloghi esistenti trovati con il set di dati. Devi pagare un costo diverso.
Fai clic su Avanti.
Fai clic su Seleziona cartella, scegli una cartella Cloud Storage in un bucket in cui archiviare il risultato, quindi fai clic su Ok. L'autovalutazione scrive in un file CSV e lo salva nel bucket Cloud Storage.
Fai clic su Esegui. Si tratta di un'operazione a lunga esecuzione. La nuova valutazione è elencata nella tabella.
Valutazioni
Per visualizzare un elenco dei generatori di riepiloghi e delle esecuzioni delle sessioni di valutazione completate:
- Vai alla console di Agent Assist e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- (Facoltativo) Per cambiare l'ordine in base all'ora di creazione, fai clic su keyboard_arrow_down Giù nell'intestazione della colonna Ora di creazione.
Filtrare l'elenco
Per filtrare l'elenco e cercare una valutazione specifica:
- Fai clic su Filtra valutazioni.
Scegli una delle seguenti opzioni:
- Nome visualizzato
- Nome generatore
- Ora di creazione
Inserisci il valore del parametro.
Eliminare una valutazione
- Attendi il completamento dell'esecuzione di una valutazione da parte del generatore.
- Fai clic su delete Elimina per cancellare la valutazione.
Visualizzare i risultati di una valutazione
Per visualizzare i risultati dettagliati della valutazione dalla console di Assistente agente:
- Vai alla console di Agent Assist e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- Fai clic su una riga qualsiasi dell'elenco per visualizzare i Dettagli della valutazione, che includono le seguenti informazioni:
- Nome visualizzato del generatore
- Numero di conversazioni
- Se sono presenti set di dati di Insight sulla customer experience, nome del set di dati di Insight sulla customer experience associato
- Durata
- Output di Cloud Storage
- Risultati del rendimento complessivo per un intero set di dati
- Risultati a livello di conversazione per ogni conversazione in un set di dati
Risultati a livello di conversazione
Agent Assist mostra i risultati della valutazione a livello di conversazione in una tabella.
- Nella pagina Dettagli della valutazione , fai clic su una riga qualsiasi della tabella Risultati a livello di conversazione per visualizzare i risultati dettagliati, un riepilogo e una trascrizione della conversazione.
- Fai clic su una sezione per visualizzare gli esempi di quella sezione del riepilogo.
Confronto dei risultati
Per confrontare i risultati di diverse valutazioni:
- Nella console di Agent Assist, vai a Valutazioni.
- Fai clic su una valutazione per visualizzarne i dettagli. Questa valutazione fornisce la base per il confronto e determina le metriche incluse nel confronto.
- Fai clic su Confronta > Aggiungi esecuzione per aggiungere altre valutazioni per il confronto. Puoi confrontare fino a cinque valutazioni contemporaneamente. Ogni nome visualizzato è evidenziato in grigio.
- Per rimuovere una valutazione dal confronto, fai clic su close Chiudi.
Confrontare le versioni del generatore di riepiloghi
Puoi anche utilizzare l'autovalutazione della riepilogazione per confrontare i riepiloghi di versioni diverse di un generatore di riepiloghi. Ti serve una raccolta di trascrizioni di conversazioni.
Di seguito è riportato un esempio di confronto dei risultati della valutazione in base al generatore di riepiloghi v4.0 e al generatore v5.0.
Passaggio 1: crea una nuova versione del generatore di riepiloghi
Se non utilizzi già un generatore di riepiloghi, segui le istruzioni per crearne uno che utilizzi la versione 4.0 della riepilogazione. Poi, segui questi passaggi per creare un secondo generatore che utilizzi la versione 5.0 della riepilogazione:
- Vai alla console di Agent Assist > pagina Riepilogazione.
- Fai clic su more_vert per il generatore > Duplica generatore > il nome della copia del generatore.
- Per la Versione, scegli 5.0 e fai clic su Salva.
Passaggio 2: crea un set di dati
Segui le istruzioni per creare un set di dati con un massimo di 100 conversazioni. Puoi creare un massimo di 100 conversazioni per ogni valutazione.
Passaggio 3: crea valutazioni della riepilogazione
Per creare ogni valutazione:
- Vai alla console di Agent Assist, accedi e seleziona il progetto.
- Fai clic su Valutazioni > Nuova valutazione.
- Inserisci un Nome visualizzato univoco.
- Scegli il Generatore di riepilogazione 4.0.
- Fai clic su Avanti.
- Seleziona Seleziona un set di dati specifico.
- Seleziona Genera riepiloghi.
- Fai clic su Avanti > Seleziona cartella.
- Scegli una cartella Cloud Storage in un bucket in cui archiviare il risultato, quindi fai clic su Ok. L'autovalutazione scrive in un file CSV e lo salva nel bucket Cloud Storage.
- Fai clic su Esegui. Si tratta di un'operazione a lunga esecuzione. La nuova valutazione è elencata nella tabella.
Ripeti i passaggi da 2 a 10 per il generatore di riepiloghi 5.0 e utilizza lo stesso set di dati.
Passaggio 4: confronta i risultati della valutazione
Segui le istruzioni per confrontare i risultati. Agent Assist mostra il confronto dei due risultati della valutazione. Se un generatore ha punteggi più alti dell'altro, i punteggi più alti vengono evidenziati in verde. Se entrambi i generatori hanno punteggi uguali, vengono evidenziati anche in verde.
Limitazione
L'autovalutazione della riepilogazione non supporta Controlli di servizio VPC.
Aree geografiche disponibili
L'autovalutazione della riepilogazione è disponibile solo in tre regioni di Agent Assist. Per un elenco delle regioni disponibili per ogni funzionalità, consulta la tabella di regionalizzazione.