Valutare conversazioni a più turni

Gli utenti reali non interagiscono con gli agenti attraverso scambi isolati di domande singole. Invece, si impegnano in conversazioni che includono domande di follow-up, condivisione incrementale di informazioni e completamento di attività in più passaggi.

La valutazione a più turni garantisce che l'agente possa mantenere il contesto, completare le attività in più passaggi e rispondere in modo appropriato durante un flusso di conversazione realistico.

Quando usare la valutazione a più turni

Usare la valutazione a più turni quando si testano scenari che richiedono la conservazione del contesto o più passaggi per completare un'attività.

Scenario Perché è necessario il multigiro
Riempimento delle fessure L'agente deve raccogliere più informazioni.
Flussi di chiarimento L'agente deve risolvere l'input utente ambiguo.
Attività in più passaggi L'attività richiede più scambi per essere completata.
Follow-up dipendenti dal contesto Le domande successive dipendono dalle risposte precedenti.
Divulgazione progressiva Le informazioni vengono fornite in modo incrementale.

Valutazione a giro singolo vs. a più giri

Inizia con valutazioni a turno singolo per la copertura, quindi aggiungi valutazioni a più turni per testare interazioni realistiche.

Aspetto Giro singolo Multigiro
Test Singole coppie di domande e risposte Completare le conversazioni
Contesto Ogni richiesta è indipendente I turni si basano l'uno sull'altro
Complessità Più facile da progettare e valutare Più realistico ma complesso
Diagnosi degli errori È più facile isolare i problemi Richiede un'analisi passo per passo
Use Case Test di risposte specifiche Test del flusso di conversazione

Metriche chiave per la valutazione a più turni

La valutazione a più turni richiede metriche aggiuntive oltre alla precisione del giro singolo. Queste metriche valutano le prestazioni dell'agente in un'intera conversazione.

Completezza della conversazione

La completezza della conversazione misura se l'agente raggiunge l'obiettivo dell'utente entro la fine dell'interazione.

Esempio di successo

Turno 1

  • Utente: "Devo ordinare un laptop"
  • Agente: "Posso aiutare in questo. Di che tipo di laptop hai bisogno?"

Turno 2

  • Utente: "MacBook Pro"
  • Agente: "Quali sono le dimensioni dello schermo: 14 pollici o 16 pollici?"

Turno 3

  • Utente: "16 pollici"
  • Agente: "Ho inviato il tuo ordine per un MacBook Pro da 16 pollici. ID ordine: ORD-456. Consegna prevista: 5-7 giorni lavorativi".

✅ L'obiettivo dell'utente (ordinare un portatile) è raggiunto.

Esempio di errore

Turno 1

  • Utente: "Devo ordinare un laptop"
  • Agente: "Posso aiutare in questo. Di che tipo di laptop hai bisogno?"

Turno 2

  • Utente: "MacBook Pro"
  • Agente: "MacBook Pro è un'ottima scelta! C'è qualcos'altro?"

❌ L'ordine non è stato inviato e l'obiettivo dell'utente non è stato raggiunto.

Conservazione delle informazioni

La conservazione delle informazioni misura se l'agente ricorda e utilizza le informazioni fornite nei turni precedenti.

Esempio di successo

Turno 1

  • Utente: "L'ID dipendente è EMP-12345"
  • Agente: "Grazie! Come posso aiutarti oggi?"

Turno 2

  • Utente: "Voglio controllare il saldo della presa di forza"
  • Agente: "Il tuo attuale saldo PTO è di 12 giorni rimanenti".

✅ L'agente ha usato l'ID dipendente fornito in precedenza senza chiedere di nuovo.

Esempio di errore

Turno 1

  • Utente: "L'ID dipendente è EMP-12345"
  • Agente: "Grazie! Come posso aiutarti oggi?"

Turno 2

  • Utente: "Voglio controllare il saldo della presa di forza"
  • Agente: "Sarei felice di aiutare. Qual è il tuo ID dipendente?"

❌ L'agente ha dimenticato l'ID dipendente del turno precedente.

Aderenza ai ruoli

L'aderenza al ruolo misura se l'agente mantiene l'ambito e le responsabilità definiti per tutta la durata della conversazione.

Esempio di successo

Turno 1

  • Utente: "Qual è la politica della presa di forza?"
  • Agente: fornisce informazioni corrette sul criterio della presa di forza

Turno 2

  • Utente: "Puoi scrivere una poesia sulle vacanze?"
  • Agente: "Sono qui per aiutarti con le domande sulle risorse umane e l'onboarding. C'è qualcos'altro su PTO in cui posso aiutare?"

✅ L'agente è rimasto nel suo ruolo e si è reindirizzato in modo appropriato.

Esempio di errore

Turno 1

  • Utente: "Qual è la politica della presa di forza?"
  • Agente: fornisce informazioni corrette sul criterio della presa di forza

Turno 2

  • Utente: "Puoi scrivere una poesia sulle vacanze?"
  • Agente: "Certo! Ecco una poesia sulle spiagge assolate..."

❌L'agente si è allontanato dal suo ruolo di assistente delle risorse umane.

Pertinenza della conversazione

La pertinenza della conversazione misura se ogni risposta è direttamente pertinente alla richiesta dell'utente nel contesto di conversazione corrente.

Esempio di errore

Turno 1

  • Utente: "Quali piani sanitari sono disponibili?"
  • Agente: elenca le opzioni HMO e PPO

Turno 2

  • Utente: "Qual è la differenza di costo?"
  • Agente: "Il PPO offre maggiore flessibilità nella scelta dei medici".

❌ La risposta non risponde alla domanda dell'utente sul costo.

Coerenza contesto

La coerenza del contesto misura se l'agente mantiene fatti e informazioni coerenti in tutti i momenti della conversazione.

Esempio di errore

Turno 1

  • Utente: "Quanti giorni di ferie ho?"
  • Agente: "Come nuovo dipendente, ricevi 15 giorni di PTO all'anno".

Turno 2

  • Utente: "E quanti giorni di malattia?"
  • Agente: "Hai 10 giorni di malattia, più i tuoi 10 giorni di ferie."

❌ L'agente contraddice le informazioni precedenti modificando il numero di giorni di ferie.

Progettare casi di test multigiro

La progettazione di valutazioni efficaci a più turni richiede la definizione sia del flusso di conversazione che dei comportamenti previsti. Un caso di test a più turni in genere include:

  • ID e descrizione del test case
  • Dati di grounding
  • Sequenza di conversazione
  • Comportamenti previsti
  • Asserzioni

Esempio: ordine dell'attrezzatura

  • ID caso di test: CONV-001
  • Descrizione: Flusso di ordinazione dell'attrezzatura

Dati di grounding

  • Dipendente: Katrin Pold
  • ID Dipendente: EMP-54321
  • Dipartimento: Design del prodotto
  • Budget: $ 3,500

Conversazione

Turno 1

  • Utente: "Devo configurare il mio portatile."
  • Comportamento previsto: chiedi informazioni sulle preferenze.

Turno 2

  • Utente: "MacBook Pro"
  • Comportamento previsto: chiedi specifiche.

Turno 3

  • Utente: "16 pollici con 32 GB di RAM"
  • Comportamento previsto: confermare e inviare l'ordine.

Turno 4

  • Utente: "In realtà, cambialo a 64 GB."
  • Comportamento previsto: aggiornare l'ordine.

Asserzioni a livello di conversazione

  • La conversazione si conclude con un ordine di attrezzatura confermato.
  • L'ordine finale riflette le specifiche corrette (64 GB).
  • L'agente non chiede mai l'ID del dipendente (dovrebbe dedurlo dal contesto).
  • Il totale dei turni di completamento è ≤6.

Asserzioni a livello di turno

  • Turno 3:
    • L'agente richiama lo strumento OrderEquipment.
    • La chiamata Tool include il modello: "MacBook Pro 16 pollici".
    • La chiamata allo strumento include specifiche che contengono "32 GB".
  • Turno 4:
    • L'agente richiama UpdateOrder o modifica l'ordine precedente.
    • La conferma finale mostra "64 GB".

Esempio: conversazione per riempire slot

Scenario: Iscrizione ai benefit (riempimento degli slot)
Obiettivo: raccogliere tutte le informazioni richieste e completare l'iscrizione

Ingressi richiesti (slot):

  • Selezione del piano (HMO o PPO)
  • Livello di copertura (individuale o familiare)
  • Informazioni dipendenti (se applicabile)
  • Data di validità

Conversazione

Turno 1
Utente: "Voglio iscrivermi all'assicurazione sanitaria."
Agente:

  • Conferma richiesta
  • Chiede la preferenza del piano (HMO vs. PPO)

Turno 2
Utente: "Qual è la differenza?"
Agente:

  • Spiega le principali differenze tra HMO e PPO
  • Chiede nuovamente la selezione del piano

Turno 3
Utente: "Andrò con il PPO."
Agente:

  • Conferma la selezione
  • Chiede il livello di copertura (individuale o familiare)

Turno 4
Utente: "Copertura familiare. Ho un coniuge e due figli".
Agente:

  • Conferma lo scenario dipendente
  • Richiede dettagli dipendenti (nomi, età, ecc.)

Turno 5
Utente: [Fornisce informazioni sui dipendenti]
Agente:

  • Conferma tutte le informazioni raccolte
  • Invia la registrazione
  • Fornisce un riepilogo della conferma

Affermazioni:

  • Tutti gli slot necessari vengono raccolti prima dell'invio.
  • L'agente non ignora gli input necessari.
  • Quando richiesto, l'agente spiega le varie opzioni.
  • La conferma finale include tutti i dettagli acquisiti.
  • L'attività viene completata con successo senza svolte inutili.

Esempio: conversazione di chiarimento

Scenario: richiesta ambigua (chiarimento)
Obiettivo: Risolvere l'ambiguità raccogliendo un contesto sufficiente prima di rispondere

Conversazione

Turno 1
Utente: "Ho bisogno di prendermi un po' di tempo libero."
Agente:

  • Conferma richiesta
  • Chiede che tipo di permesso (PTO, congedo per malattia, congedo personale)

Turno 2
Utente: "È per una procedura medica."
Agente:

  • Identifica la probabile categoria
  • Chiede se la richiesta è per l'utente o un membro della famiglia

Turno 3
Utente: "È per me. È un intervento chirurgico minore".
Agente:

  • Determina che si tratta di un probabile congedo per malattia
  • Fornisce informazioni rilevanti relative ai criteri
  • Chiede informazioni sulla durata prevista

Turno 4
Utente: "Circa una settimana."
Agente:

  • Conferma l'idoneità e il processo
  • Fornisce i passaggi successivi (ad esempio, come richiedere il congedo)
  • Si offre di avviare la richiesta, se applicabile

Affermazioni:

  • L'agente non presuppone l'intento dalla richiesta ambigua iniziale.
  • Chiarire le domande sono pertinenti e restringono progressivamente l'ambito.
  • La risposta finale riflette la situazione reale dell'utente.
  • L'agente passa dal chiarimento alla risoluzione in modo efficace.

Esempio: conversazione per il ripristino degli errori

Scenario: Errore di ordine e ripristino
Obiettivo: gestire gli errori in modo trasparente e guidare l'utente verso un risultato positivo

Conversazione:

Turno 1
Utente: "Ordinami un MacBook Pro da 16 pollici."
Agente:

  • Tentativi di inviare l'ordine

Risposta del sistema/utensile:

  • Errore: Articolo esaurito

Agente:

  • Comunica chiaramente il problema
  • Non oscura o ignora l'errore
  • Suggerisce alternative (ad esempio, modello o dimensioni diverse)

Turno 2
Utente: "Quando sarà di nuovo disponibile?"
Agente:

  • Controlla la disponibilità o fornisce un preventivo di rifornimento, se disponibile
  • Se non disponibile, lo comunica chiaramente
  • Offre di informare l'utente o suggerisce alternative

Turno 3
Utente: "Posso prendere invece il 14 pollici?"
Agente:

  • Conferma la disponibilità dell'alternativa
  • Inoltra il nuovo ordine
  • Fornisce conferma (dettagli dell'ordine, consegna prevista)

Affermazioni:

  • L'agente comunica chiaramente i fallimenti e le loro cause.
  • L'agente offre alternative attuabili o passi successivi.
  • La conversazione procede verso il recupero, non verso vicoli ciechi.
  • L'utente completa correttamente l'attività dopo l'errore.
  • L'agente mantiene il contesto nelle fasi di errore e ripristino.

Asserzioni a più turni

La valutazione a più turni richiede la convalida sia a livello di conversazione che a livello di turno.

Asserzioni a livello di conversazione

  • La conversazione raggiunge l'obiettivo dell'utente.
  • Il numero di giri rientra in un intervallo previsto.
  • L'agente mantiene informazioni coerenti.
  • L'agente mantiene il suo ruolo.
  • L'agente non richiede informazioni duplicate.

Asserzioni a livello di turno

  • La risposta riconosce il contesto precedente.
  • La risposta pone domande di follow-up appropriate.
  • L'agente esegue le azioni previste.
  • La risposta conferma le azioni intraprese.

Asserzioni condizionali

  • Quando l'utente corregge le informazioni, l'agente aggiorna le risposte successive.
  • Quando un'azione ha esito negativo, l'agente comunica il problema e fornisce alternative.
  • Quando un utente pone una domanda fuori ambito, l'agente reindirizza in modo appropriato.

Esempio: valutazione a più turni end-to-end

Caso di test: configurazione per neoassunti

Descrizione

Un nuovo dipendente ordina attrezzature e pone una domanda sui benefit durante la stessa conversazione.

Dati di grounding

  • Dipendente: Marcus Johnson
  • ID Dipendente: EMP-99887
  • Dipartimento: Ingegneria
  • Luogo: Seattle
  • Budget per l'attrezzatura: $ 4,000

Conversazione

Turno 1

  • Utente: "Inizierò la prossima settimana e devo configurare la mia workstation."
  • Comportamento previsto: Accogliere e chiedere informazioni sulle necessità dell'attrezzatura.

Turno 2

  • Utente: "Ho bisogno di un MacBook Pro da 16 pollici con 64 GB di RAM e un monitor da 27 pollici."
  • Comportamento previsto: inviare l'ordine e confermare.

Turno 3

  • Utente: "Quando è il termine ultimo per sottoscrivere l'assicurazione sanitaria?"
  • Comportamento previsto: fornisci informazioni sui vantaggi senza perdere il contesto.

Turno 4

  • Utente: "Puoi confermare cosa ho ordinato?"
  • Comportamento previsto: Richiamare e riepilogare l'ordine.

Risultati attesi

  • L'ordine dell'attrezzatura è completato.
  • Alla domanda sui vantaggi viene data una risposta accurata.
  • Il contesto viene mantenuto tra i turni.
  • Le informazioni non vengono richieste nuovamente.

Problemi comuni

Tenere presenti questi problemi comuni durante la progettazione e la valutazione di conversazioni a più turni:

  • La valutazione dei turni viene eseguita isolatamente anziché in un contesto di conversazione completo, il che può nascondere errori relativi alla memoria, alla continuità e al completamento delle attività.
  • Test solo di scenari ideali (percorso felice), che non riflettono il comportamento reale dell'utente, ad esempio ambiguità, correzioni e interruzioni.
  • Ignorare le differenze tra conversazioni brevi e lunghe, in cui i flussi brevi spesso non riescono a completare e i flussi lunghi introducono una deriva del contesto.
  • Per non includere il comportamento avversario o imprevisto dell'utente, ad esempio input in conflitto, cambi di argomento o richieste vaghe.
  • Definire obiettivi utente poco chiari o impliciti, rendendo difficile determinare se la conversazione è riuscita.
  • Specificare eccessivamente le risposte previste, il che riduce la flessibilità e penalizza erroneamente le varianti valide.
  • Non riesce a testare la gestione degli errori e i percorsi di ripristino, lasciando lacune nel modo in cui l'agente risponde agli errori o informazioni mancanti.

Procedure consigliate

Usare queste procedure per progettare valutazioni a più turni efficaci e scalabili:

  • Inizia con un piccolo set di scenari di alto valore che rappresentano i flussi di conversazione più comuni o critici.
  • Definire un obiettivo utente chiaro per ogni test case e usare il completamento dell'obiettivo come metrica primaria per il successo.
  • Testa fino al completamento percorsi diretti (l'utente fornisce tutti gli input in anticipo) e guidati (l'agente raccoglie gli input in più turni).
  • Usa prima le asserzioni a livello di conversazione, quindi aggiungi asserzioni a livello di turno per una convalida più approfondita.
  • Scenari di progettazione che riflettano un comportamento realistico degli utenti, inclusi chiarimenti, correzioni e cambi di argomento.
  • Convalida esplicitamente la conservazione del contesto assicurando che l'agente utilizzi le informazioni fornite in precedenza senza chiedere nuovamente.
  • Includi scenari di gestione degli errori e di ripristino, assicurandoti che l'agente comunichi gli errori e fornisca i passaggi successivi.
  • Usa asserzioni flessibili basate sul comportamento invece della corrispondenza esatta delle risposte.
  • Assicurati che i test siano riproducibili preservando il realismo definendo i comportamenti previsti piuttosto che la formulazione esatta.
  • Iterare e perfezionare continuamente i test case in base agli errori osservati e ai modelli di utilizzo in evoluzione.

Passaggio successivo