Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
I segnali di qualità forniscono un modo strutturato per capire perché le risposte degli agenti hanno esito positivo o negativo. Consentono ai team di raggruppare i risultati della valutazione in categorie significative, assegnare priorità ai miglioramenti e tenere traccia dei progressi nel tempo.
Questo articolo spiega come derivare segnali di qualità dai risultati della valutazione per diagnosticare problemi, identificare modelli e migliorare le prestazioni dell'agente Copilot.
Usando segnali di qualità, i team possono:
- Identificare gli schemi di errore ricorrenti
- Assegnare priorità ai miglioramenti in base all'impatto
- Monitorare le prestazioni tra le iterazioni
- Comunicare chiaramente i risultati agli stakeholder
Cosa sono i segnali di qualità?
I segnali di qualità sono categorie che rappresentano modelli nei risultati della valutazione. Provengono da comportamenti osservati piuttosto che da regole predefinite.
Asserzioni e segnali di qualità lavorano insieme in un flusso di lavoro di valutazione:
- Le asserzioni determinano se una risposta viene superata o meno.
- I segnali di qualità raggruppano i risultati delle asserzioni in modelli di livello superiore.
| Aspetto | Asserzioni | Segnali di qualità |
|---|---|---|
| Livello | Specifico e concreto | Astratto e categorico |
| Scopo | Determinare se è stato superato o non superato | Diagnosticare modelli |
| Quantità | Molti per caso di test | Pochi per agente |
| Origine | Definito prima del test | Derivato dai risultati |
| Esempio | Contiene "15 giorni" | Accuratezza dei criteri |
Dopo aver definito le asserzioni, ricava segnali di qualità dai risultati delle asserzioni e usa tali segnali per tenere traccia delle prestazioni in più scenari.
Segnali di qualità comuni
Quando si valutano gli agenti Copilot, usare i segnali di qualità comuni seguenti:
- Accuratezza dei criteri : misura se le risposte sono allineate a fonti di conoscenza autorevoli
- Attribuzione della fonte – Misura se le risposte identificano chiaramente le fonti di informazione
- Personalizzazione : misura se le risposte utilizzano il contesto utente pertinente
- Precisione dell'utensile : misura se le chiamate dell'utensile vengono eseguite correttamente
- Gestione della risposta dell'utensile : misura se l'agente interpreta correttamente l'output dello strumento
- Appropriatezza dell'escalation: misura se le richieste vengono indirizzate al supporto umano quando necessario
- Protezione della privacy – Misura se le informazioni sensibili sono salvaguardate
- Abilitazione all'azione : misura se le risposte forniscono passaggi successivi chiari
Valutazione del segnale e cause comuni
Nella tabella seguente sono elencati gli indicatori per ogni segnale di qualità.
| Segnale di qualità | Indicatori di passaggio | Indicatori di errore | Cause comuni |
|---|---|---|---|
| Accuratezza dei criteri | Valori e date corretti Dettagli accurati dei criteri Coerente con la documentazione corrente |
Valori obsoleti o non corretti Dettagli conflittuali o inventati |
Documenti obsoleti o duplicati Risultati di recupero non corretti Allucinazioni da modellare |
| Attribuzione della fonte | Riferimenti a documenti o sezioni specifiche Cancellare le dichiarazioni di attribuzione |
Nessuna fonte fornita Riferimenti vaghi o generici |
Metadati di origine mancanti Le istruzioni non enfatizzano l'attribuzione |
| Personalizzazione | Risposte specifiche dell'area o del ruolo Consigli sensibili al contesto |
Risposte generiche che ignorano il contesto dell'utente Informazioni regionali o basate sui ruoli non corrette |
Contesto utente non disponibile per l'agente Fonti di conoscenza non segmentate in base al gruppo di destinatari |
| Precisione dell'utensile | Selezione corretta dell'utensile Parametri e identificatori validi Tutti i campi obbligatori compilati |
Parametri mancanti o non corretti Input dello strumento non validi |
Specifiche API ambigue Mapping dei parametri non corretto |
| Gestione delle risposte degli utensili | Comunicazione accurata dei risultati degli utensili Gestione corretta degli stati di esito positivo e di errore |
Affermazioni di successo non corrette Errori dello strumento ignorati o interpretati in modo errato |
Indicazioni mancanti per la gestione degli errori Interpretazione errata delle risposte dell'utensile |
| Adeguatezza dell'escalation | I problemi sensibili o complessi vengono instradati correttamente Conformità alle regole di escalation |
L'agente tenta di gestire scenari non supportati Mancata escalation delle richieste ad alto rischio |
Criteri di escalation non definiti Istruzioni eccessivamente permissive |
| Protezione della privacy | Rifiuto di comunicare i dati riservati Risposte limitate alle informazioni autorizzate |
Divulgazione o inferenza di dati sensibili Risposte che espongono informazioni protette |
Controlli di accesso deboli Indicazioni sulla privacy insufficienti |
| Abilitazione delle azioni | Istruzioni specifiche Collegamenti, identificatori o dettagli di contatto |
Istruzioni vaghe o incomplete Passaggi interattivi mancanti |
Informazioni procedurali mancanti nelle origini delle conoscenze Risposte riepilogate eccessivamente |
Come derivare segnali di qualità
I segnali di qualità derivano da modelli nei risultati della valutazione anziché da elenchi di controllo predefiniti. Per ricavare segnali di qualità:
- Eseguire un set iniziale di test case di valutazione.
- Esaminare le risposte non riuscite nei test case.
- Identificare gli schemi ricorrenti negli errori.
- Definire ogni modello come un segnale di qualità.
- Contrassegnare le asserzioni correlate al segnale corrispondente.
- Tenere traccia delle percentuali di superamento in base al segnale.
Segnali di qualità nella pratica
L'esempio seguente mostra i segnali di qualità definiti per un agente di onboarding dei dipendenti.
| Osservazione | Modello identificato | Segnale di qualità |
|---|---|---|
| Valori corretti della presa di forza restituiti | Recupero accurato delle conoscenze | Accuratezza dei criteri |
| Fonte citata in risposta | Attribuzione inclusa | Attribuzione della fonte |
| Informazioni regionali errate restituite | Contesto non usato | Personalizzazione |
| Strumento richiamato con parametri non corretti | Errore di esecuzione | Precisione dell'utensile |
| Richiesta indirizzata alle risorse umane in modo appropriato | Inoltro corretto | Adeguatezza dell'escalation |
| Dati sensibili quasi esposti | Rischio limite privacy | Protezione della privacy |
| Risposta inclusa Passaggi successivi | Risposta attuabile | Abilitazione delle azioni |
Di seguito sono riportate misure specifiche per i segnali di qualità.
| Accuratezza dei criteri | Attribuzione della fonte | Precisione dell'utensile |
|---|---|---|
| Contiene la durata corretta della presa di forza | Cita documenti autorevoli | Richiama lo strumento corretto |
| Include la scadenza corretta per l'iscrizione | Riferimenti a sezioni specifiche | Utilizza parametri validi |
| Non fa riferimento a criteri obsoleti | restituisce un risultato corretto |
Applicare e comunicare segnali di qualità
Usa segnali di qualità per guidare i flussi di lavoro di valutazione e comunicare informazioni dettagliate. Per applicare segnali di qualità:
Asserzioni di tag : aggiungere tag di segnale a ciascuna asserzione nei test case.
Caso di test: PTO-001
Prompt: "Quanti giorni di ferie hanno i nuovi dipendenti?"Affermazioni:
La risposta contiene "15 giorni".
Segnale: accuratezza dei criteriLa risposta cita il Manuale del dipendente.
Segnale: Attribuzione della fonteLa risposta menziona la fascia di mandato di <2 anni.
Segnale: Personalizzazione
Calcola le metriche : aggrega i risultati di superamento e fallimento in base al segnale.
Segnale di qualità Casi di test Pass Errore Tasso di superamento Accuratezza dei criteri 25 23 2 92% Attribuzione della fonte 25 20 5 80% Personalizzazione 15 11 4 73% Precisione dell'utensile 12 10 2 83% Adeguatezza dell'escalation 8 8 0 100% Protezione della privacy 10 10 0 100% Assegna priorità ai problemi : concentrati sui segnali con basse frequenze di passaggio o alto impatto.
- Personalizzazione (73%) - Divario più grande, indaga prima.
- Attribuzione della fonte (80%) - Seconda priorità.
- Precisione dell'utensile (83%) - Terza priorità.
- Accuratezza dei criteri (92%) - Problemi minori, monitoraggio.
Tieni traccia dei progressi : monitora la velocità di passaggio del segnale tra le versioni dell'agente.
- Versione 1.0 > , 1.1 > , 1.2 > , 1.3
- Personalizzazione: 73% > 78% > 85% > 91% (in miglioramento)
- Attribuzione della fonte: 80% > 82% > 88% > 90% (in miglioramento)
- Precisione dello strumento: 83% > 85% > 84% > 92% (migliorato dopo la regressione v1.2)
I segnali di qualità trasformano le conversazioni con gli stakeholder. Questa specificità consente correzioni mirate, monitoraggio quantitativo dei progressi e una comunicazione più chiara con gli stakeholder.
Senza segnali: L'agente non sta funzionando bene. Gli utenti si lamentano.
Con segnali: L'accuratezza delle policy è al 92%: stiamo raggiungendo il nostro obiettivo. Ma la personalizzazione è scesa al 73% dopo l'ultimo aggiornamento. In particolare, i dipendenti del Regno Unito stanno ricevendo informazioni sulle festività negli Stati Uniti. Abbiamo identificato la causa principale: il recupero del contesto non passa i dati sulla posizione. La correzione è in corso per la prossima versione.
Segnali di qualità per tipo di agente
I segnali di qualità e le priorità variano in base al tipo di agente che si sta valutando.
| Tipo di agente | Signal | Priority |
|---|---|---|
| Basato sulla conoscenza | Accuratezza dei criteri | Alto |
| Attribuzione della fonte | Alto | |
| Completezza | Medio | |
| Personalizzazione | Medio | |
| Chiamata di strumenti | Precisione dell'utensile | Alto |
| Gestione delle risposte degli utensili | Alto | |
| Abilitazione delle azioni | Alto | |
| Ripristino degli errori | Medio | |
| Ibrido | Precisione del routing | Alto |
| Segnali di conoscenza | Medio | |
| Segnali degli strumenti | Medio | |
| Adeguatezza dell'escalation | Medio | |
| Rivolto ai clienti | Protezione della privacy | Alto |
| Tono e professionalità | Alto | |
| Adeguatezza dell'escalation | Alto | |
| Completezza della soluzione | Medio |
Evita le insidie comuni
Evitare i seguenti problemi per garantire che i segnali di qualità rimangano utili, coerenti e utilizzabili.
Usa segnali specifici invece di categorie generiche
I segnali troppo ampi, come "Accuratezza", "Utilità" o "Pertinenza", non forniscono informazioni utili. I segnali generici rendono difficile identificare le cause radice o dare priorità ai miglioramenti.
Definisci invece i segnali in base a modelli specifici e osservabili nei risultati della valutazione.
- Da evitare: precisione
- Preferisci: Accuratezza dei criteri, Attribuzione della fonte
Evitare segnali eccessivamente granulari
La creazione di troppi segnali con ambito ristretto aumenta la complessità senza migliorare le informazioni. Una granularità eccessiva frammenta l'analisi e rende più difficile tenere traccia di tendenze significative.
Invece, raggruppa i comportamenti correlati in categorie di segnali più ampie e riutilizzabili.
- Evitare: Precisione della presa di forza, Precisione dei vantaggi, Precisione delle vacanze
- Preferisce: accuratezza dei criteri
Evita criteri vaghi di superamento e fallimento
Le definizioni vaghe dei segnali, come "Correttezza", mancano di standard misurabili. Senza criteri chiari, i risultati sono incoerenti e difficili da interpretare.
Invece, definisci i segnali utilizzando comportamenti espliciti e osservabili legati ai risultati della valutazione.
- Evitare: "La risposta è corretta"
- Preferisci: "La risposta include il valore corretto e cita una fonte autorevole"