Applica il framework di triage della valutazione attraverso scenari pratici

Le procedure dettagliate end-to-end illustrano come i livelli del framework di valutazione collaborano nella pratica. Ogni percorso inizia da uno scenario di valutazione diverso e segue un percorso diagnostico distinto.

Le guide dettagliate mostrano come applicare il framework passo dopo passo. Utilizza questi esempi per comprendere come passare dai risultati della valutazione alla diagnosi, alla correzione e alla verifica in scenari reali di valutazione degli agenti.

Percorso1: prima esecuzione della valutazione

Esegui la tua suite di valutazione per la prima volta su un agente del servizio clienti. Ecco i risultati:

Passaggio 1: interpreta i punteggi (livello 1)

Utilizza la tabella di interpretazione dei punteggi per calibrare le soglie e individuare quali set di valutazione sono inferiori alle soglie di blocco.

Valutazione dell'idoneità: iterazione. Il grounding della conoscenza è al di sotto della soglia di blocco. Focalizza la correzione lì.

Passaggio 2: assegna le priorità agli errori (livello 2, passaggio 0)

Situazione: il grounding della conoscenza ha sette test case. Due test case falliscono: KG-003 e KG-005. Entrambi i test case sono in un set di valutazione dell'attività principale, quindi sono di priorità 2. Poiché ci sono solo due elementi, eseguire il triage di entrambi.

Riferimento: assegna la priorità agli errori (livello 2, passaggio 0)

Passaggio 3: eseguire il triage di KG-003 (livello 2, passaggi 1-2)

Caso di test KG-003:

• Input di esempio: "Qual è la vostra politica di reso?"
• Risposta attesa: "Offriamo un periodo di reso di 30 giorni per tutti gli acquisti."
• Risposta dell'agente: "La nostra politica di reso consente resi entro 15 giorni lavorativi dall'acquisto."
• Metodo di valutazione:corrispondenza di parole chiave
• Risultato: Errore (previsto "30 giorni", l'agente ha detto "15 giorni lavorativi")

Verifica la configurazione della valutazione (passaggio 1 del livello 2):

Classificazione: problema di configurazione della valutazione. Risposta prevista obsoleta. L'agente è corretto. La valutazione è errata.

Passaggio 4: eseguire il triage di KG-005 (livello 2, passaggi 1-2)

Caso di test KG-005:

• Input di esempio: "Il piano Premium include una garanzia estesa?"
• Risposta attesa: "Il piano Premium include una garanzia standard di due anni." Le opzioni di garanzia estesa sono disponibili per l'acquisto separatamente."
• Risposta dell'agente: "Sì, il piano Premium include una garanzia estesa di tre anni che copre tutte le parti e la manodopera."
• Metodo di valutazione: confronto del significato
• Risultato: Errore (l'agente ha inventato i dettagli della garanzia)

Verifica la configurazione della valutazione (passaggio 1 del livello 2):

Esegui la diagnostica sull'agente (passaggio 2 del livello 2):

Classificazione: problema di configurazione dell'agente. Gap di conoscenze. L'agente ha prodotto dettagli della garanzia che non sono presenti nelle fonti delle informazioni configurate.

Passaggio 5: correzione (livello 3)

KG-003 (Correzione della configurazione della valutazione):

• Modifica: aggiorna il valore atteso da "finestra di reso di 30 giorni" a "15 giorni lavorativi"
• Nuova esecuzione: solo KG-003
• Risultato atteso: Riuscito

KG-005 (Correzione della configurazione dell'agente):

• Modifica: Aggiungere istruzioni contestuali al prompt di sistema: "Rispondere solo in base alle informazioni trovate nelle fonti delle informazioni. Se le informazioni non sono disponibili, dillo."
• Nuova esecuzione: set di valutazione delle conoscenze contestuali complete (la modifica della configurazione dell'agente può avere effetti più ampi)
• Risultato atteso: KG-005 completato. Altri test case non dovrebbero subire regressioni.

Passaggio 6: verifica

Dopo entrambe le modifiche, rieseguire il set di valutazione del grounding della conoscenza:

Valutazione: il grounding della conoscenza è ora sopra la soglia di blocco dell'80%. Un errore (KG-007) persiste e non blocca l'idoneità. Esaminalo nell'iterazione successiva.

Passaggio 7: documentare (Livello 4)

Registra nel registro degli errori:

Nota sul modello: verifica i valori attesi rispetto ai documenti di origine prima di ogni esecuzione di valutazione. Aggiungi questo passaggio all'elenco di controllo della pre-valutazione.

Ricontrollo dell'idoneità: tutti i set di valutazione ora al di sopra delle soglie di blocco.

Valutazione dell'idoneità: distribuisci l'agente con lacune note (KG-007 documentato, piano di monitoraggio in essere).

Riferimento: Livello 4: analizza gli schemi e migliora continuamente il tuo agente

Percorso 2: punteggio in fase di plateau

Situazione: esegui quattro iterazioni su un agente di supporto al prodotto. L'accuratezza effettiva rimane al 78% in tutte le quattro esecuzioni. Le modifiche al prompt vengono apportate dopo ogni esecuzione, ma non si vede alcun miglioramento.

Passaggio 1: controlla gli schemi (livello 4)

Rivedi il log degli errori in tutte e quattro le iterazioni:

Tendenza: costante. L'intervento correttivo non affronta la causa radice effettiva.

Riferimento: Livello 4: analizza gli schemi e migliora continuamente il tuo agente

Passaggio 2: analizza i test case non riusciti

Esamina i sei errori persistenti in tutte le iterazioni.

Analisi della concentrazione: cinque errori su sei (83%) hanno la stessa causa radice: l’agente recupera informazioni dalla pagina delle domande frequenti invece che dal manuale del prodotto.

Passaggio 3: nuovo triage (livello 2)

Inizialmente, classifica gli errori come Problema di configurazione dell'agente: origine recuperata errata.

Applica più modifiche alla configurazione dell'agente, inclusa la riformulazione dei prompt, il riordinamento e l'aggiunta di esempi. Questi cambiamenti non portano a miglioramenti misurabili. A questo punto, convalida l'errore a fronte degli indicatori di limitazione della piattaforma.

Riclassificazione: questo problema è una limitazione della piattaforma relativa alla classificazione del recupero. La piattaforma assegna costantemente la priorità alle domande frequenti rispetto al manuale del prodotto per queste query e ulteriori modifiche ai prompt o alle istruzioni non modificano il comportamento di recupero.

Riferimento: Livello 2: triage errori dell'agente

Passaggio 4: correzione (livello 3—Limitazione della piattaforma)

Quando si classifica un errore come una limitazione della piattaforma, l’intervento dovrebbe concentrarsi su soluzioni alternative e sulla documentazione, invece che su modifiche alla configurazione dell’agente.

Riferimento: Risposta alla limitazione della piattaforma

Strategia di soluzione alternativa: applica uno o più dei seguenti approcci di mitigazione per ridurre l'impatto:

• Ristruttura il manuale del prodotto con intestazioni di sezione più chiare, allineate al vocabolario utilizzato nelle query degli utenti.
• Duplica le specifiche critiche del prodotto dal manuale nelle domande frequenti per creare percorsi di recupero ridondanti.
• Effettua il refactoring del contenuto del manuale in modo che ogni sezione risponda a una singola domanda ben definita, per migliorare la corrispondenza dei blocchi recuperati.

Queste strategie puntano a influenzare il comportamento del recupero senza ricorrere a modifiche di prompt o istruzioni.

Escalation e monitoraggio: se la limitazione persiste, documenta e inoltra il problema al team della piattaforma.

• Documenta la limitazione come segue: "Le query relative alle <specifiche del prodotto> portano sempre alla pagina delle domande frequenti (ultimo aggiornamento: <data>, <n> pagine) invece che al manuale del prodotto (ultimo aggiornamento: <data>, <N> pagine), nonostante il manuale contenga le informazioni autorevoli."
• Fornisci prove a supporto: includi diversi test case che mostrino la query, l'origine prevista e l'origine effettivamente recuperata.
• Invia per l'indagine.
• Condividi la limitazione documentata e le prove con il team della piattaforma per il monitoraggio e il follow-up.

Passaggio 5: verifica

Dopo aver ristrutturato il manuale del prodotto e aggiunto domande frequenti ridondanti, esegui nuovamente il set di valutazione rilevante per verificarne l'impatto.

Valutazione: la soluzione alternativa migliora le prestazioni complessive. Un errore persiste (FA-019). La query è troppo ambigua per recuperare in modo affidabile l'origine corretta, anche con contenuti ristrutturati. Questo errore è registrato come una limitazione nota.

Passaggio 6: documento

Aggiorna il registro degli errori per riflettere la classificazione finale e i risultati.

Punti chiave: se i punteggi di valutazione rimangono invariati attraverso più modifiche ai prompt o alle istruzioni, è improbabile che la causa radice sia il prompt. Convalida il comportamento dell'infrastruttura e della piattaforma prima di investire di più nella progettazione dei prompt.

Percorso 3: regressione post-aggiornamento

Situazione: hai aggiornato il prompt di sistema per migliorare tono ed empatia. I punteggi di tono sono aumentati, ma l'accuratezza effettiva è diminuita al di sotto della soglia di blocco, introducendo una regressione.

Prima della modifica:

Hai aggiunto la seguente istruzione al prompt di sistema: "Riconosci sempre la preoccupazione del cliente e mostra empatia prima di fornire la tua risposta." Inizia ogni risposta convalidando l'esperienza del cliente."

Dopo la modifica:

Passaggio 1: interpreta (livello 1)

L'accuratezza fattuale è ora sotto la soglia di blocco dell'80%. Questa modifica introduce una regressione e blocca l'idoneità.

Riferimento: Livello 1: interpreta i punteggi e identifica gli errori

Passaggio 2: controlla gli schemi (livello 4)

Corrispondenza del modello di segnale incrociato: il tono migliora mentre l'accuratezza si riduce.

Causa radice indicata: conflitto di istruzioni.

Le linee guida per il tono appena aggiunte competono con istruzioni di accuratezza per l'attenzione del modello.

Riferimento: Livello 4: analizza gli schemi e migliora continuamente il tuo agente

Passaggio 3: triage dei nuovi errori (livello 2)

Rivedi i casi di test di accuratezza fattuale che venivano superati prima della modifica e ora non vengono più superati.

Caso di test FA-007:

• Input: "Qual è la dimensione massima per il caricamento dei file?"
• Previsto: "La dimensione massima per il caricamento dei file è di 25 MB per gli account standard e 100 MB per gli account aziendali."
• Agente precedente: "La dimensione massima per il caricamento dei file è 25 MB per gli account standard e 100 MB per gli account aziendali."
• Agente dopo: "Capisco perfettamente la tua preoccupazione riguardo alle dimensioni di caricamento dei file: può essere frustrante quando si cerca di caricare documenti importanti!" Voglio assicurarmi che tu abbia tutte le informazioni di cui hai bisogno. La dimensione massima di caricamento è di 25 MB per i piani standard."

Passaggio 1. Verifica la valutazione: La risposta attesa è corretta e la valutazione è valida. La risposta dopo l'aggiornamento omette il dettaglio dell'account aziendale.

Passaggio 2. Esegui la diagnostica: La nuova istruzione sul tono richiede un preambolo di empatia in ogni risposta. Questo requisito consuma il budget di risposta e l'attenzione del modello e porta a risposte fattuali incomplete.

Classificazione: problema di configurazione dell'agente. Conflitto di istruzioni tra tono e indicazioni sull'accuratezza.

Riferimento: Livello 2: triage errori dell'agente

Passaggio 4: correzione (livello 3)

Il problema non è la guida sul tono, ma le priorità concorrenti nel prompt di sistema. La correzione si concentra sulla separazione e sull'assegnazione delle priorità alle istruzioni.

Vecchia istruzione (singola, in conflitto): "Riconosci sempre la preoccupazione del cliente e mostra empatia prima di fornire la tua risposta." Inizia ogni risposta convalidando l'esperienza del cliente."

Nuova istruzione (separata, prioritaria): "Includi sempre la risposta completa e fattuale alla domanda del cliente." Non omettere dettagli per brevità. Inoltre, quando il cliente esprime frustrazione o preoccupazione, riconoscilo brevemente."

Modifiche importanti:

• L'accuratezza ha esplicitamente la priorità.
• La completezza delle risposte fattuali è affermata esplicitamente.
• L'empatia è condizionata, non universale.
• "Brevemente" vincola l'empatia per evitare il troncamento del contenuto.

Riferimento: Livello 3: eseguire il mapping dei modelli di errore alle strategie di correzione

Passaggio 5: verifica

Eseguire nuovamente la suite di valutazione completa, perché le modifiche ai prompt di sistema possono avere un impatto ampio.

Valutazione: entrambi i segnali ora soddisfano le loro soglie di blocco. Tono non torna completamente al suo picco, ma rimane ben al di sopra della soglia di blocco del 75% e mostra un miglioramento rispetto alla linea di base iniziale.

Passaggio 6: documento

Punto chiave: convalida sempre le modifiche al prompt di sistema sull'intera suite di valutazione, non solo sul segnale di destinazione. Le istruzioni competono per l'attenzione del modello e i miglioramenti in un'area possono introdurre regressioni in altre.

Modello da monitorare: questo scenario è un'istanza del problema del budget delle istruzioni. Man mano che i prompt crescono, i conflitti di istruzione diventano più probabili. Il consolidamento e la semplificazione periodici aiutano a mantenere la stabilità.

Schemi comuni nei diversi percorsi

Ogni percorso inizia da uno scenario diverso per illustrare un percorso diagnostico distinto. Per vedere come un singolo agente progredisce attraverso l'intero ciclo di vita della valutazione—interpretazione del punteggio, triage degli errori, correzione e verifica—consulta Percorso 1, che offre la guida end-to-end più completa.

Questa tabella mette in evidenza i modelli ricorrenti riscontrati nei diversi percorsi e le lezioni pratiche che ne derivano.

Passaggi successivi

Dopo aver esaminato questi esempi, scegli l'azione successiva che meglio si adatta alla tua situazione attuale:

• Inizia con l'interpretazione dei punteggi se hai risultati di valutazione pronti da esaminare.
• Inizia il triage degli errori se devi diagnosticare problemi specifici di test case.
• Applica l'analisi dei criteri se stai lavorando con più errori e vuoi identificare problemi sistemici.
• Configura il log degli errori per tenere traccia di decisioni, risultati e problemi ricorrenti.
• Torna agli obiettivi del framework per rivedere l'approccio completo di triage della valutazione.