Traccia gli errori di valutazione con modelli di registrazione strutturati

La documentazione dei fallimenti nelle valutazioni costruisce conoscenze istituzionali che accelerano le future sessioni di triage. Quando si ripresenta lo stesso tipo di fallimento, sai già cosa controllare per primo, evitando di ripetere la ricerca delle cause principali.

Usa questi modelli strutturati per registrare l'analisi dei fallimenti dalle tue sessioni di triage. Scegli la versione che meglio si adatta alle esigenze e al flusso di lavoro del tuo team.

Importante

Completa il triage degli errori prima. Documenta gli errori man mano che li diagnostichi.

Scegli la versione del modello che si adatta al tuo team:

Log degli errori a bassa complessità

Il log degli errori a bassa complessità è destinato a team di piccole dimensioni o a sessioni di valutazione rapida.

Copia questa tabella e compilala durante le sessioni di triage. Aggiungi una riga per ogni errore.

Caso di test Tipo di causa radice Problema riscontrato Modifica applicata Risolto
___ Impostazione della valutazione, configurazione dell'agente o limitazione della piattaforma ___ ___ Sì/No/Parziale
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Esempio (completato)

Caso di test Tipo di causa radice Problema riscontrato Modifica applicata Risolto
KG-003 Configurazione della valutazione Risposta attesa obsoleta (precedenti criteri di reso: 30 giorni; criteri attuali: 15 giorni lavorativi) Valore atteso aggiornato a "15 giorni lavorativi" Sì
KG-005 Configurazione dell'agente I dettagli della garanzia forniti dall'agente non sono presenti in alcuna fonte delle informazioni Aggiunta dell'istruzione di base: "Solo risposta da fonti di informazioni" Sì
TI-002 Limitazione della piattaforma La classificazione di recupero ignora il titolo esatto del documento; le Domande frequenti vengono sempre recuperate invece del manuale di prodotto Intestazioni del documento ristrutturate come soluzione alternativa; è stata effettuata un'escalation al team della piattaforma Parziale
FA-019 Limitazione della piattaforma La query ambigua non riesce a recuperare in modo affidabile la fonte corretta Documentato come limitazione nota; monitoraggio in produzione No (divario noto)

Registro dettagliato degli errori

Il registro dettagliato degli errori è destinato ai team che devono condividere i risultati, monitorare lo stato tra gli sprint o costruire conoscenze istituzionali su più agenti.

Nota

Scarica una versione in formato CSV di questo modello.

Record per errore

Campo Valore
ID test case Dal set di valutazione, ad esempio KG-003
Set valutazione (set di valutazione di appartenenza del record)
Segnale di qualità (accuratezza dei fatti, grounding delle conoscenze, invocazione degli strumenti, ecc.)
Tipo di causa radice (Configurazione della valutazione, configurazione dell'agente, limitazione della piattaforma, integrazione degli strumenti, non classificato)
Dettagli della causa radice (sottotipo specifico, come "risposta attesa obsoleta", "ambiguità nella descrizione dello strumento")
Problema osservato (cosa ha fatto l'agente rispetto a ciò che avrebbe dovuto fare)
Percorso diagnostico (quali domande di triage hanno portato a questa classificazione, ad esempio "Passaggio 1, D1.2 - risposta attesa obsoleta")
Azione correttiva (che cosa è stato modificato; dettagli sufficientemente specifici per consentire la riproduzione)
Stato (Aperto, In corso, Risolto, Non risolvibile)
Logica per Non risolvibile (se Non risolvibile: perché e quale monitoraggio è in atto)
Verifica (esito della riesecuzione: passato o fallito, data, numero di iterazione)
Data di triage ___
Valutazione da parte di ___

Esempio (completato)

Campo Valore
ID test case KG-005
Set valutazione Grounding delle conoscenze
Segnale di qualità Grounding delle conoscenze
Tipo di causa radice Configurazione dell'agente
Dettagli della causa radice Informazione errata, contenuto generato dall'agente non presente in alcuna fonte delle informazioni
Problema osservato L'agente ha affermato "garanzia estesa di 3 anni che copre tutte le parti e la manodopera" mentre la fonte indica "garanzia di 2 anni standard"
Percorso diagnostico Passaggio 1 superato (valutazione valida) → Passaggio 2, D2.4 (risposta senza fonte) + D2.5 (fonte contraddetta)
Azione correttiva Aggiunto al prompt di sistema: "Rispondere solo in base alle informazioni trovate nelle fonti delle informazioni. Se le informazioni non sono disponibili, dillo."
Stato Risolto
Logica per Non risolvibile N/D
Verifica Pass (iterazione 2, Feb 15)
Data di triage 14 feb
Valutazione da parte di [nome]

Registro riepilogativo delle iterazioni

Tieni traccia dei punteggi e delle modifiche attraverso le iterazioni per l'analisi delle tendenze.

Iterazione Date Modifica apportata Set di valutazione coinvolto Punteggio precedente Punteggio successivo Delta Note
1 ___ Baseline (nessuna modifica) Tutte le date — ___% — Esecuzione iniziale
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Riepilogo della concentrazione

Dopo ogni sessione di triage, conta i tipi di causa radice per trovare i modelli di concentrazione.

Tipo di causa radice Conteggio % del totale Sistemico?
Configurazione della valutazione ___ ___% (80%+ = sospendere il lavoro dell'agente, prima risolvere le valutazioni)
Configurazione dell'agente ___ ___% (80%+ in un'area = problema architettonico)
Limitazione della piattaforma ___ ___% (80%+ = rivaluta l'ambito, esegui escalation)
Strumento o integrazione ___ ___% (correzione backend, non agente)
Non classificato ___ ___% (monitorare; potrebbe diventare classificabile con più dati)
Totale ___ 100%

Procedure consigliate per il mantenimento del registro

  • Aggiorna in tempo reale durante il triage. Non fare aggiornamenti in blocco dopo la sessione.
  • Registra anche risultati negativi, ad esempio "provato X, non ha funzionato". Questa pratica aiuta a evitare di ripetere approcci falliti.
  • Rivedi prima di ogni iterazione. Controlla i pattern prima di affrontare i singoli errori.
  • Condividi con il team. Condividi il log con il team così tutti vedono i risultati precedenti.
  • Archivia, non eliminare. Mantieni inserimenti risolti per l'analisi dei modelli. Sposta le voci in una sezione di archivio se il registro attivo diventa troppo lungo.

Passaggi successivi

Dopo aver documentato gli errori:

  • Last updated on