Spåra utvärderingsfel med strukturerade loggmallar

Att dokumentera utvärderingsfel bygger institutionell kunskap som påskyndar framtida triagesessioner. När du stöter på samma typ av fel igen vet du redan vad du ska kontrollera först istället för att återupptäcka samma grundorsaker.

Använd dessa strukturerade mallar för att dokumentera felanalyser från dina triagesessioner. Välj den version som passar ditt teams behov och arbetsflöde.

Viktigt

Slutför triage av fel först. Dokumentera fel när du diagnostiserar dem.

Välj den mall som passar ditt team:

Lättviktsfellogg

Den enkla felloggen är avsedd för små team eller snabbprioritering.

Kopiera denna tabell och fyll i den under triagesessioner. Lägg till en rad per fel.

Testkörning Grundorsakstyp Observerat problem Ändring genomförd Löst
___ Utvärderingsinställning, agentkonfiguration eller plattformsbegränsning ___ ___ Ja / Nej / Delvis
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Exempel (ifyllt)

Testkörning Grundorsakstyp Observerat problem Ändring genomförd Löst
KG-003 Utvärderingsuppsättning Förväntat svar är föråldrat (gammal returpolicy – 30 dagar; nuvarande policy är 15 arbetsdagar) Uppdaterade det förväntade värdet till "15 arbetsdagar" Ja
KG-005 Handläggarkonfiguration Agenten angav garantiinformation som inte finns i någon kunskapskälla Tillagd instruktion: "Svar endast från kunskapskällor" Ja
TI-002 Plattformsbegränsning Sökrankningen ignorerar exakt dokumenttitel; FAQ:n hämtas alltid istället för produktmanualen Omstrukturerade dokumentrubriker som en lösning; eskalerat till plattformsteamet Delvis
FA-019 Plattformsbegränsning Tvetydig sökfråga kan inte pålitligt hämta rätt källa Dokumenterat som en känd begränsning; övervakas i produktion Nej (känt gap)

Detaljerad fellogg

Den detaljerade felloggen är avsedd för team som behöver dela insikter, följa status över sprintar eller bygga institutionell kunskap över flera agenter.

Kommentar

Ladda ner en CSV-fil av denna mall.

Post per fel

Fält Värde
ID för testärende (från utvärderingsuppsättningen, till exempel KG-003)
Utvärderingsuppsättning (vilken utvärderingsuppsättning den här posten tillhör)
Kvalitetssignal (saklig korrekthet, kunskapsgrund, verktygsaktivering, etc.)
Grundorsakstyp (Utvärderingskonfiguration, agentkonfiguration, plattformsbegränsning, verktygsintegration, oklassificerat)
Detaljer om grundorsak (specifik undertyp, t.ex. "föråldrat förväntat svar", "oklarhet i verktygsbeskrivning")
Observerat problem (vad agenten gjorde jämfört med vad den borde ha gjort)
Diagnostikväg (vilka triagefrågor ledde till denna klassificering, såsom "Steg 1, Q1.2 – förväntat svar föråldrat")
Avhjälpande åtgärd (vad som ändrades; tillräckligt specifika detaljer för att kunna återskapa)
Status (Öppen, Pågår, Löst, Ej åtgärdas)
Åtgärdar inte logiken (om inte åtgärdas: varför, och vilken övervakning finns)
Verifiering (omtestresultat: godkänt eller underkänt, datum, iterationsnummer)
Datum för prioritering ___
Triage utförd av ___

Exempel (ifyllt)

Fält Värde
ID för testärende KG-005
Utvärderingsuppsättning Kunskapsförankring
Kvalitetssignal Kunskapsförankring
Grundorsakstyp Handläggarkonfiguration
Detaljer om grundorsak Felaktig information, agentgenererat innehåll som inte finns i någon kunskapskälla
Observerat problem Agenten uppgav "3 års förlängd garanti som täcker alla delar och arbete" när källan säger "2 års standardgaranti"
Diagnostikväg Steg 1 godkänd (utvärdering giltig) → Steg 2, Q2.4 (besvarat utan källa) + Q2.5 (stred mot källan)
Avhjälpande åtgärd Tillagd till systemprompten: "Svara endast baserat på information som finns i dina kunskapskällor. Om informationen inte finns tillgänglig, säg det.
Status Löst
Åtgärdar inte logiken Inte tillämpligt
Verifiering Godkänt (iteration 2, 15 feb)
Datum för prioritering 14 feb
Triage utförd av [namn]

Logg för iterationssammanfattning

Följ poäng och förändringar över iterationer för trendanalys.

Iteration Datum Utförd ändring Utvärderingsuppsättningen påverkas Poäng före Poäng efter Delta Kommentarer
1 ___ Baslinje (inga ändringar) Alla — ___% — Första körning
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Koncentrationssammanfattning

Efter varje prioriteringssession ska du räkna rotorsakstyper för att hitta koncentrationsmönster.

Grundorsakstyp Antal % av totalt Systemisk?
Utvärderingsuppsättning ___ ___% (80%+ = pausa agentens arbete, åtgärda utvärderingarna först)
Handläggarkonfiguration ___ ___% (80%+ inom ett område = arkitektoniskt problem)
Plattformsbegränsning ___ ___% (80%+ = omvärdera omfattningen, eskalera)
Verktyg eller integrering ___ ___% (åtgärda serverdelen, inte agenten)
Oklassificerade ___ ___% (övervaka; kan bli klassificerad om mer data tillkommer)
Summa ___ 100 %

Bästa praxis för att underhålla loggen

  • Uppdatera i realtid under triage. Batchbearbeta inte uppdateringar efter sessionen.
  • Registrera även negativa resultat, till exempel "försökte X, hjälpte inte". Denna metod hjälper till att undvika att upprepa misslyckade tillvägagångssätt.
  • Granska innan varje iteration. Kontrollera mönster innan du tar itu med enskilda fel.
  • Dela inom teamet. Dela loggen med teamet så att alla ser tidigare fynd.
  • Arkivera, radera inte. Spara lösta poster för mönsteranalys. Flytta logganteckningar till en arkivdel om den aktiva loggen blir för lång.

Nästa steg

Efter att ha dokumenterat dina misslyckanden:

  • Last updated on