Spor evalueringsfejl med strukturerede logskabeloner

Dokumentering af evalueringsfejl opbygger institutionel viden, der accelererer fremtidige triage-sessioner. Når du igen møder samme type fejl, ved du allerede, hvad du skal undersøge først i stedet for at genopdage de samme rodårsager.

Brug disse strukturerede skabeloner til at registrere fejlanalyser fra dine triage-sessioner. Vælg den version, der passer til teamets behov og arbejdsgang.

Vigtigt!

Gennemfør fejltriage først. Dokumentér fejl, mens du diagnosticerer dem.

Vælg den version af skabelonen, der passer til dit team:

Letvægtsfejllog

Letvægtsfejlloggen er tiltænkt små teams eller hurtige triage-sessioner.

Kopier denne tabel og udfyld den under triage-sessioner. Tilføj en række for hver fejl.

Testsag Rodårsagstype Problem, der er observeret Anvendt ændring Løst
___ Evalueringsopsætning, agentkonfiguration eller platformbegrænsning ___ ___ Ja / Nej / Delvist
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Eksempel (udfyldt)

Testsag Rodårsagstype Problem, der er observeret Anvendt ændring Løst
KG-003 Evalueringsopsætning Forventet svar er forældet (tidligere returpolitik - 30 dage, nuværende politik er 15 hverdage) Opdateret forventet værdi til "15 hverdage" Ja
KG-005 Konfiguration af helpdesk-medarbejder Agent leverede garantioplysninger, som ikke fremgår af nogen videnskilde Tilføjet jordforbindelsesinstruktion: "Svar kun fra videnskilder" Ja
TI-002 Platformbegrænsning Søgerangeringen ignorerer den præcise dokumenttitel. Ofte stillede spørgsmål hentes altid i stedet for produktmanualen Omstrukturerede dokumentoverskrifter som en løsning, eskaleret til platformteamet Delvis
FA-019 Platformbegrænsning En tvetydig forespørgsel kan ikke pålideligt hente den korrekte kilde Dokumenteret som kendt begrænsning, overvåges i produktion Nej (kendt hul)

Detaljeret fejllog

Den detaljerede fejllog er beregnet til teams, der skal dele fund, spore status på tværs af sprints eller opbygge institutionel viden på tværs af flere agenter.

Bemærk!

Download en CSV-version af denne skabelon.

Post for hver fejl

Felt Værdi
Id for testsag (fra evalueringssættet, såsom KG-003)
Evalueringssæt (hvilket evalueringssæt denne post tilhører)
Kvalitetssignal (faktuel nøjagtighed, vidensgrundlag, værktøjskald osv.)
Rodårsagstype (Opsætning af evaluering, agentkonfiguration, platformbegrænsning, værktøjsintegration, ikke-klassificeret)
Detaljer om rodårsagen (specifik undertype, såsom "forældet forventet svar," "tvetydighed i værktøjsbeskrivelsen")
Problem, der er observeret (hvad agenten gjorde versus hvad den burde have gjort)
Diagnosesti (hvilke triage-spørgsmål førte til denne klassifikation, såsom "Trin 1, Q1.2 - forventet svar forældet")
Afhjælpningshandling (hvad der blev ændret, specifikke nok detaljer til at kunne reproduceres)
Status (Åben, I gang, Løst, Løses ikke)
Begrundelse for løses ikke (hvis 'Løses ikke': hvorfor, og hvilken overvågning er etableret)
Bekræftelse (genkørselsresultat: bestået eller ikke bestået, dato, gentagelsesnummer)
Dato for triaged ___
Triageret af ___

Eksempel (udfyldt)

Felt Værdi
Id for testsag KG-005
Evalueringssæt Vidensforankring
Kvalitetssignal Vidensforankring
Rodårsagstype Konfiguration af helpdesk-medarbejder
Detaljer om rodårsagen Forkert information, agentgenereret indhold er ikke fundet i nogen videnskilde
Problem, der er observeret Agenten hævdede "3 års udvidet garanti, der dækker alle dele og arbejde", mens kilden angiver "2 års standardgaranti"
Diagnosesti Trin 1 bestået (evaluering gyldig) → Trin 2, Q2.4 (besvaret uden kilde) + Q2.5 (bestridt kilde)
Afhjælpningshandling Føjet til systemprompt: "Svar kun baseret på information fundet i dine videnskilder. Hvis oplysningerne ikke er tilgængelige, så sig det."
Status Løst
Begrundelse for løses ikke I/T
Bekræftelse Bestået (gentagelse 2, 15. februar)
Dato for triaged 14. februar
Triageret af [navn]

Oversigtslog for gentagelse

Spor scorer og ændringer på tværs af gentagelser for trendanalyse.

Gentagelse Dato Foretaget ændring Evalueringssæt påvirket Score før Score efter Delta Bemærkninger
1 ___ Basislinje (ingen ændringer) Alt — ___% — Første kørsel
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Koncentrationsoversigt

Efter hver triage-session tælles der rodårsager for at finde koncentrationsmønstre.

Rodårsagstype Antal % af total Systemisk?
Evalueringsopsætning ___ ___% (80%+ = pauser agentarbejde, ret evalueringer først)
Konfiguration af helpdesk-medarbejder ___ ___% (80%+ i et område = arkitektonisk problem)
Platformbegrænsning ___ ___% (80%+ = revurder omfang, eskaler)
Værktøj eller integration ___ ___% (ret backend, ikke agent)
Ikke-klassificerede ___ ___% (overvåg, kan muligvis klassificeres med flere data)
I alt ___ 100%

Bedste praksis for vedligeholdelse af loggen

  • Opdater i realtid under triage. Batchopdateringer efter sessionen må ikke batchføres.
  • Registrer også negative resultater, som for eksempel "forsøgte X, virkede ikke". Denne praksis forebygger gentagelse af mislykkede metoder.
  • Gennemgå før hver gentagelse. Tjek for mønstre, før du adresserer individuelle fejl.
  • Del på tværs af teamet. Del loggen med teamet, så alle kan se tidligere fund.
  • Arkivér, slet ikke. Gem løste poster til mønsteranalyse. Flyt poster til en arkivsektion, hvis den aktive log bliver lang.

Næste trin

Efter at have dokumenteret dine fejl:

  • Last updated on