Evaluatiefouten volgen met gestructureerde logboekregistratiesjablonen

Door evaluatiefouten te documenteren, bouwt u institutionele kennis op die toekomstige triagesessies versnelt. Wanneer u hetzelfde type fout opnieuw tegenkomt, weet u al wat u eerst moet controleren in plaats van dezelfde hoofdoorzaken opnieuw te ontdekken.

Gebruik deze gestructureerde sjablonen om foutanalyses van uw triagesessies vast te leggen. Kies de versie die past bij de behoeften en werkstroom van uw team.

Belangrijk

Voltooi eerst de volledige foutsortering. Documenteer fouten terwijl u deze diagnosticeert.

Kies de sjabloonversie die bij uw team past:

Lichtgewicht foutenlogboek

Het lichte foutenlogboek is bedoeld voor kleine teams of snelle triagesessies.

Kopieer deze tabel en vul deze in tijdens triagesessies. Voeg één rij toe per fout.

Testcase Type hoofdoorzaak Probleem vastgesteld Wijziging toegepast Opgelost
___ Evaluatie-instellingen, agentconfiguratie of platformbeperking ___ ___ Ja / Nee / Gedeeltelijk
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Voorbeeld (ingevuld)

Testcase Type hoofdoorzaak Probleem vastgesteld Wijziging toegepast Opgelost
KG-003 Evaluatie-instelling Verwacht antwoord verouderd (oud retourbeleid—30 dagen; huidig beleid is 15 werkdagen) Verwachte waarde bijgewerkt naar 15 werkdagen Ja
KG-005 Agentconfiguratie De agent heeft garantiegegevens verstrekt die niet in enige kennisbron zijn opgenomen Onderbouwingsinstructie toegevoegd: 'Alleen antwoord uit kennisbronnen' Ja
TI-002 Platformbeperking De rangschikking voor ophalen negeert de exacte documenttitel; FAQ altijd opgehaald in plaats van producthandleiding Herstructurering van documentkoppen als tijdelijke oplossing; geëscaleerd naar platformteam Gedeeltelijk
FA-019 Platformbeperking Ambigue query kan juiste bron niet betrouwbaar ophalen Gedocumenteerd als bekende beperking; bewaking in productie Nee (bekend hiaat)

Gedetailleerd foutenlogboek

Het gedetailleerde foutenlogboek is bedoeld voor teams die resultaten moeten delen, de status over sprints moeten volgen of institutionele kennis moeten opbouwen tussen meerdere agents.

Notitie

Download een CSV-versie van deze sjabloon.

Record per fout

Veld Waarde
Testaanvraag-id (uit de evaluatieset, zoals KG-003)
Evaluatieset (tot welke evaluatieset deze record behoort)
Kwaliteitssignaal (feitelijke nauwkeurigheid, kennisonderbouwing, aanroepen van hulpprogramma's, enz.)
Hoofdoorzaaktype (Evaluatie-instelling, agentconfiguratie, platformbeperking, Integratie van hulpprogramma, Niet-geclassificeerd)
Hoofdoorzaakdetail (specifiek subtype, zoals 'verouderd verwacht antwoord', 'dubbelzinnigheid in beschrijving van hulpprogramma')
Probleem vastgesteld (wat de agent deed versus wat deze had moeten doen)
Diagnostisch pad (welke triagevragen tot deze classificatie leidden, zoals 'Stap 1, Q1.2—verwacht antwoord verouderd')
Herstelactie (wat er is veranderd; details die specifiek genoeg zijn om te reproduceren)
Status (Open, In uitvoering, Opgelost, Wordt niet opgelost)
Onderbouwing wordt niet hersteld (indien Wordt niet opgelost: waarom niet en welke bewaking wordt toegepast)
Verificatie (herhalingsresultaat: geslaagd of mislukt, datum, iteratienummer)
Triagedatum ___
Gesorteerd op ___

Voorbeeld (ingevuld)

Veld Waarde
Testaanvraag-id KG-005
Evaluatieset Kennisonderbouwing
Kwaliteitssignaal Kennisonderbouwing
Hoofdoorzaaktype Agentconfiguratie
Hoofdoorzaakdetail Onjuiste informatie, door agents gegenereerde inhoud die niet in een kennisbron voorkomt
Probleem vastgesteld Agent claimde 3 jaar uitgebreide garantie die alle onderdelen en arbeid dekt terwijl het volgens de bron gaat om een standaardgarantie van 2 jaar
Diagnostisch pad Stap 1 geslaagd (evaluatie geldig) → Stap 2, Q2.4 (beantwoord zonder bron) + Q2.5 (bron tegengesproken)
Herstelactie Toegevoegd aan systeemprompt: "Antwoord alleen op basis van informatie uit uw kennisbronnen. Als de informatie niet beschikbaar is, zeg dat dan."
Status Opgelost
Onderbouwing wordt niet hersteld N.v.t.
Verificatie Geslaagd (iteratie 2, 15 feb)
Triagedatum 14 feb
Gesorteerd op [naam]

Samenvattingslogboek iteratie

Volg scores en wijzigingen tussen iteraties voor trendanalyses.

Iteratie Datum Wijziging aangebracht Betrokken evaluatieset Score voor Score na Delta Opmerkingen
1 ___ Basislijn (geen wijzigingen) Alle — ___% — Eerste uitvoering
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Samenvatting van concentratie

Tel na elke triagesessie het aantal soorten onderliggende oorzaken om concentratiepatronen te ontdekken.

Type hoofdoorzaak Count % van totaal Systemisch?
Evaluatie-instelling ___ ___% (80%+ = onderbreek het werk van de agent, corrigeer eerst evaluaties)
Agentconfiguratie ___ ___% (80%+ in één gebied = architectonisch probleem)
Platformbeperking ___ ___% (80%+ = beoordeel de scope opnieuw, escaleer)
Tool of integratie ___ ___% (back-end herstellen, niet de agent)
Ongeclassificeerd ___ ___% (bijhouden; kan met meer gegevens classificeerbaar worden)
Totaal ___ 100%

Aanbevolen procedures voor het bijhouden van het logboek

  • In realtime bijwerken tijdens sorteren. Geen updates in batch niet na de sessie.
  • Leg ook negatieve resultaten vast, bijvoorbeeld "X geprobeerd, hielp niet." Op deze manier voorkomt u dat mislukte benaderingen opnieuw worden geprobeerd.
  • Beoordelen vóór elke iteratie. Controleer op patronen voordat u afzonderlijke fouten aanpakt.
  • Delen het binnen het team. Deel het logboek met het team zodat iedereen eerdere bevindingen te zien krijgt.
  • Archiveren, niet verwijderen. Bewaar opgeloste vermeldingen voor patroonanalyse. Verplaats vermeldingen naar een archiefsectie als het actieve logboek te groot wordt.

Volgende stappen

Na het documenteren van uw mislukkingen:

  • Last updated on