Laag 2: Agentfouten sorteren

Nadat u de evaluatiescores hebt geïnterpreteerd en aandachtsgebieden hebt geïdentificeerd, bepaalt u waarom individuele testcases zijn mislukt en wie actie moet ondernemen.

Dit artikel biedt gestructureerde richtlijnen voor het diagnosticeren van fouten op testcase-niveau. Het helpt de onderliggende oorzaak te identificeren, onderscheid te maken tussen agent-, evaluatie- en infrastructuurproblemen en de juiste volgende stap te kiezen.

Voordat u begint

Voordat u begint met de foutsortering:

1. Voltooi de score-interpretatie en gereedheidsevaluatie en identificeer welke evaluatiesets aandacht vereisen.
2. Focus op storingen met de hoogste prioriteit op basis van gereedheid en risico.

Controle voorafgaand aan de sortering: controleer de infrastructuurstatus

Controleer voordat u individuele storingen diagnosticeert of de afhankelijkheden tijdens de evaluatie goed functioneerden. Infrastructuurproblemen kunnen storingen veroorzaken die lijken op agent- of evaluatieproblemen, maar daar niet mee te maken hebben.

Controleer het volgende:

• Kennisbronnen zijn toegankelijk en volledig geïndexeerd.
• API-back-ends of connectors retourneren geen fouten, geen time-outs en geen responsen over snelheidslimieten.
• Verificatietokens zijn gedurende de hele uitvoering geldig.
• De evaluatieomgeving moet overeenkomen met de beoogde agentconfiguratie.

Als een afhankelijkheid niet in orde is, los dan het probleem op en voer de evaluatie opnieuw uit voordat u verdergaat. Het sorteren van resultaten van een slechte uitvoering kan leiden tot onjuiste conclusies.

Stap 0: Prioriteer fouten

Voordat u individuele testgevallen sorteert, bepaalt u eerst waarop u zich wilt richten.

Prioriteer fouten in deze volgorde:

Als u veel mislukkingen hebt (bijvoorbeeld meer dan 15), sorteer dan niet elke fout afzonderlijk. Begin met de evaluatieset met de laagste score en inspecteer handmatig een paar fouten. Als ze dezelfde onderliggende oorzaak hebben, kan het oplossen ervan meerdere fouten in één keer oplossen.

Identificeer het kwaliteitssignaal voor een mislukte test

Als een evaluatieresultaat een mislukte testcase laat zien maar het kwaliteitssignaal niet duidelijk vaststelt, gebruik dan de evaluatieset en beoordelingsmethode om het kwaliteitssignaal af te leiden.

Bijvoorbeeld:

• De evaluatieset geeft het mogelijkhedengebied aan, zoals veiligheid, onderbouwing of gebruik van tools.
• De beoordelingsmethode, zoals trefwoordmatch of op rubrieken gebaseerde beoordeling, biedt meer context.

Het identificeren van het beoogde kwaliteitssignaal helpt u de meest relevante diagnostische vragen te kiezen.

Stap 1: Controleer de evaluatie-instellingen

Voor elke fout controleert u de daadwerkelijke respons van de agent handmatig, samen met de verwachte waarde en de beoordelingsmethode.

Doorloop de volgende vragen op volgorde. Stop wanneer u een oplossing hebt.

1. Is de respons van de agent acceptabel? Zou een echte gebruiker tevreden zijn met dit antwoord, ook al werd het tijdens de evaluatie afgekeurd?

   • Als dit Ja is, zit er een fout in de evaluatie-instellingen: de beoordelaar of verwachte waarde is fout.
   • Als dit Nee is, ga dan verder met de volgende vraag.

2. Is het verwachte antwoord actueel en accuraat ten opzichte van de bron?

   • Als dit Ja is, ga dan verder met de volgende vraag.
   • Als dit nee is, is er een probleem met de evaluatie-instellingen; het verwachte antwoord is verouderd of onjuist.

3. Is de testcase representatief voor realistische gebruikersinput?

   • Als dit Ja is, ga dan verder met de volgende vraag.
   • Als dit nee is, is er een probleem met de evaluatie-instellingen; het testgeval is onrealistisch.

4. Kan een redelijk alternatieve respons ook correct zijn, maar staat de beoordelaar dat niet toe?

   • Als dit ja is, is er een probleem met de evaluatie-instellingen; de beoordelaar is te star en houdt geen rekening met geldige variaties.
   • Als dit Nee is, ga dan verder met de volgende vraag.

5. Is de evaluatiemethode geschikt voor wat je test?

   • Als dit ja is, is de evaluatie geldig. Ga verder naar Stap 2: Diagnosticeer de agent.
   • Als dit Nee is, is er een probleem met de evaluatie-instellingen; de evaluatiemethode is niet geschikt voor dit kwaliteitssignaal.

Bepalen of de respons acceptabel is

Gebruik de volgende signalen om te bepalen of de respons van de agent acceptabel is:

• Dezelfde belangrijke feiten, andere formulering → Vaak acceptabel (de beoordelaar is misschien te streng).
• Het ontbreken van cruciale informatie in de bron → vaak niet acceptabel.
• Vage "goed genoeg"-grens → acceptatiecriteria kunnen onduidelijk zijn (noteer voor stap 4).

Vergelijk bij twijfel de inhoud met de oorspronkelijke bron, niet alleen met het verwachte antwoord.

Deze signalen ondersteunen uw oordeel, maar zijn daar geen vervanging voor.

Veelvoorkomende fouten in de evaluatie-instellingen

Validatie van beoordelaar

De betrouwbaarheid van de beoordelaar is een vereiste voor betrouwbare sortering. Als de beoordelaar zelf onbetrouwbaar is, diagnoseert u elke fout die deze raakt, verkeerd.

Als u de betrouwbaarheid van de beoordelaar wilt valideren:

1. Selecteer 5-10 testcases waarvan u het juiste geslaagde/niet geslaagde resultaat kent op basis van handmatige beoordeling.
2. Voer de evaluatie uit en vergelijk de uitvoer van de beoordelaar met het handmatige oordeel.
3. Indien de beoordelaar bij meer dan 20% van de gevallen afwijkt, kalibreer de beoordelaar dan opnieuw voordat u fouten in de agent opspoort.

Signalen die erop wijzen dat de beoordelaar aandacht nodig heeft:

• Dezelfde testcase levert verschillende oordelen op in verschillende uitvoeringen.
• Er treden vaker fouten op in evaluatiesets die gebruikmaken van modelgebaseerde beoordeling, terwijl deterministische methoden wel slagen.
• De beoordelaar markeert problemen die u niet kunt herhalen door de respons van de agent te bekijken.

Herkalibratieopties van de beoordelaar:

• Gebruik deterministische methoden waar mogelijk.
• Voeg expliciete "acceptabele" en "niet acceptabele" voorbeelden toe aan het beoordelingsschema.
• Breid trefwoordsets uit door synoniemen en geldige herformuleringen toe te voegen.
• Gebruik Betekenis vergelijken in plaats van Trefwoordovereenkomst (Alle) voor controles op semantische equivalentie.

Stap 2: De agent diagnosticeren

Op dat moment is de evaluatie geldig en heeft de agent een onjuiste respons gegeven. Diagnosticeer wat er misging bij de agentconfiguratie.

Controleer op feitelijke juistheid en problemen met kennisonderbouwing

Controleer op fouten bij het aanroepen van tools

Controleer op fouten in de triggerroutering

Controleer op fouten in de toon en de responskwaliteit

Controleer op veiligheids- en grensfouten

Controleren op escalatie en een nette afhandeling bij fouten

Na het stellen van de diagnose, wijs foutpatronen aan remediëringsstrategieën toe op hoofdoorzaak.

Stap 3: Identificeer platformbeperkingen

Als de evaluatie correct is en redelijke configuratiewijzigingen de resultaten niet verbeteren, kan het probleem een platformbeperking zijn.

Indicatoren voor platformbeperkingen

Actiepad voor platformbeperkingen

1. Documenteer de beperking duidelijk (wat er misgaat, wat je geprobeerd hebt, en bewijs dat het geen configuratieprobleem is).
2. Pas waar mogelijk een workaround toe (bijvoorbeeld het brondocument herstructureren om het ophalen te verbeteren).
3. Markeer de testcase als een bekende beperking of wijzig de drempels zodat niet-gerelateerde voortgang niet wordt belemmerd.
4. Escaleer met bewijs naar het platformteam.
5. Volg het item in het foutenlogboek voor herbeoordeling wanneer de platformmogelijkheden worden bijgewerkt.

Na classificatie bekijkt u de workaround- en escalatierichtlijnen voor het reageren op platformbeperkingen.

Wanneer een fout niet binnen het kader past

Sommige fouten zijn niet duidelijk toe te wijzen aan één oorzaaktype. Dit zijn enkele veel voorkomende voorbeelden:

• Kwaliteitsproblemen met back-endgegevens: de inhoud van de kennisbron is technisch juist, maar ambigu geformuleerd, waardoor noch de agent noch de evaluatie fout is.
• Onregelmatige infrastructuurproblemen: netwerktime-outs, beperking in de API-snelheid en connectorproblemen die niet consistent optreden.
• Modelversiewijzigingen: het gedrag van de agent veranderde na een platformmodelupdate die niet door u werd geïnitieerd.
• Ambiguë testcases: het scenario is ambigu en redelijke mensen kunnen van mening verschillen over het juiste antwoord.

Voorgestelde aanpak: Documenteer wat u hebt waargenomen (de fout, de respons van de agent, wat u hebt gecontroleerd). Noteer het item als "niet-geclassificeerd" in het foutenlogboek. Als de fout opnieuw voorkomt, wordt het vaak classificeerbaar met aanvullend bewijs.

Omgaan met samengestelde oorzaken

Een enkele fout kan meerdere onderliggende oorzaken hebben die aan de fout bijdragen. Bijvoorbeeld:

• Een fout in feitelijke nauwkeurigheid waarbij het verwachte antwoord iets verouderd is (evaluatie-instellingen) en de kennisbron is ook onvolledig (agentconfiguratie).
• Een aanroepfout van de tool waarbij de toolbeschrijving ambigu is (agentconfiguratie) en de indeling geen voorwaardelijke tool-aanroepen ondersteunt (platformbeperking).

Voorgestelde aanpak: voltooi het volledige sorteringsproces voor elke fout. Als meerdere soorten hoofdoorzaken van toepassing zijn, pak deze dan aan in volgorde van prioriteit:

1. Corrigeer de evaluatie eerst om een schoon signaal te krijgen over de vraag of de agentwijziging daadwerkelijk helpt.
2. Herstel de agentconfiguratie om te bepalen of de resterende fout echt een platformprobleem is.
3. Documenteer de platformbeperking pas nadat 1 en 2 zijn aangepakt.

Voer de getroffen testcases opnieuw uit na elke wijziging voordat u verdergaat.

Fouten in gesprek met meerdere paden afhandelen

Bij scenario's met meerdere beurten ontstaan fouten alleen tijdens beurten.

Wanneer een probleem in een gesprek met meerdere paden vermoed wordt

• De agent reageert aanvankelijk correct, maar komt later met tegenstrijdige antwoorden.
• De agent verliest de context van een vorige toolaanroep of bij het ophalen van kennis op een later tijdstip.
• De timing van escalatie is alleen logisch als je de volledige gespreksgeschiedenis bekijkt.
• De toon van de agent verslechtert steeds verder naarmate het gesprek langer wordt.
• De agent vraagt om informatie die de gebruiker eerder heeft gegeven.

Aanvullende diagnostische vragen

Herstelrichtlijnen voor problemen met meerdere gespreksbeurten

• Contextverlies: controleer de configuratie van de gespreksstatus. Zorg ervoor dat de resultaten van de tool en de belangrijkste feiten bij elke gesprekswisseling behouden blijven.
• Tegenstrijdigheden: voeg een consistentie-instructie toe, zoals: "Behoud consistentie ten opzichte van eerdere respons in dit gesprek."
• Opnieuw vragen: controleer de configuratie van het gespreksgeheugen van het platform.
• Kwaliteitsverlies bij lange gesprekken: overweeg gespreks-samenvatting of strategieën voor het reduceren van context.

Validatie van geslaagde testcases (controle van fout-positieven)

Dit kader richt zich op het afkeuren van testcases. Echter, een testcase dat onjuist slaagt, kan verborgen kwaliteitsverschillen veroorzaken.

Aanbevolen werkwijze: beoordeel handmatig 5-10% van de geslaagde testcases per evaluatieronde, vooral voor:

• Beoordeling op basis van modellen (groter risico op fout-positieven)
• Subjectieve indicatoren (toon, behulpzaamheid)
• Tests die eerder mislukten en nu na een wijziging slagen

Als u fout-positieven vindt, kalibreert u de beoordelaar opnieuw.

Volgende stappen

Na het voltooien van de sortering van fouten:

• Gebruik Laag 3: Foutenpatronen aan herstelstrategieën toewijzen.
• Gebruik Laag 4: Analyseer patronen om systemische problemen te identificeren.
• Beoordeel praktische voorbeelden die tonen hoe de lagen van het kader samen functioneren in praktijksituaties.