Nivå 2: Sortering av agentfeil

Etter at du har tolket evalueringsresultater og identifisert fokusområder, kan du finne ut hvorfor individuelle testsaker feilet og hvem som må handle.

Denne artikkelen gir strukturert veiledning for å diagnostisere feil på testsaksnivå. Den hjelper deg med å klassifisere rotårsaken, skille mellom agentproblemer, evalueringsproblemer og infrastrukturproblemer, og velge passende tiltak.

Før du starter

Før du begynner med sorteringsprosessen for feil:

1. Fullfør poengtolkning og beredskapsvurdering, og identifiser hvilke evalueringssett som krever oppmerksomhet.
2. Fokuser på de høyest prioriterte feilene basert på beredskap og risiko.

Før sorteringssjekk: Verifiser infrastrukturtilstanden

Før du diagnostiserer individuelle feil, bekreft at alle avhengigheter fungerte som de skulle under evalueringskjøringen. Infrastrukturproblemer kan føre til feil som ser ut som agent- eller evalueringsproblemer, men som ikke har noen sammenheng med dem.

Verifiser følgende betingelser:

• Kunnskapskilder er tilgjengelige og fullstendig indeksert.
• API-serverdeler eller -tilkoblinger gir ikke feil, tidsavbrudd eller svar om hastighetsbegrensning.
• Autentiseringstokener er gyldige under hele kjøringen.
• Evalueringsmiljøet samsvarer med den tiltenkte agentkonfigurasjonen.

Hvis en avhengighet ikke fungerer som den skal, må du utbedre problemet og gjennomføre evalueringen på nytt før du fortsetter. Sortering av resultater fra en kjøring som ikke gikk som den skulle, kan føre til feilaktige konklusjoner.

Trinn 0: Prioriter feil

Før du sorterer individuelle testsaker, bestem deg for hvor du skal fokusere først.

Prioriter feilene i denne rekkefølgen:

Hvis du har mange feil (for eksempel flere enn 15), ikke sorter hver feil individuelt. Start med det lavest scorende evalueringssettet og gjennomgå manuelt noen feil. Hvis de har samme rotårsak, kan det å rette opp i den løse mange feil på en gang.

Identifiser kvalitetssignalet for en mislykket test

Hvis et evalueringsresultat viser en mislykket testsak, men ikke tydelig identifiserer kvalitetssignalet, bruk evalueringssettet og graderingsmetoden for å utlede signalet.

Eksempel:

• Evalueringssettet angir funksjonsområdet, som sikkerhet, kunnskapsgrunnlag eller verktøybruk.
• Vurderingsmetoden, slik som nøkkelordsamsvar eller rubrikkbasert poengsum, gir mer kontekst.

Å identifisere det tiltenkte kvalitetssignalet hjelper deg med å velge de mest relevante diagnostiske spørsmålene.

Trinn 1: Verifiser evalueringsoppsettet

For hver feil, gå manuelt gjennom agentens faktiske svar sammen med forventet verdi og graderingsmetode.

Jobb deg gjennom de følgende spørsmålene i rekkefølge. Stopp når du har nådd et utfall.

1. Er agentens svar akseptabelt? Ville en reell bruker vært fornøyd med dette svaret, selv om det feilet i evalueringen?

   • Hvis Ja, er det en feil i evalueringsoppsettet: Sensor eller den forventede verdien er feil.
   • Hvis Nei, fortsett til neste spørsmål.

2. Er det forventede svaret oppdatert og nøyaktig i forhold til kilden?

   • Hvis Ja, fortsett til neste spørsmål.
   • Hvis Nei, er det en feil i evalueringsoppsettet: Det forventede svaret er utdatert eller feil.

3. Reflekterer testsaken realistiske brukerinndata?

   • Hvis Ja, fortsett til neste spørsmål.
   • Hvis Nei, har evalueringsoppsettet et problem: Testsaken er urealistisk.

4. Kan et rimelig alternativt svar også være riktig, men sensor godkjenner det ikke?

   • Hvis Ja, har evalueringsoppsettet et problem: Sensor er for restriktiv og tar ikke hensyn til gyldige variasjoner.
   • Hvis Nei, fortsett til neste spørsmål.

5. Er evalueringsmetoden egnet for det du tester?

   • Hvis Ja, er evalueringen gyldig. Gå videre til Trinn 2: Diagnostiser agenten.
   • Hvis Nei, har evalueringsoppsettet et problem: Evalueringsmetoden er ikke egnet for dette kvalitetssignalet.

Vurdering av om svaret er akseptabelt

Bruk følgende signaler for å avgjøre om agentens svar er akseptabelt:

• Samme nøkkelfakta, annen formulering → Ofte akseptabelt (sensor kan være for streng).
• Manglende kritisk informasjon funnet i kilden → Ofte ikke akseptabelt.
• Uklar «godt nok»-terskel → Akseptkriteriene kan være uklare (flagg for trinn 4).

Hvis du er usikker, sammenlign innholdet med originalkilden, ikke bare det forventede svaret.

Disse signalene informerer vurderingen din, men erstatter den ikke.

Vanlige feiltyper i evalueringsoppsett

Graderingsvalidering

Sensors pålitelighet er en forutsetning for pålitelig sortering. Hvis sensor ikke er pålitelig, feildiagnostiserer du hver feil den vurderer.

Slik validerer du sensors pålitelighet:

1. Velg 5–10 testtilfeller hvor du kjenner korrekt bestått / ikke bestått fra manuell vurdering.
2. Kjør evalueringen og sammenlign sensors resultat med den manuelle vurderingen.
3. Hvis sensor er uenig i mer enn 20 % av tilfellene, kalibrer sensor på nytt før du feilsøker agenten.

Tegn på at en sensor trenger tilsyn:

• Det samme testtilfellet gir ulike avgjørelser i ulike kjøringer.
• Feil hoper seg opp i evalueringssett som bruker modellbasert gradering, mens deterministiske metoder får bestått.
• Sensor flagger problemer du ikke kan reprodusere ved å gå gjennom agentsvaret.

Kalibreringsalternativer for sensor:

• Bruk deterministiske metoder der det er mulig.
• Legg til eksplisitte eksempler på «akseptabelt» og «ikke akseptabelt» i rubrikken.
• Utvid nøkkelordsettene til å inkludere synonymer og gyldige omformuleringer.
• Bruk Sammenlign mening i stedet for Nøkkelordsamsvar (Alle) for semantiske ekvivalenskontroller.

Trinn 2: Diagnostiser agenten

På dette punktet er evalueringen gyldig, og agenten produserte et feil svar. Diagnostiser hva som gikk galt i agentkonfigurasjonen.

Sjekk for faktisk nøyaktighet og feil i kunnskapsforankringen

Sjekk for feil under verktøyaktivering

Sjekk om det er feil ved ruting av utløsere

Sjekk etter feil i tone og svarkvalitet

Sjekk for sikkerhets- og grensefeil

Se etter eskalering og smidig feil

Etter diagnostisering, tilordne feilmønstre til utbedringsstrategier basert på rotårsak.

Trinn 3: Identifiser plattformbegrensninger

Hvis evalueringen er korrekt og rimelige konfigurasjonsendringer ikke forbedrer resultatene, kan problemet være en plattformbegrensning.

Indikatorer for plattformbegrensninger

Handlingsbane for plattformbegrensninger

1. Dokumenter begrensningen tydelig (hva som ikke fungerer, hva du har forsøkt, og bevis for at det ikke er relatert til konfigurasjonen).
2. Bruk en midlertidig løsning når det er mulig (omstrukturer for eksempel kildedokumentet for å forbedre henting).
3. Merk testtilfellet som en kjent begrensning, eller juster terskler slik at det ikke blokkerer urelatert fremdrift.
4. Eskaler med bevis til plattformteamet.
5. Spor elementet i feilloggen for ny evaluering når plattformens funksjonalitet oppdateres.

Etter klassifisering, gjennomgå retningslinjer for midlertidig løsning og eskalering for respons på plattformbegrensninger.

Når en feil ikke passer inn i rammeverket

Enkelte feil kan ikke tilordnes tydelig med én enkelt rotårsakstype. Noen vanlige eksempler:

• Problemer med kvaliteten på serverdeldata : Kunnskapskildeinnholdet er teknisk sett korrekt, men tvetydig skrevet, så verken agenten eller evalueringen er feil.
• Uregelmessige infrastrukturproblemer: Nettverkstidsavbrudd, API-hastighetsbegrensning og koblingsproblemer som ikke reproduseres konsekvent.
• Endringer i modellversjon: Agentens atferd endret seg etter en plattformmodelloppdatering som du ikke startet.
• Tvetydige testtilfeller: Scenarioet er tvetydig, og fornuftige mennesker er uenige om det riktige svaret.

Foreslått tilnærming: Dokumenter det du observerte (feilen, agentens svar, hva du sjekket). Registrer elementet som «uklassifisert» i feilloggen. Hvis feilen gjentar seg, blir den ofte klassifiserbar med ytterligere bevis.

Håndtering av sammensatte årsaker

Én enkelt feil kan ha flere medvirkende rotårsaker. Eksempel:

• En faktamessig nøyaktighetsfeil der det forventede svaret er litt utdatert (evalueringsoppsett) og kunnskapskilden også er ufullstendig (agentkonfigurasjon).
• En verktøyaktiveringsfeil der verktøybeskrivelsen er tvetydig (agentkonfigurasjon) og orkestreringen ikke støtter betingede verktøykall (plattformbegrensning).

Foreslått tilnærming: Gjennomfør en fullstendig sortering for hver feil. Hvis flere rotårsakstyper finnes, håndter dem i prioritert rekkefølge:

1. Reparer evalueringen først for å få et tydelig signal på om agentendringen faktisk hjelper.
2. Reparer agentkonfigurasjonen for å avgjøre om den gjenværende feilen virkelig er et plattformproblem.
3. Dokumenter plattformbegrensningen bare etter at 1 og 2 er håndtert.

Kjør berørte testtilfeller på nytt etter hver endring før du fortsetter.

Håndtering av feil med samtaler med flere runder

For scenarioer med flere vendinger oppstår feil kun på tvers av vendinger.

Når bør du mistenke et problem med flere vendinger

• Agenten gir korrekte svar i begynnelsen, men motsier seg selv etter hvert.
• Agenten mister kontekst fra et tidligere verktøykall eller en kunnskapsinnhenting i en senere vending.
• Eskaleringstidspunktet gir bare mening når hele samtalehistorikken tas i betraktning.
• Agentens tone forverres gradvis etter hvert som samtalen utvikler seg.
• Agenten ber om informasjon brukeren allerede har gitt.

Ytterligere diagnostiske spørsmål

Veiledning for utbedring for problemer med flere runder

• Konteksttap: Sjekk konfigurasjonen av samtaletilstanden. Sørg for at verktøyresultater og nøkkelfakta bevares gjennom vendinger.
• Motsetninger: Legg til instruks om konsistens, for eksempel: «Oppretthold konsistens med tidligere svar i denne samtalen.»
• Gjentatte spørsmål: Verifiser plattformens konfigurasjon av samtaleminnet.
• Forringelse under langvarig samtale: Vurder strategier for samtaleoppsummering eller avkorting av kontekst.

Validering av beståtte testtilfeller (sjekk av falsk positiv)

Dette rammeverket fokuserer på mislykkede testtilfeller. Et testtilfelle som feilaktig får bestått, kan imidlertid skape skjulte kvalitetsmangler.

Anbefalt praksis: Manuelt gjennomgå 5–10 % av beståtte testtilfeller per evalueringsrunde, spesielt for:

• Modellbasert vurdering (høyere risiko for falske positiver)
• Subjektive signaler (tone, hjelpsomhet)
• Tidligere mislykkede tester som nå består etter en endring

Hvis du finner falske positiver, kalibrer sensor på nytt.

Neste trinn

Etter at du har fullført feilsortering:

• Bruk Lag 3: Identifiser feilmønstre og knytt dem til utbedringsstrategier.
• Bruk Lag 4: Analyser mønstre for å identifisere systemiske problemer.
• Gå gjennom praktiske eksempler som viser hvordan rammeverkslagene fungerer sammen i virkelige scenarioer.