Pas het evaluatiesorteerkader toe aan de hand van praktische scenario's

In deze end-to-end-scenario's ziet u hoe de lagen van het framework voor het sorteren van evaluaties in de praktijk samenwerken. Elke beleving begint vanuit een ander evaluatiescenario en volgt een uniek diagnostisch pad.

De scenario's laten zien hoe u het framework stap voor stap toepast. Gebruik deze voorbeelden om te begrijpen hoe u van evaluatieresultaten naar diagnose, oplossing en verificatie gaat in praktijkgerichte agent-evaluatiescenario's.

Beleving 1: Eerste evaluatieronde

U voert uw evaluatiesuite voor het eerst uit op een klantenservice-agent. Dit zijn de resultaten:

Stap 1: Scores interpreteren (laag 1)

Gebruik de score-interpretatietabel om drempels te kalibreren en na te gaan welke evaluatiesets de blokkeringsdrempel niet halen.

Gereedheidsbeoordeling: Herhalen. Kennisonderbouwing ligt onder de blokkeringsdrempel. Richt u daar op herstel.

Stap 2: Fouten prioriteren (Laag 2, Stap 0)

Situatie: kennisonderbouwing bestaat uit zeven testcases. Twee testcases mislukken: KG-003 en KG-005. Beide testcases behoren tot een kernset bedrijfsevaluaties, dus ze zijn prioriteit 2. Omdat er slechts twee zijn, beoordeelt u beide.

Referentie: Fouten prioriteren (Laag 2, Stap 0)

Stap 3: Sorteren van KG-003 (laag 2, stappen 1-2)

Testcase KG-003:

• Voorbeeldinvoer: "Wat is uw retourbeleid?"
• Verwacht antwoord: "We bieden een retourtermijn van 30 dagen voor alle aankopen."
• Respons van de agent: "Ons retourbeleid staat retouren binnen 15 werkdagen na aankoop toe."
• Evaluatiemethode: Sleutelwoordovereenkomst
• Resultaat: Mislukt (verwacht "30 dagen", agent zei "15 werkdagen")

De evaluatie-setup verifiëren (stap 1 van laag 2):

Classificatie: Probleem met de evaluatie-instelling. Verouderd verwacht antwoord. De agent heeft gelijk. De evaluatie is onjuist.

Stap 4: Sorteren van KG-005 (laag 2, stappen 1-2)

Testcase KG-005:

• Voorbeeldinput: "Omvat het Premium-abonnement een verlengde garantie?"
• Verwacht antwoord: "Het Premium-abonnement omvat een standaardgarantie van twee jaar." Uitgebreide garantieopties kunnen apart worden aangeschaft.
• Respons van de agent: "Ja, het Premium-abonnement omvat een verlengde garantie van drie jaar die alle onderdelen en arbeid dekt."
• Evaluatiemethode: Vergelijken van betekenis
• Resultaat: Fout (agent heeft garantiegegevens verzonnen)

De evaluatie-setup verifiëren (stap 1 van laag 2):

De agent diagnosticeren (stap 2 van laag 2):

Classificatie: Probleem met de configuratie van de agent. Hiaat in kennisonderbouwing. De agent heeft garantiegegevens geproduceerd die niet aanwezig zijn in de geconfigureerde kennisbronnen.

Stap 5: Herstellen (laag 3)

KG-003 (Herstel van evaluatie-instellingen):

• Wijziging: De verwachte waarde aanpassen van "30 dagen retourvenster" naar "15 werkdagen"
• Opnieuw uitvoeren: alleen KG-003
• Verwacht: Geslaagd

KG-005 (Herstel van agentconfiguratie):

• Wijziging: Onderbouwingsinstructie toevoegen aan systeemprompt: "Alleen antwoorden op basis van informatie in uw kennisbronnen. Als de informatie niet beschikbaar is, zeg dat dan."
• Opnieuw uitvoeren: evaluatieset volledige kennisonderbouwing (agentconfiguratiewijziging kan bredere effecten hebben)
• Verwacht: KG-005 slaagt. Andere testcases mogen geen regressie vertonen.

Stap 6: Verifiëren

Na beide wijzigingen voert u de evaluatieset voor kennisonderbouwing opnieuw uit:

Beoordeling: Kennisonderbouwing is nu boven de 80% blokkeringsdrempel. Er blijft één fout (KG-007) over en deze belemmert de gereedheid niet. Bekijk het in de volgende iteratie.

Stap 7: Documenteren (laag 4)

Noteer in het foutenlogboek:

Patroonopmerking: De verwachte waarden verifiëren met de brondocumenten vóór elke evaluatieronde. Voeg deze stap toe aan de pre-evaluatiechecklist.

Gereedheidscontrole: Alle evaluatiesets overschrijden nu de blokkeringsdrempels.

Beoordeling van gereedheid: Implementeer agent met bekende hiaten (KG-007 gedocumenteerd, monitoringplan aanwezig).

Referentie: Laag 4: Patronen analyseren en uw agent voortdurend blijven verbeteren

Reis 2: Scoreplateau

Situatie: U voert vier iteraties uit op een agent voor productondersteuning. Feitelijke nauwkeurigheid blijft gedurende alle vier de uitvoeringen op 78%. U voert na elke uitvoering wijzigingen in de prompt door, maar ziet geen verbetering.

Stap 1: Patronen controleren (laag 4)

Bekijk het mislukkingslogboek over alle vier de iteraties:

Trend: Gelijkblijvend. Herstel richt zich niet op de onderliggende oorzaak.

Referentie: Laag 4: Patronen analyseren en uw agent voortdurend blijven verbeteren

Stap 2: Analyseer falende testgevallen

Bekijk de zes aanhoudende mislukkingen tijdens alle iteraties.

Concentratieanalyse: Vijf van de zes mislukkingen (83%) hebben dezelfde oorzaak: de agent haalt informatie uit de pagina met veelgestelde vragen in plaats van uit de producthandleiding.

Stap 3: Hersortering (laag 2)

Classificeer de fouten eerst als Agentconfiguratieprobleem: Verkeerde bron opgehaald.

Voer meerdere wijzigingen in de agentconfiguratie door, waaronder het herformuleren van prompts, het herschikken van de volgorde en het toevoegen van voorbeelden. Deze wijzigingen leiden niet tot meetbare verbetering. Controleer de fout nu aan de hand van platformbeperkingsindicatoren.

Herclassificatie: Dit probleem is een platformbeperking gerelateerd aan ophaalrangschikking. Het platform geeft consequent prioriteit aan de veelgestelde vragen boven de producthandleiding voor deze zoekopdrachten, en verdere wijzigingen in prompts of instructies beïnvloeden het ophaalgedrag niet.

Referentie: Laag 2: Agentfouten sorteren

Stap 4: Oplossen (laag 3: Platformbeperking)

Wanneer u een fout als een platformbeperking classificeert, richt u de oplossing op workarounds en documentatie in plaats van het wijzigen van de agentconfiguratie.

Referentie: Reactie op platformbeperking

Workaroundstrategie: Pas een of meer van de volgende beperkingsmethoden toe om de impact te verminderen:

• Herstructureer de producthandleiding met duidelijkere sectiekoppen die aansluiten bij de woordenschat die in gebruikerszoekopdrachten wordt gebruikt.
• Dupliceer kritieke productspecificaties uit de handleiding naar de veelgestelde vragen om redundante ophaalpaden te creëren.
• Herstructureer de handleiding zodat elke sectie één duidelijke, goed omschreven vraag behandelt om de overeenkomst met ophaalsegmenten te verbeteren.

Deze methoden zijn bedoeld om ophaalgedrag te beïnvloeden zonder prompt- of instructiewijzigingen.

Escalatie en tracking: Als de beperking blijft bestaan, documenteer en escaleer het probleem naar het platformteam.

• Documenteer de beperking als volgt: "Query's naar <productspecificaties> halen consequent de pagina met veelgestelde vragen op (laatst bijgewerkt: <datum>, <n> pagina's) in plaats van de producthandleiding (laatst bijgewerkt: <datum>, <N> pagina's), ondanks dat de handleiding de gezaghebbende informatie bevat."
• Lever ondersteunend bewijs: Voeg meerdere testgevallen toe waarin de zoekopdracht, de verwachte bron en de daadwerkelijk opgehaalde bron worden getoond.
• Dien in voor onderzoek.
• Deel de gedocumenteerde beperking en het bewijs met het platformteam voor monitoring en opvolging.

Stap 5: Verifiëren

Na het herstructureren van de producthandleiding en het toevoegen van redundante items uit de veelgestelde vragen, voert u de relevante evaluatieset opnieuw uit om de impact te verifiëren.

Beoordeling: De workaround verbetert de algehele prestaties. Er blijft één fout over (FA-019). De query is te ambigu om betrouwbaar de juiste bron op te halen, zelfs met geherstructureerde inhoud. Deze fout wordt geregistreerd als een bekende beperking.

Stap 6: Documenteren

Werk het mislukkingslogboek bij om de uiteindelijke classificatie en uitkomsten vast te leggen.

Belangrijke conclusie: Als de evaluatiescores gelijk blijven ondanks meerdere wijzigingen in prompts of instructies, is het onwaarschijnlijk dat de oorzaak bij de prompt ligt. Valideer het gedrag van infrastructuur en platforms voordat u meer investeert in prompt-engineering.

Reis 3: Regressie na update

Situatie: U hebt de systeemprompt bijgewerkt om toon en empathie te verbeteren. De toonscores stegen, maar de feitelijke nauwkeurigheid daalde onder de blokkeringsdrempel, wat leidde tot een regressie.

Vóór de wijziging:

U voegde de volgende instructie toe aan de systeemprompt: "Erken altijd de bezorgdheid van de klant en toon empathie voordat u uw antwoord geeft." Begin elke reactie met het valideren van de ervaring van de klant."

Na de wijziging:

Stap 1: Interpreteren (laag 1)

De feitelijke nauwkeurigheid ligt nu onder de 80% blokkeringsdrempel. Deze verandering introduceert een regressie en blokkeert gereedheid.

Referentie: Laag 1: Interpreteer scores en identificeer fouten

Stap 2: Patronen controleren (laag 4)

Patroonovereenkomst tussen signalen: De toon verbetert terwijl de nauwkeurigheid achteruitgaat.

Aangewezen hoofdoorzaak: instructieconflict.

De nieuw toegevoegde richtlijnen over toon strijden om aandacht van het model met nauwkeurigheidsinstructies.

Referentie: Laag 4: Patronen analyseren en uw agent voortdurend blijven verbeteren

Stap 3: Sorteer de nieuwe fouten (laag 2)

Bekijk testcases voor feitelijke nauwkeurigheid die vóór de wijziging slaagden en nu falen.

Testcase FA-007:

• Invoer: "Wat is de maximale uploadgrootte van bestanden?"
• Verwacht: "De maximale uploadgrootte is 25 MB voor standaardaccounts en 100 MB voor ondernemingsaccounts."
• Agent voorheen: "De maximale uploadgrootte is 25 MB voor standaardaccounts en 100 MB voor ondernemingsaccounts."
• Agent daarna: "Ik begrijp uw zorgen over de grootte van bestanden. Het kan frustrerend zijn als u belangrijke documenten probeert te uploaden! Ik wil zeker weten dat u alle informatie hebt die u nodig hebt. De maximale uploadgrootte is 25 MB voor standaardabonnementen."

Stap 1. Controleer de evaluatie: Het verwachte antwoord is correct en de evaluatie is geldig. De respons na de update laat de details van het ondernemingsaccount weg.

Stap 2. Diagnose: De nieuwe tooninstructie vereist een empathische inleiding in elke respons. Deze eis verbruikt het responsbudget en de modelaandacht en leidt tot onvolledige feitelijke antwoorden.

Classificatie: Probleem met de configuratie van de agent. Conflict tussen tooninstructies en instructies voor nauwkeurigheid.

Referentie: Laag 2: Agentfouten sorteren

Stap 4: Herstellen (laag 3)

Het probleem is niet de tooninstructie zelf, maar concurrerende prioriteiten binnen de systeemprompt. Herstel richt zich op het scheiden en prioriteren van instructies.

Oude instructie (enkel, concurrerend): "Erken altijd de bezorgdheid van de klant en toon empathie voordat u antwoord geeft." Begin elke reactie met het valideren van de ervaring van de klant."

Nieuwe instructie (gescheiden en geprioriteerd): "Neem altijd het volledige, feitelijke antwoord op de vraag van de klant op." Laat geen details weg om het kort te houden. Wanneer de klant frustratie of bezorgdheid uit, erken dat kort."

Belangrijke wijzigingen:

• Nauwkeurigheid krijgt expliciet prioriteit.
• De volledigheid van feitelijke antwoorden wordt expliciet vermeld.
• Empathie is voorwaardelijk in plaats van universeel.
• "Kort" beperkt de empathie om te voorkomen dat de inhoud wordt afgekapt.

Referentie: Laag 3: Foutenpatronen toewijzen aan herstelstrategieën

Stap 5: Verifiëren

Voer de volledige evaluatiesuite opnieuw uit, want systeempromptwijzigingen kunnen brede impact hebben.

Beoordeling: Beide signalen voldoen nu aan hun blokkeringsdrempel. Toon keert niet volledig terug naar de piek, maar blijft ruim boven de blokkeringsdrempel van 75% en verbetert ten opzichte van de oorspronkelijke basislijn.

Stap 6: Documenteren

Belangrijke conclusie: Valideer altijd wijzigingen in systeemprompts tegen de volledige evaluatiesuite, niet alleen het doelsignaal. Instructies concurreren om de aandacht van het model en verbeteringen in het ene gebied kunnen regressies in andere veroorzaken.

Patroon om op te letten: Dit scenario is een voorbeeld van het instructiebudgetprobleem. Naarmate prompts toenemen, worden instructieconflicten waarschijnlijker. Regelmatige consolidatie en vereenvoudiging dragen bij aan het behoud van stabiliteit.

Veelvoorkomende patronen over belevingen heen

Elke beleving begint vanuit een ander scenario om een uniek diagnostisch pad te illustreren. Om te zien hoe een enkele agent de volledige evaluatielevenscyclus doorloopt (score-interpretatie, sortering van mislukkingen, herstel en verificatie) bekijkt u Beleving 1, die het meest complete end-to-end scenario biedt.

Deze tabel belicht terugkerende patronen die in de verschillende belevingen zijn waargenomen en de praktische lessen die ze illustreren.

Volgende stappen

Na het bekijken van deze voorbeelden kiest u de volgende actie die het beste aansluit bij uw huidige situatie:

• Begin met het interpreteren van scores als u evaluatieresultaten klaar hebt voor beoordeling.
• Begin met het sorteren van fouten als u specifieke testcases met fouten moet diagnosticeren.
• Voer patroonanalyse uit als u met meerdere fouten werkt en systemische problemen wilt identificeren.
• Stel een mislukkingenlogboek in om beslissingen, uitkomsten en terugkerende problemen bij te houden.
• Ga terug naar de doelen van het raamwerk om de volledige aanpak van evaluatiesortering te herzien.