Lag 3: Kortlæg fejlmønstre til afhjælpningsstrategier

Når du har diagnosticeret, hvorfor en testsag fejlede, skal du beslutte, hvad der skal ændres, og hvor du skal foretage ændringen.

Dette lag knytter diagnosticerede rodårsager til specifikke, testbare afhjælpningshandlinger. Det hjælper med at sikre, at rettelser er bevidste, afgrænsede og kan verificeres gennem reevaluering.

Formål med afhjælpningstilknytning

Afhjælpningstilknytning hjælper dig med at:

• Omsætte hver diagnosticeret fejl til en konkret handling.
• Foretage ændringer på det rigtige sted.
• Verificere forbedringer gennem evaluering.

Hver afhjælpningshandling følger samme mønster: ret X → kør Y igen → forvent Z

Denne tilgang undgår justering ved at forsøge sig frem og understøtter bevidste, testbare forbedringer.

Inden du starter

Før du foretager afhjælpning, skal du sikre dig, at du:

• Klassificerede hver fejl ved hjælp af beslutningstræet for fejltriage.
• Udelukkede infrastrukturproblemer.
• Forstå, hvad der forårsager fejlen:
  • Evalueringsopsætning
  • Konfiguration af helpdesk-medarbejder
  • Platformbegrænsninger

Hvis du ikke har diagnosticeret en fejl, gå tilbage til fejltriage før du fortsætter.

Sådan er denne sektion organiseret

Denne sektion indeholder tre sektioner organiseret efter rodårsagstype. Hver sektion er organiseret efter kvalitetssignal:

1. Afhjælpning af konfiguration af evaluering (ret testen eller graderen)
2. Agentkonfigurations-afhjælpning (ret agenten)
3. Platformbegrænsningsrespons (løs eller eskaler)

Hvor du skal foretage ændringer i Copilot Studio

Udbedringshandlinger knytter sig til specifikke steder i Copilot Studio. Brug denne tabel som reference, før du foretager ændringer.

Udbedring af evalueringsopsætning

Brug denne kategori, når agentens adfærd er acceptabel, men evalueringen giver et forkert eller vildledende signal.

Almindelige scenarier omfatter:

• De forventede svar er forældede eller forkerte.
• Bedømmelseslogikken er for streng eller stemmer ikke overens med hensigten.
• Testsager er tvetydige eller dårligt afgrænsede.

Her skal du handle: Foretag ændringer på evalueringssiden ved at redigere evalueringssættet, forventede værdier eller bedømmelsesmetoden.

Vejledning: Løs evalueringsproblemer først for at sikre, at du arbejder med et rent signal, før du skifter agent.

Når du har udført udbedring af evalueringsopsætningen:

1. Kør evalueringssættet igen.
2. Bekræft, at fejlene nu afspejler ægte agentadfærd.
3. Fortsæt kun med agentkonfiguration eller platform-udbedring, hvis fejlene fortsætter.

Agentkonfigurationsudbedring

Brug denne kategori, når evalueringen er gyldig, og agentens adfærd ikke lever op til forventningerne. Denne kategori anvendes, når problemet skyldes den måde, agenten er instrueret, forankret eller konfigureret på.

Hvor du skal handle: Se Hvor du skal foretage afhjælpningsændringer i Copilot Studio.

Vejledning:

Efter at have anvendt afhjælpning af agentkonfiguration:

1. Kør det relevante evalueringssæt igen.
2. Bekræft, at fejlen er løst.
3. Fortsæt kun med en ny udbedring, hvis fejlene fortsætter.

Faktisk nøjagtighed

Vidensforankring

Værktøjskald

Udløserrouting

Tone og svarkvalitet

Sikkerhed og grænsehåndhævelse

Overholdelse og ordret gengivelse

Eskalering og yndefuld fejl

Svar på platformbegrænsning

Anvend denne kategori, når fejlen skyldes platformbegrænsninger og ikke evalueringsopsætning eller agentkonfiguration.

Vælg dette svar, når:

• Fejlen afhænger af et ikke-understøttet mønster eller funktion.
• Adfærden er en kendt platformbegrænsning eller fejl.
• Givet de nuværende begrænsninger opfører agenten sig som forventet.

I disse tilfælde vil gentagne instruktioner eller konfigurationsændringer næppe føre til forbedring.

Vejledning: Platformbegrænsninger kan ikke løses gennem konfiguration alene. Anvend løsninger, hvor det er muligt, og eskalér med evidens.

Når du håndterer platformbegrænsninger:

• Undgå at bruge unødigt komplekse instruktioner for at kompensere for mangler.
• Gør begrænsninger synlige for interessenter og beslutningstagere.
• Inkluder begrænsninger i beslutninger om parathed og levering.

Betragt platformbegrænsninger som input til planlægning, ikke som problemer der skal omgås.

Dokumentér platformbegrænsninger

Når du opretter en supportanmodning, skal du inkludere:

1. Fejl: Specifikke testcases og agentens forkerte adfærd.
2. Hvad du har prøvet: Konfigurationsændringer du har forsøgt, og deres resultater.
3. Dokumentation for, at det ikke har noget med konfigurationen at gøre: Bevis for, at flere rimelige konfigurationer resulterer i samme fejl.
4. Påvirkning: Hvor mange testcases er berørt, og hvilket kvalitetssignal er blokeret.
5. Midlertidig løsning (hvis nogen): Hvad du gør i mellemtiden og begrænsningerne ved dette.

Håndter problemet med "instruktionsbudgettet"

Når du retter fejl ved at tilføje instruktioner til systemprompten – tonevejledning, forankringsinstruktioner, sikkerhedsregler og eskaleringskriterier – vokser prompten. I praksis har systemprompter begrænset kapacitet. Når du tilføjer for mange instruktioner, følger modellen dem inkonsekvent og kan påvirke områder, der allerede fungerer. Instruktionsbudgetproblemer opstår normalt gradvist, efterhånden som du tilføjer regler, begrænsninger og grænsetilfælde.

Hvordan dette problem viser sig i evalueringer

Du bemærker muligvis:

• Tidligere beståede testtilfælde begynder at fejle efter urelaterede ændringer i instruktioner.
• Agenten følger nogle regler korrekt, men ignorerer andre.
• Rettelser for et scenarie forårsager regressioner i et andet.
• Fejl virker inkonsistente på tværs af lignende testtilfælde.
• Tilføjelse af en ny instruktion har ingen virkning, selvom den er klar og specifik.

Disse mønstre indikerer ofte instruktionsoverbelastning snarere end manglende vejledning.

Afhjælpningsstrategier

Fokusér på klarhed og prioritering for at overholde instruktionsbudgettet.

Anvend effektive genkørselsstrategier

Genkørsel af evalueringer kræver tid og kapacitet. Målet kører igen baseret på ændringerne.

Næste trin

• Brug Lag 4: Analysér mønstre for at identificere systemiske problemer.
• Gennemgå praktiske eksempler , der demonstrerer, hvordan rammelagene arbejder sammen i virkelige scenarier.
• Brug fejllogskabelonen til at spore dine fund.