Gennemse tjeklisten til forbedring

Optimering af en agent stopper ikke ved lanceringen. Copilot Studio leverer omfattende analyser, der hjælper dig med at forstå, hvordan brugerne interagerer med din agent, hvor samtaler lykkes eller bryder sammen, og hvor godt agenten bruger sine værktøjer og sin viden. Denne artikel giver en struktureret tjekliste og best practices, der hjælper dig med løbende at evaluere og forbedre din agent.

Verificer forbedrings- og analyseparathed

Brug disse spørgsmål under regelmæssige evalueringer, såsom sprintceremonier, månedlige optimeringer eller før udgivelse.

Temaer og brugerintentioner

Færdig? Opgave
✓ Gennemgår du temaer for at identificere grupper af brugerspørgsmål og opståede intentioner?
✓ Tilføjer du tilbagevendende temaer til din backlog for fremtidige forbedringer?

Samtaleresultater

Færdig? Opgave
✓ Analyserer du løste, eskalerede, opgivne og uengagerede samtaler for at finde forbedringsområder?
✓ Sikrer du, at samtaler afsluttes med "End of Conversation"-emnet, så resultaterne registreres korrekt?
✓ Undersøger du pludselige stigninger i forladte sessioner for at identificere uklare svar eller manglende logik?
✓ Validerer du, at eskalationsveje kun udløses, når det er passende?

Genereret svarrate og kvalitet

Færdig? Opgave
✓ Gennemgår du den genererede svarfrekvens for at identificere videnshuller eller manglende dækning?
✓ Kontrollerer du svarkvalitetsmålinger såsom fuldstændighed, forankring og relevans?
✓ Undersøger du svar af lav kvalitet og håndterer de årsager, der er fremhævet i analytics?

Brug af værktøjer og handlinger

Færdig? Opgave
✓ Overvåger du, hvor ofte værktøjer og handlinger aktiveres, og om de lykkes eller fejler?
✓ Identificerer du underudnyttede eller fejludsatte værktøjer og vurderer, om du skal optimere eller fjerne dem?
✓ Validerer du, at værktøjer brugt i generativ orkestrering fungerer pålideligt?

Præstation ved videnskilder

Færdig? Opgave
✓ Gennemgår du brugen og fejlraterne for alle videnskilder?
✓ Prioriterer du opdateringer til videnskilder med høje fejlrater eller inkonsekvente resultater?
✓ Sikrer du, at de korrekte videnskilder understøtter de scenarier, de er tiltænkt?

Tilfredshed og brugerfeedback

Færdig? Opgave
✓ Indsamler du brugerstemning via tommel op/tommel ned og CSAT-undersøgelser?
✓ Analyserer du feedback-tendenser for at identificere uklare svar eller svage samtaleforløb?
✓ Tilføjer du interaktionsmønstre med lav tilfredsstillelse til din backlog for redesign?

Best practice-kald

  • Behandl dataanalyse som en iterativ forbedringsproces: Brug dataanalyse til at drive inkrementelle ændringer. Brug temaer, ufuldstændige svar og fejlmønstre til at understøtte sprintplanlægning og prioritere opgaver i backloggen.
  • Fokusér på kvaliteten af resultater frem for antal: Et sundt system maksimerer afsluttede samtaler og minimerer eskalationer og forladte samtaler. Brug resultatforhold som en førende indikator for klarhed og effektivitet.
  • Styrk videnskilder proaktivt: En høj fejlrate eller svar af lav kvalitet peger ofte på uklare, forældede eller uoverensstemmende videnskilder. Opdater og omstrukturer disse kilder hyppigt for et stærkere grundlag.
  • Optimer værktøjer for stabilitet og succes: Upålidelige værktøjsopkald underminerer tilliden. Overvåg succesrater, og omstrukturér handlinger, der ofte fejler eller returnerer inkonsekvente data.
  • Brug temaer til at identificere nye muligheder: Temaer fremhæver nye hensigter. Brug dem til at danne grundlag for nye emner, videnskilder eller integrationsbehov.
  • Sørg for, at samtalerne afsluttes korrekt: Brug altid emnet 'Samtalens afslutning' til at registrere løsning og CSAT. Uden dette emne bliver dataanalysen ufuldstændig og vildledende.
  • Adskil evaluering af autonome og brugerinitierede agenter: Autonome agenter er stærkt afhængige af triggere og værktøjsrækker. Gennemgå kørselsresultater og triggere separat fra brugerinitierede forløb.
  • Følg stemningen over tid: Isoleret feedback er nyttigt, men tendenser over flere uger afslører systemiske problemer. Undersøg vedvarende nedgang tidligt.
  • Last updated on