Granska den förbättrade checklistan

Optimeringsarbetet för en agent är inte avslutat vid lansering. Copilot Studio tillhandahåller omfattande analysverktyg som hjälper dig att förstå hur användare interagerar med din agent, var samtal lyckas eller misslyckas, och hur väl agenten använder sina verktyg och sin kunskap. Den här artikeln innehåller en strukturerad checklista och bästa praxis för att hjälpa dig att kontinuerligt utvärdera och förbättra din agent.

Kontrollera förbättrings- och analysberedskap

Använd dessa frågor under regelbundna granskningar, såsom sprintceremonier, månatliga optimeringar eller lanseringsförberedelser.

Teman och mönster för användaravsikt

Klar? Uppgift
✓ Granskar du teman för att identifiera kluster av användarfrågor och framväxande avsikter?
✓ Lägger du till ofta förekommande teman i din backlogg för framtida förbättringar?

Konversationens utfall

Klar? Uppgift
✓ Analyserar du lösta, eskalerade, övergivna och oengagerade samtal för att hitta förbättringsområden?
✓ Ser du till att samtalen avslutas med ämnet 'End of Conversation' så att resultaten fångas korrekt?
✓ Undersöker du ökningar i antalet avbrutna sessioner för att identifiera otydliga svar eller bristande logik?
✓ Validerar du att eskaleringsvägar endast utlöses när det är lämpligt?

Genererad svarsfrekvens och kvalitet

Klar? Uppgift
✓ Granskar du den genererade svarfrekvensen för att identifiera kunskapsluckor eller otillräcklig täckning?
✓ Kontrollerar du kvalitetsmått för svar, såsom fullständighet, grundadhet och relevans?
✓ Utreder du svar av låg kvalitet och åtgärdar de orsaker som flaggats i analysen?

Användning av verktyg och åtgärder

Klar? Uppgift
✓ Övervakar du hur ofta verktyg och åtgärder används och om de lyckas eller misslyckas?
✓ Identifierar du underanvända eller felbenägna verktyg och avgör om du ska optimera eller ta bort dem?
✓ Validerar du att verktyg som används i generativ orkestrering presterar tillförlitligt?

Kunskapskällas prestanda

Klar? Uppgift
✓ Granskar du användningen och felprocenten för alla kunskapskällor?
✓ Prioriterar du uppdateringar för kunskapskällor med hög felprocent eller inkonsekventa resultat?
✓ Verifierar du att de korrekta kunskapskällorna stödjer de scenarier de är avsedda för?

Tillfredsställelse och användarfeedback

Klar? Uppgift
✓ Samlar du in användarnas sentiment genom tumme upp/tumme ner och KN-undersökningar?
✓ Analyserar du feedbacktrender för att upptäcka otydliga svar eller svaga samtalsflöden?
✓ Lägger du till interaktionsmönster med låg tillfredsställelse i din backlogg för omdesign?

Bildtext för regelverk

  • Behandla analys som en iterativ förbättringsslinga: Använd analys för att driva inkrementella förändringar. Använd teman, ofullständiga svar och misslyckandemönster som underlag för sprintplanering och för att prioritera backloggobjekt.
  • Fokusera på kvaliteten på utfallet, inte bara volymen: Ett välfungerande system maximerar lösta samtal och minimerar eskaleringar och avbrutna samtal. Använd utfallskvoter som en ledande indikator på klarhet och effektivitet.
  • Stärk kunskapskällor proaktivt: Hög felfrekvens eller lågkvalitativa svar pekar ofta på oklara, föråldrade eller oöverensstämmande kunskapskällor. Uppdatera och omstrukturera dessa källor ofta för bättre jordning.
  • Optimera verktyg för stabilitet och framgång: Opålitliga verktygsanrop försämrar förtroendet. Följ framgångsgrader och justera åtgärder som ofta misslyckas eller returnerar inkonsekvent data.
  • Använd teman för att identifiera nya möjligheter: Teman lyfter fram nya avsikter. Använd dem för att utforma nya ämnen, kunskapskällor eller integrationsbehov.
  • Se till att samtalen avslutas rent: Använd alltid ämnet Slut på samtalet för att registrera upplösning och CSAT. Utan detta ämne blir analysen ofullständig och missvisande.
  • Separat utvärdering av autonoma och användarinitierade agenter: Autonoma agenter är starkt beroende av utlösare och verktygsflöden. Granska resultat av körningar och utlösare separat från användarinitierade flöden.
  • Följ sentiment över tid: Enskild feedback är användbar, men sentimenttrender över flera veckor avslöjar systemproblem. Undersök återkommande nedgångar i ett tidigt skede.
  • Last updated on