Het optimaliseren van een agent houdt niet op na de lancering. Copilot Studio biedt rijke analyses die u inzicht geven in hoe gebruikers met uw agent communiceren, waar gesprekken slagen of vastlopen, en hoe effectief de agent tools en kennis gebruikt. Dit artikel biedt een gestructureerde checklist en best practices om u te helpen uw agent doorlopend te beoordelen en te verbeteren.
Valideer uw verbeter- en analysegereedheid
Gebruik deze vragen tijdens reguliere evaluaties, zoals sprintceremonies, maandelijkse optimalisaties of gereedheid voor release.
Thema's en patronen van gebruikersintentie
| Gereed? |
Task |
| ✓ |
Beoordeelt u thema's om clusters van gebruikersvragen en opkomende intenties te identificeren? |
| ✓ |
Voeg uw vaak voorkomende thema's toe aan uw backlog voor toekomstige verbeteringen? |
Gespreksresultaten
| Gereed? |
Task |
| ✓ |
Analyseert u opgeloste, geëscaleerde, verlaten en niet-betrokken gesprekken om verbeterpunten te vinden? |
| ✓ |
Zorgt u ervoor dat gesprekken eindigen met het onderwerp 'Einde van het gesprek' zodat uitkomsten correct worden vastgelegd? |
| ✓ |
Onderzoekt u pieken in afgebroken sessies om onduidelijke responsen of ontbrekende logica te identificeren? |
| ✓ |
Valideert u dat escalatiepaden alleen worden geactiveerd wanneer dat passend is? |
Percentage en kwaliteit van gegenereerde antwoorden
| Gereed? |
Task |
| ✓ |
Bekijkt u het gegenereerde antwoordpercentage om kennishiaten of ontbrekende dekking te identificeren? |
| ✓ |
Controleert u de kwaliteit van antwoorden zoals volledigheid, gegrondheid en relevantie? |
| ✓ |
Onderzoekt u antwoorden van slechte kwaliteit en pakt u de oorzaken aan die in analyses worden aangegeven? |
| Gereed? |
Task |
| ✓ |
Houdt u in de gaten hoe vaak tools en acties worden ingezet en of ze slagen of falen? |
| ✓ |
Identificeert u onderbenutte of foutgevoelige tools en bepaalt u of u ze moet optimaliseren of verwijderen? |
| ✓ |
Valideert u dat de tools die in generatieve indeling worden gebruikt, betrouwbaar presteren? |
| Gereed? |
Task |
| ✓ |
Bekijkt u het gebruik en de foutpercentages van alle kennisbronnen? |
| ✓ |
Geeft u prioriteit aan updates voor kennisbronnen met hoge foutpercentages of inconsistente resultaten? |
| ✓ |
Controleert u of de juiste kennisbronnen de scenario's ondersteunen waarvoor ze bedoeld zijn? |
Tevredenheid en gebruikersfeedback
| Gereed? |
Task |
| ✓ |
Verzamelt u gebruikersfeedback via 'duim omhoog/omlaag' en CSAT-enquêtes? |
| ✓ |
Analyseert u feedbacktrends om onduidelijke respons of zwak gespreksverloop te identificeren? |
| ✓ |
Voegt u interactiepatronen met lage gebruikerstevredenheid toe aan uw backlog voor herontwerp? |
Callouts voor best practices
-
Behandel analyses als een iteratieve verbetercyclus: gebruik analyses om incrementele veranderingen aan te sturen. Gebruik thema's, onvolledige antwoorden en faalpatronen om de sprintplanning te sturen en backlog-items te prioriteren.
-
Richt u op de kwaliteit van de resultaten, niet alleen op de hoeveelheid: een gezond systeem maximaliseert opgeloste gesprekken en minimaliseert escalaties en afgebroken interacties. Gebruik uitkomstverhoudingen als een leidende indicator voor duidelijkheid en effectiviteit.
-
Versterk kennisbronnen proactief: een hoge foutgraad of lage kwaliteit van antwoorden wijst vaak op onduidelijke, verouderde of niet passende kennisbronnen. Werk deze bronnen regelmatig bij en herstructureer ze voor een betere onderbouwing.
-
Optimaliseer tools voor stabiliteit en succes: onbetrouwbare toolaanroepen verzwakken het vertrouwen. Volg succespercentages en pas acties aan die vaak falen of inconsistente gegevens opleveren.
-
Gebruik thema's om nieuwe mogelijkheden te ontdekken: thema's brengen opkomende intenties aan het licht. Gebruik ze om nieuwe onderwerpen, kennisbronnen of integratiebehoeften te bepalen.
-
Zorg dat gesprekken netjes eindigen: gebruik altijd het onderwerp 'Einde van het gesprek' om afronding en CSAT vast te leggen. Zonder dit onderwerp worden analyses onvolledig en misleidend.
-
Gescheiden evaluatie van autonome en door gebruikers geïnitieerde agents: autonome agents vertrouwen sterk op triggers en toolketens. Bekijk de uitkomsten en triggers los van door gebruikers geïnitieerde stromen.
-
Volg sentiment in de tijd: geïsoleerde feedback is nuttig, maar sentimenttrends over meerdere weken onthullen systemische problemen. Onderzoek aanhoudende dips zo vroeg mogelijk.