Vérifier la liste de contrôle d’amélioration

L’optimisation d’un assistant ne s’arrête pas au lancement. Copilot Studio fournit des analyses riches qui vous aident à comprendre comment les utilisateurs interagissent avec votre assistant, où les conversations réussissent ou s’effondrent, et comment l’assistant utilise ses outils et ses connaissances. Cet article propose une liste de contrôle structurée et les meilleures pratiques pour vous aider à évaluer et améliorer continuellement votre assistant.

Validez votre amélioration et votre aptitude à l’analyse

Utilisez ces questions lors des révisions régulières, telles que lors des cérémonies de sprint, des optimisations mensuelles ou de la préparation avant la mise en production.

Thèmes et modèles d’intention utilisateur

Vous avez terminé ? Tâche
✓ Examinez-vous des thèmes pour identifier les groupes de questions des utilisateurs et les intentions émergentes ?
✓ Ajoutes-vous des thèmes récurrents à votre catalogue pour de futures améliorations ?

Résultats de la conversation

Vous avez terminé ? Tâche
✓ Analysez-vous des conversations résolues, réaffectées, abandonnées et non engagées pour trouver des points d’amélioration ?
✓ Veillez-vous à ce que les conversations se terminent sur la rubrique Fin de conversation afin que les résultats soient correctement capturés ?
✓ Enquêtez-vous sur les pics de sessions abandonnées pour identifier des réponses floues ou des logiques manquantes ?
✓ Vérifiez-vous que les chemins d’escalade ne se déclenchent que lorsque c’est approprié ?

Taux et qualité des réponses générées

Vous avez terminé ? Tâche
✓ Vérifiez-vous le taux de réponse généré pour identifier les lacunes dans les connaissances ou un manque de couverture ?
✓ Vérifiez-vous les indicateurs de qualité des réponses tels que l’exhaustivité, l’ancrage et la pertinence ?
✓ Examinez-vous les réponses de mauvaise qualité et traitez-vous les raisons signalées dans l’analyse ?

Utilisation des outils et des actions

Vous avez terminé ? Tâche
✓ Surveillez-vous la fréquence à laquelle les outils et les actions sont invoqués et s’ils réussissent ou échouent ?
✓ Identifiez-vous les outils sous-utilisés ou sujets aux erreurs et décidez-vous de les optimiser ou de les supprimer ?
✓ Vérifiez-vous que les outils utilisés en orchestration générative fonctionnent de manière fiable ?

Performance de la source de connaissances

Vous avez terminé ? Tâche
✓ Vérifiez-vous les taux d’utilisation et d’erreur de toutes les sources de connaissances ?
✓ Privilégiez-vous les mises à jour des sources de connaissances avec des taux d’erreur élevés ou des résultats incohérents ?
✓ Vérifiez-vous que les bonnes sources de connaissances prennent en charge les scénarios pour lesquels elles sont destinées ?

Satisfaction et retours utilisateurs

Vous avez terminé ? Tâche
✓ Collectez-vous les opinions des utilisateurs via des enquêtes « pouce vers le haut/bas » et CSAT ?
✓ Analysez-vous les tendances de retour pour détecter des réponses floues ou des flux de conversation faibles ?
✓ Ajoutez-vous des modèles d’interaction de faible satisfaction à votre catalogue de refonte ?

Appels de meilleures pratiques

  • Considérez l’analyse comme une boucle d’amélioration itérative : utilisez l’analyse pour provoquer des changements incrémentaux. Utilisez des thèmes, des réponses incomplètes et des modèles de défaillance pour éclairer la planification des sprints et prioriser les éléments du backlog.
  • Concentrez-vous sur la qualité des résultats, pas seulement sur le volume : un système sain maximise les conversations résolues et minimise les escalades et les abandons. Utilisez les ratios de résultats comme indicateur avancé de clarté et d’efficacité.
  • Renforcer les sources de connaissances de manière proactive : un taux d’erreur élevé ou des réponses de faible qualité indiquent souvent des sources de connaissances obscures, obsolètes ou mal adaptées. Mettez à jour et restructurez fréquemment ces sources pour un meilleur ancrage.
  • Optimisez les outils pour la stabilité et le succès : les appels d’outils peu fiables dégradent la confiance. Suivez les taux de réussite et refactorisez les actions qui échouent fréquemment ou qui retournent des données incohérentes.
  • Utilisez les thèmes pour identifier de nouvelles opportunités : les thèmes mettent en lumière les intentions émergentes. Utilisez-les pour éclairer de nouvelles rubriques, sources de connaissances ou besoins d’intégration.
  • Assurez-vous que les conversations se terminent proprement : utilisez toujours la rubrique Fin de conversation pour enregistrer la résolution et le CSAT. Sans cette rubrique, les analyses deviennent incomplètes et trompeuses.
  • Évaluation distincte des assistants autonomes et initiés par l’utilisateur : les assistants autonomes reposent fortement sur les déclencheurs et les chaînes d’outils. Vérifiez les résultats d’exécutions et les déclencheurs séparément des flux initiés par l’utilisateur.
  • Suivez le sentiment dans le temps : un retour isolé est utile, mais les tendances de sentiment sur plusieurs semaines révèlent des problèmes systémiques. Étudiez les creux persistants dès le début.
  • Last updated on