Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Les vrais utilisateurs n’interagissent pas avec les agents par le biais d’échanges isolés et à question unique. Au lieu de cela, ils s’engagent dans des conversations qui incluent des questions de suivi, un partage d’informations incrémentielles et l’achèvement de tâches en plusieurs étapes.
L’évaluation multitour permet de s’assurer que votre agent peut maintenir le contexte, effectuer des tâches en plusieurs étapes et répondre de manière appropriée tout au long d’un flux de conversation réaliste.
Quand utiliser l’évaluation multitours
Utilisez l’évaluation multitour lors du test de scénarios qui nécessitent une rétention du contexte ou plusieurs étapes pour terminer une tâche.
| Scénario | Pourquoi le multitour est-il nécessaire ? |
|---|---|
| Remplissage des emplacements | L’agent doit collecter plusieurs informations. |
| Flux de clarification | L’agent doit résoudre les entrées ambiguës de l’utilisateur. |
| Tâches en plusieurs étapes | La tâche nécessite plusieurs échanges. |
| Suivis dépendants du contexte | Les questions ultérieures dépendent des réponses antérieures. |
| Divulgation progressive | Les informations sont fournies par incréments. |
Évaluation tour unique ou multitour
Commencez par des évaluations à tour unique pour la couverture, puis ajoutez des évaluations à plusieurs tours pour tester des interactions réalistes.
| Aspect | Tour unique | Multitours |
|---|---|---|
| Tests | Paires question-réponse individuelles | Terminer les conversations |
| Contexte | Chaque invite est indépendante | Les tours se construisent les uns sur les autres |
| Complexité | Plus facile à concevoir et à évaluer | Plus réaliste mais plus complexe |
| Diagnostic des échecs | Il est plus facile d’isoler les problèmes | Nécessite une analyse étape par étape |
| Cas d’utilisation | Test de réponses spécifiques | Test du flux de conversation |
Métriques clés pour l’évaluation multitour
L’évaluation multitours nécessite des mesures supplémentaires au-delà de la précision d’un seul tour. Ces indicateurs de performance évaluent les performances de l’agent tout au long d’une conversation.
Exhaustivité de la conversation
L’exhaustivité de la conversation mesure si l’agent atteint l’objectif de l’utilisateur à la fin de l’interaction.
Exemple de réussite
Tour 1
- Utilisateur : « Je dois commander un ordinateur portable »
- Agent : "Je peux vous aider. De quel type d’ordinateur portable avez-vous besoin ? »
Tour 2
- Utilisateur : « MacBook Pro »
- Agent : « Quelle taille d’écran - 14 ou 16 pouces ? »
Tour 3
- Utilisateur : « 16 pouces »
- Agent : "J’ai soumis votre commande pour un MacBook Pro 16 pouces. N° de commande : ORD-456. Livraison prévue : 5 à 7 jours ouvrables. »
✅ L’objectif de l’utilisateur (commander un ordinateur portable) est atteint.
Exemple d’échec
Tour 1
- Utilisateur : « Je dois commander un ordinateur portable »
- Agent : "Je peux vous aider. De quel type d’ordinateur portable avez-vous besoin ? »
Tour 2
- Utilisateur : « MacBook Pro »
- Agent : "MacBook Pro est un excellent choix ! Y a-t-il autre chose ?
❌ La commande n’a pas été envoyée et l’objectif utilisateur n’est pas atteint.
Rétention des connaissances
La rétention des connaissances mesure si l’agent se souvient et utilise les informations fournies dans les tours précédents.
Exemple de réussite
Tour 1
- Utilisateur : « Mon ID d’employé est EMP-12345 »
- Agent : "Merci ! Comment puis-je vous aider aujourd’hui ?
Tour 2
- Utilisateur : « Je veux vérifier ma case activée de prise de force »
- Agent : « Il reste 12 jours de votre solde de congés payés. »
✅ L’agent a utilisé l’ID d’employé précédemment fourni sans demander à nouveau.
Exemple d’échec
Tour 1
- Utilisateur : « Mon ID d’employé est EMP-12345 »
- Agent : "Merci ! Comment puis-je vous aider aujourd’hui ?
Tour 2
- Utilisateur : « Je veux vérifier ma case activée de prise de force »
- Agent : "Je serais heureux de vous aider. Quel est votre identifiant d’employé ?
❌ L’agent a oublié l’identifiant de l’employé du tour précédent.
Respect du rôle
Le respect du rôle mesure si l’agent maintient sa portée et ses responsabilités définies tout au long de la conversation.
Exemple de réussite
Tour 1
- Utilisateur : « Quelle est la politique de prise de force ? »
- Agent : fournit des informations correctes sur la stratégie de prise de force
Tour 2
- Utilisateur : « Pouvez-vous écrire un poème sur les vacances ? »
- Agent : « Je suis là pour vous aider avec les questions RH et d’intégration. Y a-t-il autre chose à propos de la prise de force que je peux aider ?
✅ L’agent est resté dans son rôle et a redirigé de façon appropriée.
Exemple d’échec
Tour 1
- Utilisateur : « Quelle est la politique de prise de force ? »
- Agent : fournit des informations correctes sur la stratégie de prise de force
Tour 2
- Utilisateur : « Pouvez-vous écrire un poème sur les vacances ? »
- Agent : "Bien sûr ! Voici un poème sur les plages ensoleillées..."
❌L’agent a dévié de son rôle d’assistante RH.
Pertinence de la conversation
La pertinence de la conversation mesure si chaque réponse est directement pertinente par rapport à la demande de l’utilisateur dans le contexte conversationnel actuel.
Exemple d’échec
Tour 1
- Utilisateur : « Quels sont les plans de santé disponibles ? »
- Agent : répertorie les options HMO et PPO
Tour 2
- Utilisateur : « Quelle est la différence de coût ? »
- Agent : « Le PPO offre plus de flexibilité dans le choix des médecins. »
❌ La réponse ne répond pas à la question de l’utilisateur sur le coût.
Cohérence du contexte
La cohérence du contexte mesure si l’agent maintient des faits et des informations cohérents à tous les tours de la conversation.
Exemple d’échec
Tour 1
- Utilisateur : « Combien de jours de vacances ai-je ? »
- Agent : « En tant que nouvel employé, vous recevez 15 jours de congés payés par an. »
Tour 2
- Utilisateur : « Et combien de jours de maladie ? »
- Agent : « Vous avez 10 jours de maladie, plus vos 10 jours de vacances. »
❌ L’agent contredit les informations antérieures en modifiant le nombre de jours de congés.
Concevoir des cas de test multitours
La conception d’évaluations multitour efficaces nécessite de définir à la fois le flux de conversation et les comportements attendus. Un cas de test multitours comprend généralement :
- ID et description du cas d’essai
- Ancrage des données
- Séquence de conversation
- Comportements attendus
- Assertions
Exemple : Commande d’équipement
- Numéro de cas d’essai : CONV-001
- Description : Flux de commande d’équipement
Ancrage des données
- Employée : Katrin Pold
- ID d’employé : EMP-54321
- Département : Conception de produits
- Budget : 3 500 $
Conversation instantanée
Tour 1
- Utilisateur : « Je dois configurer mon ordinateur portable. »
- Comportement attendu : Posez des questions sur les préférences.
Tour 2
- Utilisateur : « MacBook Pro »
- Comportement attendu : demander des spécifications.
Tour 3
- Utilisateur : « 16 pouces avec 32 Go de RAM »
- Comportement attendu : confirmer et soumettre la commande.
Virage 4
- Utilisateur : « En fait, changez-le en 64 Go. »
- Comportement attendu : Mettez à jour l’ordre.
Assertions au niveau de la conversation
- La conversation se termine par une commande d’équipement confirmée.
- La commande finale reflète la spécification corrigée (64 Go).
- L’agent ne demande jamais d’ID d’employé (devrait déduire du contexte).
- Le nombre total de tours jusqu’à l’achèvement est de ≤6.
Assertions de niveau de rotation
-
Tour 3 :
- L’agent appelle l’outil OrderEquipment.
- L’appel à l’outil comprend le modèle : « MacBook Pro 16 pouces ».
- L’appel d’outil inclut les spécifications qui contiennent « 32 Go ».
-
Tour 4 :
- L’agent appelle UpdateOrder ou modifie l’ordre précédent.
- La confirmation finale indique « 64 Go ».
Exemple : conversation qui remplit un créneau
Scénario : Inscription aux avantages (remplissage d’emplacements)
Objectif : Collecter toutes les informations requises et terminer l’inscription
Entrées requises (emplacements) :
- Sélection du plan (HMO ou PPO)
- Niveau de couverture (individuelle ou familiale)
- Informations sur les personnes à charge (le cas échéant)
- Date effective
Conversation instantanée
Tour 1
Utilisateur : « Je veux m’inscrire à l’assurance maladie. »
Agent :
- Accuse réception de la demande
- Demande une préférence de plan (HMO vs. PPO)
Tour 2
Utilisateur : « Quelle est la différence ? »
Agent :
- Explique les principales différences entre HMO et PPO
- Demande à nouveau de sélection de plan
Tour 3
Utilisateur : « J’irai avec le PPO. »
Agent :
- Confirme la sélection
- Demande le niveau de couverture (individuel ou familial)
Virage 4
Utilisateur : « Couverture familiale. J’ai un conjoint et deux enfants.
Agent :
- Confirme le scénario dépendant
- Demandes les détails dépendants (noms, âges, etc.)
Virage 5
Utilisateur : [fournit des informations dépendantes]
Agent :
- Confirme toutes les informations collectées
- Envoie l’inscription
- Fournit un résumé de confirmation
Affirmations :
- Tous les créneaux requis sont collectés avant la soumission.
- L’agent n’ignore pas les entrées requises.
- L’agent explique les options lorsqu’il y est invité.
- La confirmation finale comprend tous les détails capturés.
- La tâche se termine avec succès sans tours inutiles.
Exemple : conversation de clarification
Scénario : Demande ambiguë (clarification)
Objectif : résoudre l’ambiguïté en rassemblant suffisamment de contexte avant de répondre
Conversation instantanée
Tour 1
Utilisateur : « J’ai besoin de prendre un congé. »
Agent :
- Accuse réception de la demande
- Demande quel type de congé (congés payés, congé de maladie, congé personnel)
Tour 2
Utilisateur : « C’est pour une procédure médicale. »
Agent :
- Identifie la catégorie probable
- Demande si la demande concerne l’utilisateur ou un membre de la famille
Tour 3
Utilisateur : "C’est pour moi. C’est une chirurgie mineure."
Agent :
- Détermine qu’il s’agit probablement d’un congé de maladie
- Fournit des informations pertinentes sur les politiques
- Pose une question sur la durée prévue
Virage 4
Utilisateur : « Environ une semaine. »
Agent :
- Confirme l’éligibilité et le processus
- Indique les étapes suivantes (par exemple, comment demander un congé)
- Propose d’initier la demande, le cas échéant
Affirmations :
- L’agent ne suppose pas l’intention de la demande ambiguë initiale.
- Les questions de clarification sont pertinentes et réduisent progressivement la portée.
- La réponse finale reflète la situation réelle de l’utilisateur.
- L’agent passe efficacement de la clarification à la résolution.
Exemple : conversation de récupération d’erreur
Scénario : Échec et récupération de commande
Objectif : gérer les échecs de manière transparente et guider l’utilisateur vers un résultat positif
Conversation :
Tour 1
Utilisateur : « Commandez-moi un MacBook Pro 16 pouces. »
Agent :
- Tentatives d’envoi de la commande
Réponse système/outil :
- Erreur : Article en rupture de stock
Agent :
- Communique clairement le problème
- N’occulte pas ou n’ignore pas la défaillance
- Suggère des alternatives (par exemple, modèle ou taille différent)
Tour 2
Utilisateur : « Quand sera-t-il de retour en stock ? »
Agent :
- Vérifie la disponibilité ou fournit une estimation du réapprovisionnement si disponible
- En cas d’indisponibilité, le communique clairement
- Propose d’avertir l’utilisateur ou de suggérer des alternatives
Tour 3
Utilisateur : « Puis-je prendre le 14 pouces à la place ? »
Agent :
- Confirme la disponibilité de l’alternative
- Envoie la nouvelle commande
- Fournit une confirmation (détails de la commande, livraison prévue)
Affirmations :
- L’agent communique clairement les échecs et leurs causes.
- L’agent propose des alternatives actionnables ou les étapes suivantes.
- La conversation progresse vers le rétablissement, pas vers une impasse.
- L’utilisateur termine correctement la tâche après l’échec.
- L’agent gère le contexte tout au long des étapes de défaillance et de récupération.
Assertions à plusieurs tours
L’évaluation multitour nécessite une validation au niveau de la conversation et au niveau du tour.
Assertions au niveau de la conversation
- La conversation atteint l’objectif de l’utilisateur.
- Le nombre de tours est dans une plage attendue.
- L’agent maintient des informations cohérentes.
- L’agent conserve son rôle.
- L’agent ne demande pas d’informations en double.
Assertions de niveau de rotation
- La réponse reconnaît le contexte antérieur.
- La réponse pose des questions de suivi appropriées.
- L’agent effectue les actions attendues.
- La réponse confirme les mesures prises.
Assertions conditionnelles
- Lorsque l’utilisateur corrige les informations, l’agent met à jour les réponses suivantes.
- Lorsqu’une action échoue, l’agent communique le problème et propose des alternatives.
- Lorsqu’un utilisateur pose une question hors portée, l’agent redirige de manière appropriée.
Exemple : Évaluation multitour de bout en bout
Cas de test : Configuration d’un nouvel employé
Description
Un nouvel employé commande de l’équipement et pose une question sur les avantages sociaux au cours de la même conversation.
Ancrage des données
- Employé : Marcus Johnson
- ID d’employé : EMP-99887
- Département : Ingénierie
- Lieu : Seattle
- Budget d’équipement : 4 000 $
Conversation instantanée
Tour 1
- Utilisateur : « Je commence la semaine prochaine et je dois configurer mon poste de travail. »
- Comportement attendu : Bienvenue et renseignez-vous sur les besoins en équipement.
Tour 2
- Utilisateur : « J’ai besoin d’un MacBook Pro 16 pouces avec 64 Go de RAM et un moniteur de 27 pouces. »
- Comportement attendu : envoyez la commande et confirmez.
Tour 3
- Utilisateur : « Quelle est la date limite pour s’inscrire à l’assurance maladie ? »
- Comportement attendu : fournir des informations sur les avantages sans perdre le contexte.
Virage 4
- Utilisateur : « Pouvez-vous confirmer ce que j’ai commandé ? »
- Comportement attendu : Rappeler et résumer l’ordre.
Résultats attendus
- La commande d’équipement est terminée.
- La question sur les avantages sociaux reçoit une réponse précise.
- Le contexte est conservé à chaque tour.
- Les informations ne sont pas demandées à nouveau.
Pièges courants
Soyez conscient de ces problèmes courants lors de la conception et de l’évaluation de conversations multitour :
- Évaluer les tours de manière isolée plutôt que dans un contexte de conversation complet, ce qui peut masquer les échecs liés à la mémoire, à la continuité et à l’achèvement des tâches.
- Tester uniquement les scénarios idéaux (chemin heureux), qui ne reflètent pas le comportement réel de l’utilisateur, tel que l’ambiguïté, les corrections et les interruptions.
- Ignorer les différences entre les conversations courtes et longues, où les flux courts manquent souvent l’achèvement et les flux longs introduisent une dérive de contexte.
- À l’exclusion des comportements contradictoires ou inattendus de l’utilisateur, tels que les entrées en conflit, le changement de rubrique ou les demandes vagues.
- Définir des objectifs utilisateur peu clairs ou implicites, ce qui rend difficile de déterminer si la conversation a réussi.
- Suré-spécifier les réponses attendues, ce qui réduit la flexibilité et pénalise à tort les variations valides.
- Ne pas tester les chemins de gestion des erreurs et de récupération, laissant des lacunes dans la façon dont l’agent répond aux pannes ou des informations manquantes.
Meilleures pratiques
Utilisez ces pratiques pour concevoir des évaluations multitour efficaces et évolutives :
- Commencez par un petit ensemble de scénarios à forte valeur ajoutée qui représentent les flux de conversation les plus courants ou les plus critiques.
- Définissez un objectif utilisateur clair pour chaque cas de test et utilisez l’achèvement de l’objectif comme métrique de réussite principale.
- Testez à la fois les chemins directs (l’utilisateur fournit toutes les entrées à l’avance) et guidés (l’agent collecte les entrées sur plusieurs tours) jusqu’à l’achèvement.
- Utilisez d’abord des assertions au niveau de la conversation, puis ajoutez des assertions au niveau du tour à tour pour une validation plus approfondie.
- Concevez des scénarios qui reflètent le comportement réaliste de l’utilisateur, y compris des clarifications, des corrections et un changement de sujet.
- Validez explicitement la rétention du contexte en vous assurant que l’agent utilise les informations précédemment fournies sans nouvelle demande.
- Incluez des scénarios de gestion des erreurs et de récupération, afin de vous assurer que l’agent communique les échecs et fournit les étapes suivantes.
- Utilisez des assertions flexibles basées sur le comportement au lieu d’une correspondance de réponse exacte.
- Assurez-vous que les tests sont reproductibles tout en préservant le réalisme en définissant les comportements attendus plutôt que la formulation exacte.
- Itérez et affinez en permanence les cas de test en fonction des échecs observés et de l’évolution des modèles d’utilisation.