Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Les tests sont essentiels pour garantir que vos assistants personnalisés dans le Kit assistant Copilot répondent et se comportent comme prévu. Cet article explique comment créer, gérer et valider différents types de tests, y compris les scénarios à plusieurs tours. Vous pouvez également effectuer des opérations en bloc avec Excel et dupliquer des jeux de tests.
Types de tests
Créez plusieurs types de tests pour valider vos assistants.
| Type de test | Description |
|---|---|
| Correspondance de réponses | Il s’agit du type de test le plus simple. Il compare la réponse de l’assistant à la réponse attendue en utilisant l’opérateur de comparaison sélectionné. Par défaut, l’opérateur d’égalité exacte (« equals ») est utilisé. Les autres opérateurs de comparaison disponibles sont : « N’est pas égal à », « Contient », « Ne contient pas », « Commence par », « Ne commence pas par », « Se termine par » et « Ne se termine pas par ». |
| Pièces jointes (telles que les cartes adaptatives) | Compare la réponse JSON des pièces jointes de l’assistant avec le JSON des pièces jointes attendu (tableau complet des pièces jointes). Par défaut, l’opérateur « égal » (correspondance exacte) est utilisé. D’autres opérateurs de comparaison disponibles sont « N’est pas égal à », « Contient » et « Ne contient pas ». Un opérateur spécial appelé « Validation par IA » utilise des modèles de langage pour valider la pièce jointe selon les instructions de validation fournies par le concepteur, similaire à des réponses génératives. |
| Correspondance de rubrique |
Disponible uniquement lorsque l’enrichissement Dataverse (enrichissement avec transcriptions de conversation) est configuré. Lorsque l’étape d’enrichissement Dataverse est terminée, ce test compare le nom attendu de la rubrique et celui déclenché. Les tests de correspondance des rubriques prennent également en charge la correspondance multi-rubriques avec des assistants personnalisés ayant l’orchestration générative activée. En correspondance multi-rubriques, les rubriques sont séparées par des virgules ; par exemple : « Topic1,Topic2 ». |
| Réponses génératives |
Disponible uniquement si l’enrichissement par AI Builder (Analyse des réponses générées) est configuré. Utilise un grand modèle de langage pour évaluer si la réponse générée par l’IA est proche d’une réponse d’exemple ou respecte les instructions de validation. Lorsque l’option Enrichir avec Azure Application Insights est configurée, des tests négatifs, tels que la modération ou l’absence de résultats de recherche, peuvent également être testés. Pour en savoir plus, consultez Utiliser les rubriques dans les tests. |
| Multitours | Consiste en un ou plusieurs cas de test d’autres types, tels que la correspondance de réponses, les pièces jointes, la correspondance de rubriques et les réponses génératives. Tous les tests enfants d’une série de tests multitours s’exécutent dans l’ordre spécifié au sein du même contexte de conversation. Utilisez des tests multi-tours pour tester un scénario de bout en bout, et pour tester des assistants personnalisés avec orchestration générative. En savoir plus sur les tests multi-tours. |
| Validation de plan | Permet au créateur de valider que le plan dynamique de l’assistant personnalisé inclut les outils attendus. Ce type de test est destiné aux assistants personnalisés de Copilot Studio qui ont activé l’orchestration générative. Pour en savoir plus, consultez les tests Plan Validation. |
Créer un jeu de tests
Utilisez des jeux de tests pour regrouper plusieurs tests. Lorsque vous effectuez des tests, sélectionnez un jeu de tests pour exécuter tous les tests de ce jeu.
- Accédez à l’application Kit assistant Copilot.
- Accédez à l’onglet Jeux de tests.
- Créez un enregistrement d’ensemble de tests d’assistant.
- Entrez un Nom.
- Cliquez sur Enregistrer.
Créer un test
Après avoir créé un jeu de tests, ajoutez-lui des tests. Depuis la sous-grille Tests, sélectionnez + Nouveau test d’assistant.
Le tableau suivant décrit les champs.
| Nom de la colonne | Requise | Description |
|---|---|---|
| Nom | Oui | Nom de test. Ce nom peut être un identifiant de référence interne, p. ex. TST-001. |
| Jeu de tests de l’assistant | Oui | Ensemble de tests parent pour le test. |
| Type de test | Oui | L’un des types de tests disponibles. |
| Envoyer un événement startConversation | Non | Si activé, l’assistant reçoit l’événement startConversation, ce qui lui permet de démarrer la conversation de manière proactive, puis l’énoncé de test est envoyé ensuite. Ce paramètre est généralement nécessaire lorsque le sujet de Conversation Engage une logique qui doit s’exécuter avant de répondre à l’utilisateur ou à l’énoncé de test. |
| Position attendue du message de réponse | Non | Ne définissez pas de valeur si vous n’êtes pas certain. Cette option vous permet de sélectionner une réponse particulière de l’assistant lorsqu’il envoie plusieurs messages. Par exemple, si l’assistant dit d’abord « Bonjour », puis « Comment puis-je vous aider ? » et que vous souhaitez tester le deuxième message, définissez la valeur sur 1. L’ordre est basé sur 0, donc le premier message est indexé comme 0, la seconde réponse comme 1, et ainsi de suite. |
| Énoncé de test | Oui | Le message à envoyer à l’assistant dans le cadre du test. |
| Réponse attendue | Dépend de | Obligatoire pour le type de test Correspondance de réponse. Réponse attendue de l’assistant. Pour un test Réponses génératives, fournissez une réponse exemple ou vos propres instructions de validation pour le grand modèle de langage. |
| Variables externes JSON | Non | Enregistrement JSON pour toute valeur externe ou contextuelle que vous souhaitez transmettre à l’assistant dans le cadre du test. Par exemple : { "Language": "fr" } |
| Secondes avant d’obtenir une réponse | Non | Nombre de secondes à attendre avant d’évaluer la réponse de l’assistant. Dans la plupart des cas, vous pouvez laisser cette valeur vide, mais elle est utile dans des situations où l’assistant appelle une API et où la réponse peut prendre plus de temps que d’habitude. |
| Résultat attendu des réponses génératives | Dépend de | Obligatoire pour le type de test Réponses génératives. Doit être soit Répondu soit Non répondu. Lorsque l’enrichissement Azure Application Insights est activé, vous pouvez choisir Modéré ou Aucun résultat de recherche. |
| Nom de la rubrique attendu | Dépend de | Obligatoire pour le type de test de correspondance de rubrique. Nom de la rubrique censée être déclenchée. La correspondance multi-rubriques est prise en charge pour les assistants personnalisés avec l’orchestration générative activée. Pour une correspondance multi-rubriques, utilisez une liste séparée par des virgules ; par exemple : « Topic1,Topic2 ». N’ajoutez pas d’espace blanc supplémentaire. L’appariement multi-rubriques garantit que les rubriques attendues figurent parmi celles du plan. |
| JSON des pièces jointes attendues | Dépend de | Type de test obligatoire pour les pièces jointes (cartes adaptatives, etc.). Tableau JSON de pièces jointes complètes que vous attendez de la réponse de l’assistant. |
| Outils attendus | Dépend de | Obligatoire pour le type de test de validation de plan. Liste des outils attendus (outils, actions et assistants connectés), séparés par des virgules. N’ajoutez pas d’espace blanc supplémentaire. L’ordre n’est pas pertinent. Exemple : « Météo,changement climatique » |
| Seuil de Réussite en Pourcentage | Dépend de | Obligatoire pour le type de test de validation de plan. Le pourcentage d’outils attendus qui doivent être inclus dans le plan dynamique afin que le test soit validé. Si le pourcentage est de 100 %, tous les outils attendus doivent être dans le plan dynamique pour que le test réussisse. Les outils supplémentaires dans le plan dynamique n’affectent pas le résultat du test. |
Essais multi-tours
Pour le type de test à plusieurs tours, spécifiez un ou plusieurs tests enfants de types standard. Chaque test enfant a un ordre et une criticité. L’ordre détermine la séquence d’exécution au sein du même contexte conversationnel (dans le test multi-tours). La criticité définit si l’incident de test enfant doit réussir pour que l’exécution du test multitour se poursuive.
Si un test enfant nécessite une évaluation post-test, telle qu'une correspondance de rubrique ou des réponses génératives, le test reste dans un état en attente et l’exécution du test se poursuit indépendamment du statut de criticité. Si l’un des tests critiques échoue, l’exécution du test à plusieurs tours s'arrête et son résultat est considéré comme en échec. Si tous les incidents de test enfants critiques réussissent, le résultat du multitour est également réussi.
Utilisez des incidents de test enfants non critiques pour transmettre des informations à des assistants personnalisés avec une orchestration générative. Vous pouvez aussi utiliser ces cas de test lorsque la réponse n’a pas d’importance et que vous souhaitez monter en puissance vers des tests critiques.
Tests de validation du plan
La validation de plans met l’accent sur la justesse des outils. Au lieu d’évaluer ce que dit l’assistant, ce type de test vérifie si les outils attendus ont été utilisés dans le plan.
Lorsque vous définissez un test de validation de plan, spécifiez :
- Un énoncé de test
- Une liste, séparée par des virgules, des outils attendus à inclure dans le plan dynamique
- Un seuil de réussite, qui représente la quantité d’écart à tolérer par rapport à la liste
Ce test utilise les transcriptions de conversation et est évalué après l’exécution effective du test dans le cadre d’une activité d’enrichissement.
Gardez à l’esprit les points suivants :
Outils attendus : inclure des outils, des actions et des assistants connectés dans la liste séparée par des virgules. N’ajoutez pas d’espace blanc supplémentaire. L’ordre n’a pas d’importance.
Seuil de réussite % : le seuil de réussite spécifie la portion requise d’outils attendus devant être inclus dans le plan dynamique pour que le test réussisse.
La validation du plan est un test déterministe : elle calcule la déviation des outils réels par rapport aux outils attendus et la compare au seuil de réussite. Si la déviation est inférieure ou égale au seuil, le test réussit ; sinon, il échoue.
Consultez Orchestrer le comportement de l’assistant avec l’IA générative.
Assistants de test nécessitant une autorisation de connecteur
Lorsqu’un assistant utilise une source de données externe telle que SharePoint ou Dataverse, la première conversation présente généralement une carte d’autorisation « Se connecter pour continuer ». L’utilisateur doit sélectionner Autoriser avant que l’assistant puisse appeler le connecteur. Pour exercer ce flux dans un test automatisé, modélisez la requête et la réponse de l’utilisateur comme deux tests enfants à l’intérieur d’un test à plusieurs tours.
Note
C’est une configuration unique par jeu de tests. Une fois la connexion autorisée pour l’utilisateur testé, vous n’avez pas besoin de répéter les étapes d’autorisation dans les tests ultérieurs.
Le test à plusieurs tours contient deux tests enfants ordonnés :
| Commande | Type de test | Type d'opération | Objectif |
|---|---|---|---|
| 1 | Pièces jointes (cartes adaptatives, etc.) | Opérateur de comparaison | Envoie l’énoncé qui déclenche le connecteur et l’affirme sur la carte d’autorisation en JSON. |
| 2 | Pièces jointes (cartes adaptatives, etc.) | Invoquer les actions | Soumet Autoriser sur la carte d’autorisation afin que l’assistant puisse finaliser l’appel. |
Pour créer un test :
Dans votre jeu de tests, sélectionnez + Nouveau test d’assistant, entrez un nom, définissez Type de test sur Plusieurs tours, puis sélectionnez Enregistrer.
Dans la grille enfant du test à plusieurs tours, sélectionnez + Nouveau test d’assistant et configurez le premier test enfant :
Champ active Type de test Pièces jointes (cartes adaptatives, etc.) Ordre 1 Énoncé de test L’énoncé qui déclenche le connecteur, par exemple List Fourth Coffee Brands.Type d’opération Opérateur de comparaison Opérateur de comparaison Est égal à JSON des pièces jointes attendues [](espace réservé : vous remplacez ceci après la première exécution)Sélectionnez Enregistrer le test.
Enregistrez le jeu de tests et exécutez-le. Le premier test enfant échoue comme prévu, car l'espace réservé JSON ne correspond pas à la carte d’autorisation.
Ouvrez les résultats du test, sélectionnez le test enfant à plusieurs tours, recherchez la section Pièces jointes et copiez le JSON de l’attachement réel dans le Presse-papiers.
Modifiez le premier test enfant, collez le JSON copié dans JSON des pièces jointes attendues, puis sélectionnez Enregistrer le test.
Dans la grille enfant du test à plusieurs tours, sélectionnez à nouveau + Nouveau test d’assistant et configurez le deuxième test enfant :
Champ active Type de test Pièces jointes (cartes adaptatives, etc.) Ordre 2 Type d’opération Invoquer les actions Charge utile de carte adaptative {"action": "Allow", "id": "submit", "shouldAwaitUserInput": true}Opérateur de comparaison Contient des données (ou Égal, selon la réponse que vous souhaitez affirmer) Réponse attendue Laissez vide, ou définissez en fonction des données attendues une fois que la connexion est autorisée. Les valeurs de la charge utile proviennent du JSON de la carte adaptative que vous avez capturé à l’étape 4. Ajustez les champs
actionetidsi votre carte de connexion utilise des identifiants différents.Sélectionnez Enregistrer le test.
Enregistrez le jeu de tests et exécutez-le à nouveau. Les deux tests enfants devraient maintenant réussir.
Après que ce test à plusieurs tours a réussi une fois, la connexion est autorisée pour l’utilisateur du test et les tests ultérieurs sur le même connecteur peuvent être créés sous forme de tests classiques à tour unique.
Utilisez Excel pour créer ou mettre à jour des tests en masse
Après avoir créé un jeu de tests, vous pouvez utiliser Excel pour créer ou mettre à jour des tests en masse.
- À partir de l’enregistrement de votre jeu de tests, basculez la vue de sous-grille depuis Tests vers Exportation/Importation.
- Sélectionnez Exporter les tests d’assistant dans Excel Online.
- Ajouter et modifier les tests selon les besoins.
- Cliquez sur Enregistrer.
Si vous importez des tests enfants multitours, vous devez préalablement créer ou importer le test parent mulltitour. Ensuite, importez les cas de test enfants.
En savoir plus dans Importation et exportation de fichiers Excel dans les applications Power Apps pilotées par modèle.
Duplication des tests et des jeux de tests
Vous pouvez dupliquer à la fois des jeux de tests et des tests individuels.
Pour dupliquer un cas de test individuel, ouvrez l’enregistrement du test de l’assistant et sélectionnez Dupliquer le cas de test. Cette action est utile lorsque vous créez des variantes d’un cas de test, comme changer l’emplacement, l’heure ou la quantité.
Pour dupliquer un jeu de tests entier, ouvrez l’enregistrement du jeu de tests et sélectionnez Dupliquer le jeu de tests depuis la barre de commandes. Cette action crée une copie du jeu de tests et de tous ses tests enfants.