Configurer l'évaluation humaine pour vos agents (aperçu)

Cet article explique comment configurer l’évaluation humaine pour votre agent Foundry. En tant que générateur d’agents, vous définissez des modèles de questions d’évaluation axés sur les aspects clés de l’intérêt. Les réviseurs humains (pairs, scientifiques des données ou membres de l’équipe de conformité) remplissent ces modèles pour chaque réponse de l’agent dans l’expérience de prévisualisation de l’agent. Une fois que les réviseurs ont soumis leurs évaluations, vous pouvez afficher et télécharger les résultats directement à partir du portail Foundry pour une analyse plus approfondie.

Conditions préalables

• Un projet Foundry comportant un ou plusieurs agents.

• Application Insights configuré pour votre projet.

• Rôle Gestionnaire de projet Foundry (ou supérieur) sur le projet Foundry, pour créer et gérer des modèles d’évaluation. Pour plus d’informations, consultez Contrôle d'accès basé sur les rôles dans Microsoft Foundry.

  Important

  Les rôles Foundry RBAC ont été récemment renommés. Foundry User, Foundry Owner, Propriétaire du compteFoundry et Foundry Project Manager ont été précédemment nommés Azure utilisateur IA, Azure propriétaire d’IA, propriétaire Azure compte IA et Azure gestionnaire Project IA. Il se peut que vous voyiez encore les anciens noms à certains endroits pendant le déploiement de ce changement de nom. Les ID de rôle et les autorisations de base ne sont pas modifiés par ce changement de nom.

• Pour les réviseurs humains : rôle Utilisateur Foundry (minimum) sur le projet Foundry et Lecteur sur le compte, pour accéder à l’application web en préversion et envoyer des commentaires.

Créer un modèle d’évaluation humaine

Pour commencer l’évaluation humaine de votre agent Foundry, définissez un modèle qui contient l’ensemble de questions à compléter par les réviseurs humains en fonction des réponses de l'agent.

1. Sélectionnez l’agent que vous souhaitez évaluer à partir de la table de l’agent sous l’onglet Agents .

2. Accédez à l’onglet Évaluation humaine sous Évaluation.

3. Sélectionnez Créer un modèle pour démarrer le processus de création de modèle.

4. Dans la fenêtre contextuelle Créer un modèle d’évaluation humaine , attribuez un nom et une description, modifiez ou supprimez des exemples de questions et ajoutez de nouvelles questions en fonction de vos objectifs d’évaluation. Les types de questions pris en charge incluent pouce levé/abaissé, le curseur, le choix multiple et le texte libre.

   Conseil

   Exemples de questions par type :

   • Pouces haut/bas : « Cette réponse a-t-elle été exacte ? »
   • Curseur (1 à 5) : « Évaluez l’utilité de cette réponse. »
   • Choix multiple : « Quelle est la meilleure description de cette réponse ? (Correct / Partiellement correct / Incorrect)"
   • Texte de forme libre : « Quel contexte supplémentaire aurait amélioré cette réponse ? »

5. Après avoir configuré le modèle, sélectionnez Créer pour le finaliser.

Le nouveau modèle apparaît dans la table de modèles avec l’état inactif . Activez-le avant que les réviseurs commencent à évaluer.

Gérer vos modèles d’évaluation

Vous pouvez créer plusieurs modèles d’évaluation en fonction de vos besoins d’évaluation. La table de modèles vous permet de modifier, supprimer et définir des modèles comme actifs ou inactifs.

• Sélectionnez Modifier dans la table de modèles pour mettre à jour un modèle. Le modèle s’ouvre dans une fenêtre contextuelle modifiable.
• Sélectionnez Supprimer pour supprimer un modèle.

  Note

  Une fois supprimé, vous ne pouvez pas récupérer le modèle et ses résultats d’évaluation associés à partir du portail.

• Pour définir un modèle comme actif, sélectionnez Définir comme actif dans la table de modèles. Un seul modèle peut être actif à tout moment. L’activation d’un nouveau modèle désactive automatiquement le modèle précédent. Sélectionnez Définir comme inactif pour arrêter la capture des résultats d’évaluation humaine pour le modèle actuel.

Effectuer une évaluation humaine

Après avoir configuré le modèle d’évaluation et l’avoir défini comme actif pour l’agent cible, les réviseurs humains peuvent démarrer leur évaluation via l’application web en préversion. Cette application web est une interface de conversation basée sur un navigateur qui démarre directement à partir du générateur d’agents.

1. Sélectionnez Aperçu dans le coin supérieur droit du générateur d’agents pour ouvrir l’agent dans une interface de conversation basée sur un navigateur.
2. Entrez l’entrée et sélectionnez Envoyer pour déclencher l’exécution d’un agent.
3. Une fois que l’agent répond, sélectionnez le bouton Commentaires pour fournir une évaluation humaine pour cette réponse.
   • Un panneau latéral s’affiche, affichant le modèle d’évaluation actif.
   • Les réviseurs peuvent répondre à certaines ou toutes les questions du formulaire.
4. Sélectionnez Enregistrer pour stocker les données d’évaluation ou Annuler pour l’ignorer.
5. Poursuivez l’évaluation des réponses supplémentaires en entrant de nouvelles entrées ou en accédant aux réponses précédentes.
   • Les réviseurs peuvent ignorer les évaluations de certaines réponses ou soumettre plusieurs évaluations pour la même réponse.

Les générateurs d’agents peuvent afficher les évaluations enregistrées pour chaque réponse de l’agent dans la section Résultats de l’évaluation .

Passer en revue les résultats de l’évaluation humaine

Une fois que les réviseurs humains ont terminé leurs évaluations, les générateurs d’agents peuvent afficher un aperçu et télécharger les résultats pour une analyse plus approfondie via le portail Foundry.

1. Accédez à la table de modèles sous l’onglet Évaluation humaine et sélectionnez le modèle pour lequel vous souhaitez examiner les résultats.
2. Tous les résultats d’évaluation correspondants apparaissent sous la section Résultats de l’évaluation . Chaque instance s’affiche avec son horodatage pour référence.
3. Sélectionnez une instance d’évaluation pour afficher son résumé JSON dans la section Sortie JSON . Le code JSON inclut :
   • Horodatage
   • Invite utilisateur
   • Réponse de l’agent
   • Questions du modèle d’évaluation
   • Réponses du réviseur
4. Pour télécharger tous les résultats d’évaluation d’un modèle, sélectionnez Télécharger les résultats. Les résultats sont exportés sous forme de fichier CSV contenant toutes les informations de la vue JSON pour chaque instance d’évaluation.

Le fichier CSV téléchargé contient une ligne par instance d’évaluation, avec des colonnes pour chaque champ à partir de la vue JSON.

Contenu connexe

• Évaluer vos agents IA
• Vue d’ensemble du suivi de l’agent
• Résoudre les problèmes d’évaluation et d’observabilité