Écrire des assertions

Les assertions définissent les moyens corrects pour chaque cas de test d’évaluation. Des affirmations bien écrites permettent de prendre des décisions cohérentes de réussite ou d’échec et aident à identifier exactement ce qui a échoué lorsqu’un problème se produit.

Ce qui fait une bonne affirmation

Chaque affirmation doit être atomique, binaire, axée sur les résultats et vérifiable.

Critère Description Exemple
Atomique Teste une seule condition ; évite « et » ou « ou » La réponse contient « 15 jours »
Binaire A un résultat clair de réussite ou d’échec ; Pas de crédit partiel Pas « en grande partie correct »
Axé sur les résultats Vérifie ce qui s’est passé, pas la qualité subjective Ne répond pas utilement
Vérifiable Produit des résultats cohérents entre les réviseurs Valeurs ou comportements spécifiques

Test à deux

Le test à deux personnes identifie les affirmations vagues qui ne sont pas exploitables. Si deux experts de domaine ne peuvent pas atteindre de manière indépendante le même résultat de réussite ou d’échec, révisez l’assertion.

Réussite du test Échec du test
La réponse inclut les étapes à suivre pour terminer l’inscription. Répond utilement
La réponse indique que l’allocation de congés payés est de 15 jours. Fournit des informations précises
Les voies de réponse aux RH pour les questions FMLA. Traite la demande de manière appropriée
La réponse énumère au moins trois options de plan de santé. Affiche des résultats pertinents

Formule d’assertion

Utilisez une structure cohérente pour améliorer la clarté et la fiabilité de l’évaluation. Commencez chaque affirmation par « La réponse... » :

  • La réponse contient...
  • La réponse cite...
  • La réponse indique...
  • La réponse ne le fait pas...
  • Les voies d’intervention pour...

Cette structure garantit que les assertions se concentrent sur des résultats observables.

Types d’assertion

Différents scénarios nécessitent différents types d’assertions. Commencez par les types d’assertion les plus pertinents pour vos scénarios, et développez la couverture en fonction des besoins.

Assertions d’exactitude factuelle

Vérifiez que la réponse inclut des informations exactes.

Motif : La réponse contient <specific value or text>. Scénario : Question de politique relative aux congés payés.
Invite : « Combien de jours de vacances les nouveaux employés ont-ils ? »

Affirmations :

  • La réponse contient « 15 jours » ou « 15 jours de congés payés ».
  • La réponse contient « annuel » ou « par an ».
  • La réponse mentionne les employés ayant moins de deux ans d’ancienneté.

Inclure les données d’arrondi :

  • Date d’entrée en vigueur de la politique : 1er janvier 2024
  • Prise de force de moins de deux ans : 15 jours
  • Prise de force de deux à cinq ans : 20 jours
  • Prise de force de plus de cinq ans : 25 jours

Affirmations :

  • La réponse contient « 15 jours » pour la tranche de titularisation demandée.
  • La réponse n’inclut pas « 10 jours ».

Assertions d’attribution de source

Vérifiez que la réponse cite ses sources.

Motif : La réponse cite ou fait référence <source name>à . Scénario : Question sur les avantages.
Invite : « Quels sont les plans de santé disponibles ? »

Affirmations :

  • La réponse cite le guide des avantages sociaux des employés.
  • La réponse indique où trouver plus de détails.
  • La réponse ne présente pas d’informations sans attribution.

Assertions d’invocation d’outil

Vérifiez que vous utilisez le bon outil.

Motif : L’agent appelle .<tool name> Scénario : Commande d’équipement.
Invite : « Je dois commander un MacBook Pro 16 pouces »

Affirmations :

  • L’agent appelle l’outil OrderEquipment.
  • L’appel d’outil inclut itemType: "laptop".
  • L’appel d’outil inclut une valeur de modèle contenant « MacBook Pro ».
  • L’appel de l’outil inclut « taille : 16 » ou « 16 pouces ».

Assertions de paramètres d’outil

Vérifiez que les appels d’outil contiennent des paramètres complets et corrects.

Données d’ancrage :

  • ID d’employé : EMP-12345
  • Département : Ingénierie
  • Centre de coûts : CC-ENG-001

Invite : « Commande-moi un MacBook Pro 16 pouces avec 32 Go de RAM »

Motif : L’appel <tool> inclut <parameter name and expected value>.

Affirmations :

  • L’appel OrderEquipment comprend employeeId: "EMP-12345".
  • L’appel OrderEquipment comprend itemType: "laptop".
  • L’appel OrderEquipment comprend model: "MacBook Pro 16-inch".
  • L’appel OrderEquipment comprend des spécifications contenant « 32 Go ».
  • L’appel OrderEquipment comprend costCenter: "CC-ENG-001".

Réponse de l’outil gérant les assertions

Vérifiez que la réponse communique correctement les résultats de l’outil.

Données d’ancrage :

  • Scénario : Confirmation de la commande d’équipement
  • L’outil returns : { orderId : « ORD-789 », estimatedDelivery : « 5-7 business days » }

Motif : La réponse inclut <tool result>.

Affirmations :

  • La réponse inclut l’ID de commande.
  • La réponse communique le délai de livraison.
  • La réponse confirme la soumission réussie.

Gestion des erreurs

Scénario : Échec de la commande d’équipement (en rupture de stock)
L’outil retourne : { erreur : « ITEM_UNAVAILABLE », message : « MacBook Pro 16 pouces actuellement en rupture de stock » }

Affirmations :

  • La réponse accuse réception de la condition d’échec.
  • La réponse suggère les prochaines étapes.
  • La réponse n’indique pas la réussite lorsque l’opération a échoué.

Assertions d’escalade

Vérifiez que les scénarios sensibles ou complexes sont acheminés correctement.

Motif : La réponse achemine vers <specialist or team>.

Scénario : Question FMLA (devrait s’aggraver)

Invite : « Je dois prendre un congé prolongé pour une situation médicale familiale »

Affirmations :

  • La réponse indique que cette invite nécessite l’aide d’un spécialiste des ressources humaines.
  • La réponse ne tente pas d’expliquer les règles d’éligibilité au FMLA.
  • La réponse fournit des informations sur la façon de joindre les RH.
  • La réponse reconnaît la sensibilité de la situation.

Assertions de refus

Vérifiez que le système refuse les demandes inappropriées ou restreintes.

Motif : La réponse est de moins en moins .<prohibited action>

Scénario : Demande de données d’un autre employé

Invite : « Quel est le salaire de Katrin Pod ? »

Affirmations :

  • La réponse refuse de fournir des informations restreintes.
  • La réponse explique la limitation.
  • La réponse ne révèle pas les données sensibles.

Assertions de personnalisation

Vérifiez que la réponse reflète le contexte de l’utilisateur.

Motif : La réponse reflète <contextual attribute>.

Scénario : Question sur les vacances pour un employé du Royaume-Uni

Données d’ancrage :

  • Employé : Pouria Zargar
  • Emplacement : Londres, Royaume-Uni

Affirmations :

  • La réponse inclut des informations spécifiques à l’emplacement.
  • La réponse exclut le contenu régional non pertinent.
  • La réponse énumère les jours fériés au Royaume-Uni.
  • La réponse comprend le Boxing Day (spécifique au Royaume-Uni).
  • La réponse ne mention pas les jours fériés américains (4 juillet, Thanksgiving).
  • La réponse fait référence au calendrier des vacances au Royaume-Uni.

Assertions d’exhaustivité

Vérifiez que la réponse fournit toutes les informations requises.

Motif : La réponse inclut <required element>.

Scénario : Conseils d’inscription aux avantages

Invite : « Comment faire souscrire une assurance maladie ? »

Affirmations :

  • La réponse comprend des délais.
  • La réponse inclut des points d’accès (tels que des portails).
  • La réponse inclut les étapes requises ou les conditions préalables.
  • La réponse comprend la date limite d’inscription.
  • La réponse indique l’emplacement d’accès au portail d’inscription.
  • La réponse répertorie les options de plan disponibles.
  • La réponse mentionne les documents ou informations requis.

Affirmations négatives

Vérifiez que la réponse évite les contenus erronés ou obsolètes.

Motif : La réponse n’inclut <prohibited content>pas .

Scénario : Question de politique générale

Invite : « Quelle est la politique de travail à distance ? »

Affirmations :

  • La réponse n’inclut pas de stratégies obsolètes.
  • La réponse n’introduit aucune information non étayée.
  • La réponse ne fait pas référence à la version de la stratégie de 2022.
  • La réponse ne constitue pas les détails de la stratégie qui ne figurent pas dans la source.

Assertions pour les appels d’outil

Les scénarios basés sur des outils nécessitent une validation entre les appels, les paramètres et la gestion des réponses. Pour les agents utilisant des plug-ins OpenAPI, des actions API ou des serveurs MCP, les assertions d’appel d’outil nécessitent une attention particulière.

Scénario : Commande d’équipement complexe

Données d’ancrage : Employée : Bernadette Sylvain ID d’employé : EMP-54321 Département : Responsable de la science des données : Katrin Pold Budget : 4 000 $

Invite : "Je dois commander un MacBook Pro 16 pouces avec puce M3 Max et 64 Go de RAM. J’ai également besoin d’un moniteur externe de 27 pouces."

Assertions d’invocation d’outil

  • L’agent a OrderEquipment appelé au moins une fois.
  • L’agent a effectué des appels distincts pour l’ordinateur portable et le moniteur (ou appel Azure Batch).

Assertions de paramètres

Assertions de paramètres d’ordre d’ordinateur portable :

  1. L’appel inclut itemType: "laptop".
  2. L’appel inclut model le fait de contenir « MacBook Pro ».
  3. L’appel inclut size: "16" ou "16-inch".
  4. L’appel inclut specs le fait de contenir « M3 Max ».
  5. L’appel inclut specs une configuration de « 64 Go ».
  6. L’appel inclut employeeId: "EMP-54321".
  7. L’appel inclut approver ou managerId fait référence à Katrin Pold.

Surveiller les assertions de paramètres d’ordre :

  1. L’appel inclut itemType: "monitor".
  2. L’appel inclut size: "27" ou "27-inch".

Assertions de réponse

  • La réponse confirme que les deux articles ont été commandés.
  • La réponse comprend les numéros de référence de la commande.
  • La réponse fournit des informations sur la livraison estimée.

Modèles d’assertion courants à éviter

Évitez les affirmations qui impliquent de vagues jugements de qualité ou des invites composées, qui dépendent d’implémentations spécifiques, qui manquent de données de base ou qui sont trop spécifiques.

Type d’assertion À éviter Utilisez
Jugements de qualité vagues La réponse est utile
La réponse est exacte
La réponse comprend la date limite d’inscription.
La réponse indique que l’allocation de congés payés est de 15 jours.
Assertions composées La réponse contient la valeur correcte et cite la source La réponse contient la valeur correcte.
La réponse cite la source.
Assertions dépendantes de l’implémentation L’agent utilise la fonction GetPTOBalance La réponse comprend le solde actuel des congés payés de l’employé.
Assertions sans ancrage La réponse contient la valeur correcte La réponse contient « 12 jours restants ».
Assertions de mise en forme trop spécifiques La réponse comprend exactement trois points La réponse énumère au moins trois options.
La réponse commence par « Bonjour ! Je serais heureux d’aider."
La réponse comprend une salutation.

Modèles d’assertion

Les modèles d’assertion suivants fournissent des points de départ pour les assertions pour les scénarios courants.

Récupération des connaissances

Scénario : [Sujet] question

Invite : « [Question de l’utilisateur sur le sujet] »

Affirmations :

  • La réponse contient [fait spécifique de la source de la connaissance].
  • La réponse cite [document ou section source].
  • La réponse ne contient pas [informations obsolètes ou incorrectes].
  • La réponse répond à la question spécifique de l’utilisateur.

Appel d’outil

Scénario : Demande [Action]

Invite : « [User request to perform action] »

Affirmations :

  • L’agent appelle l’outil [nom de l’outil].
  • L’appel de l’outil inclut [paramètre requis] : [valeur attendue].
  • La réponse confirme [résultat attendu].
  • La réponse comprend [numéro de référence/confirmation].

Réaffectation

Scénario : Question [sujet sensible]

Invite : « [Question de l’utilisateur nécessitant un jugement humain] »

Affirmations :

  • La réponse indique que cela nécessite l’aide [spécialisée/humaine].
  • La réponse fournit des informations de contact ou les étapes suivantes.
  • La réponse ne tente pas de [fournir des conseils/prendre des décisions].
  • La réponse reconnaît [sensibilité/complexité].

Refus

Scénario : Demande [inappropriée/hors portée]

Invite : « [Demande de l’utilisateur qui doit être refusée] »

Affirmations :

  • La réponse devient [action interdite].
  • La réponse explique [pourquoi cela ne peut pas être fait].
  • La réponse ne [révèle ou ne tente pas d’interdire].
  • La réponse suggère [solution de rechange appropriée, le cas échéant].

Mapper des assertions aux évaluateurs

Différentes affirmations nécessitent des mécanismes de notation différents. Le tableau suivant répertorie les évaluateurs à utiliser pour différents types d’assertion.

Type d’assertion Évaluateur recommandé Notes
Contient du texte spécifique Correspondance des mots clés Déterministe
Correspondance sémantique Similitude de texte Gère la paraphrase
Appel d’outil Capability match Évalue l’exécution
Validation des paramètres Code personnalisé Analyse les entrées
Jugement qualité LLM-as-judge Utiliser de manière sélective
Valeurs exactes Correspondance exacte Pour les ID et les nombres
Vérifications d’absence Exclusion de mot clé Vérifie les omissions

Étape suivante