Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Les signaux de qualité fournissent un moyen structuré de comprendre pourquoi les réponses des agents réussissent ou échouent. Ils aident les équipes à regrouper les résultats de l’évaluation en catégories significatives, à hiérarchiser les améliorations et à suivre les progrès au fil du temps.
Cet article explique comment dériver des signaux de qualité à partir des résultats d’évaluation pour diagnostiquer des problèmes, identifier des modèles et améliorer les performances de l’assistant Copilot.
En utilisant des signaux de qualité, les équipes peuvent :
- Identifier les modèles d’échec récurrents
- Hiérarchiser les améliorations en fonction de leur impact
- Suivez les performances entre les itérations
- Communiquer clairement les résultats aux parties prenantes
Que sont les signaux de qualité ?
Les signaux de qualité sont des catégories qui représentent des modèles dans les résultats d’évaluation. Ils proviennent d’un comportement observé plutôt que de règles prédéfinies.
Les assertions et les signaux de qualité fonctionnent ensemble dans un flux de travail d’évaluation :
- Les assertions déterminent si une réponse réussit ou échoue.
- Les signaux de qualité regroupent les résultats de l’assertion dans des modèles de niveau supérieur.
| Aspect | Assertions | Signaux de qualité |
|---|---|---|
| Level (Niveau) | Spécifique et concret | Abstrait et catégorique |
| Objectif | Déterminer la réussite ou l’échec | Diagnostiquer des modèles |
| Quantity | Plusieurs par cas de test | Peu par agent |
| Origine | Défini avant le test | Dérivé des résultats |
| Exemple | Contient « 15 jours » | Précision de la stratégie |
Après avoir défini des assertions, dérivez des signaux de qualité à partir des résultats de l’assertion et utilisez ces signaux pour suivre les performances entre les scénarios.
Signaux de qualité courants
Utilisez les signaux de qualité courants suivants lorsque vous évaluez les assistants Copilot :
- Précision de la stratégie – Mesure si les réponses s’alignent sur les sources de connaissances faisant autorité
- Attribution de la source – Mesure si les réponses identifient clairement les sources d’information
- Personnalisation : mesure si les réponses utilisent le contexte utilisateur pertinent
- Précision de l’outil – Mesure si les appels d’outil sont exécutés correctement
- Gestion des réponses de l’outil : mesure si l’agent interprète correctement la sortie de l’outil
- Pertinence de la réaffectation – Mesure si les demandes sont acheminées vers un support humain en cas de besoin
- Protection de la vie privée – Mesures assurant la protection des informations sensibles
- Activation d’action : mesure si les réponses indiquent clairement les prochaines étapes.
Évaluation du signal et causes courantes
Le tableau suivant répertorie les indicateurs pour chaque signal de qualité.
| Signal de qualité | Indicateurs de réussite | Indicateurs d’échec | Causes courantes |
|---|---|---|---|
| Précision de la stratégie | Valeurs et dates correctes Détails précis de la stratégie Cohérent avec la documentation actuelle |
Valeurs obsolètes ou incorrectes Détails en conflit ou fabriqués |
Documents obsolètes ou en double Résultats de récupération incorrects Modéliser les hallucinations |
| Attribution de la source | Références à des documents ou des sections spécifiques Effacer les déclarations d’attribution |
Aucune source fournie Références vagues ou génériques |
Métadonnées source manquantes Les instructions ne mettent pas l’accent sur l’attribution |
| Personnalisation | Réponses spécifiques à une région ou à un rôle Recommandations contextuelles |
Les réponses génériques qui ignorent le contexte utilisateur Informations régionales ou basées sur des rôles incorrectes |
Contexte utilisateur non disponible pour l’agent Sources de connaissances non segmentées par audience |
| Précision de l’outil | Sélection correcte de l’outil Paramètres et identificateurs valides Tous les champs obligatoires sont renseignés |
Paramètres manquants ou incorrects Entrées d’outil non valides |
Spécifications d’API ambiguës Mappage de paramètres incorrect |
| Gestion des réponses de l’outil | Communication précise des résultats de l’outil Gestion correcte des états de réussite et d’erreur |
Déclarations de réussite incorrectes Erreurs d’outil ignorées ou mal interprétées |
Conseils de gestion des erreurs manquants Mauvaise interprétation des réponses de l’outil |
| Pertinence de la réaffectation | Les problèmes sensibles ou complexes sont correctement acheminés Conformité aux règles d’escalade |
L’agent tente de gérer les scénarios non pris en charge Échec de la remontée des demandes à haut risque |
Critères d’escalade non définis Instructions trop permissives |
| Protection de la confidentialité | Refus de divulgation des données restreintes Réponses limitées aux informations autorisées |
Divulgation ou déduction de données sensibles Réponses qui exposent des informations protégées |
Contrôles d’accès faibles Instructions de confidentialité insuffisantes |
| Activation d’action | Instructions spécifiques Liens, identificateurs ou coordonnées |
Conseils vagues ou incomplets Étapes actionnables manquantes |
Informations procédurales manquantes dans les sources de connaissances Réponses surrésumées |
Comment dériver des signaux qualité
Les signaux de qualité sont dérivés de modèles dans les résultats d’évaluation plutôt que de listes de contrôle prédéfinies. Pour dériver des signaux de qualité :
- Exécutez un premier ensemble de cas de test d’évaluation.
- Examinez les réponses ayant échoué dans les cas de test.
- Identifier les modèles récurrents dans les échecs.
- Définissez chaque modèle comme un signal de qualité.
- Balisez les assertions associées avec le signal correspondant.
- Suivez les taux de réussite par signal.
Signaux de qualité en pratique
L’exemple suivant montre les signaux de qualité définis pour un agent d’intégration d’employés.
| Constat | Modèle identifié | Signal de qualité |
|---|---|---|
| Valeurs correctes des prises de force renvoyées | Récupération précise des connaissances | Précision de la stratégie |
| Source citée dans la réponse | Attribution incluse | Attribution de la source |
| Informations régionales incorrectes renvoyées | Contexte non utilisé | Personnalisation |
| Outil appelé avec des paramètres incorrects | Erreur d’exécution | Précision de l’outil |
| Demande acheminée aux RH de manière appropriée | Réaffectation correcte | Pertinence de la réaffectation |
| Données sensibles presque exposées | Risque de limite de confidentialité | Protection de la confidentialité |
| La réponse comprenait les étapes suivantes | Réponse actionnable | Activation d’action |
Voici des mesures spécifiques pour les signaux de qualité.
| Précision de la stratégie | Attribution de la source | Précision de l’outil |
|---|---|---|
| Contient une durée de prise de force correcte | Cite des documents faisant autorité | Appelle l’outil correct |
| Inclut la date limite d’inscription correcte | Fait référence à des sections spécifiques | Utilise des paramètres valides |
| Ne fait pas référence à une stratégie obsolète | renvoie le résultat correct. |
Appliquer et communiquer des signaux de qualité
Utilisez des signaux de qualité pour piloter les flux de travail d’évaluation et communiquer des informations. Pour appliquer des signaux de qualité :
Assertions de balises – Ajoutez des balises de signal à chaque assertion dans vos cas de test.
Cas d’essai : PTO-001
Invite : « Combien de jours de vacances les nouveaux employés ont-ils ? »Affirmations :
La réponse contient « 15 jours ».
Signal : Précision de la stratégieLa réponse cite le manuel de l’employé.
Signal : attribution sourceLa réponse mentionne la tranche de titularisation de <2 ans.
Signal : Personnalisation
Calculer les métriques – Agrégez les résultats de réussite et d’échec par signal.
Signal de qualité Cas de test Réussite Échec Taux de réussite Précision de la politique 25 23 2 92% Source Attribution 25 20 5 80% Personnalisation 15 11 4 73% Précision de l’outil 12 10 2 83% Pertinence de la réaffectation 8 8 0 100 % Protection de la confidentialité 10 10 0 100 % Hiérarchiser les problèmes – Concentrez-vous sur les signaux à faible taux de réussite ou à fort impact.
- Personnalisation (73 %) - Le plus grand écart, enquêtez d’abord.
- Attribution de la source (80 %) - Deuxième priorité.
- Précision de l’outil (83 %) - Troisième priorité.
- Précision de la politique (92 %) - Problèmes mineurs, surveillez.
Suivez la progression – Surveillez les taux de transmission des signaux entre les versions de l’agent.
- Version 1.0 > , 1.1 > , 1.2 > , 1.3
- Personnalisation : 73 % > 78 % > 85 % > 91 % (amélioration)
- Attribution de la source : 80 % > 82 % > 88 % > 90 % (en amélioration)
- Précision de l’outil : 83 % > 85 % > 84 % > 92 % (amélioré après la régression v1.2)
Les signaux de qualité transforment les conversations entre les parties prenantes. Cette spécificité permet des correctifs ciblés, un suivi quantitatif des progrès et une communication plus claire avec les parties prenantes.
Sans signaux : L’agent ne fonctionne pas bien. Les utilisateurs se plaignent.
Avec des signaux : L’exactitude des politiques est de 92 % - nous atteignons notre objectif. Mais la personnalisation est tombée à 73 % après la dernière mise à jour. Plus précisément, les employés britanniques reçoivent des informations sur les vacances aux États-Unis. Nous avons identifié la cause racine : la récupération de contexte ne transmet pas les données d’emplacement. Le correctif est en cours pour la prochaine version.
Signaux qualité par type d’agent
Les signaux de qualité et les priorités varient en fonction du type d’agent que vous évaluez.
| Type d’agent | Signal | Priority (Priorité) |
|---|---|---|
| Fondé sur la connaissance | Précision de la stratégie | Plus haut |
| Attribution de la source | Plus haut | |
| Exhaustivité | Medium (Moyen) | |
| Personnalisation | Medium (Moyen) | |
| Appel d’outil | Précision de l’outil | Plus haut |
| Gestion des réponses de l’outil | Plus haut | |
| Activation d’action | Plus haut | |
| Récupération d’erreurs | Medium (Moyen) | |
| Hybride | Précision du routage | Plus haut |
| Signaux de connaissance | Medium (Moyen) | |
| Signaux d’outil | Medium (Moyen) | |
| Pertinence de la réaffectation | Medium (Moyen) | |
| En contact direct avec le client | Protection de la confidentialité | Plus haut |
| Ton et professionnalisme | Plus haut | |
| Pertinence de la réaffectation | Plus haut | |
| Exhaustivité de la résolution | Medium (Moyen) |
Évitez les pièges courants
Évitez les problèmes suivants pour vous assurer que vos signaux de qualité restent utiles, cohérents et exploitables.
Utilisez des signaux spécifiques plutôt que des catégories génériques
Les signaux trop larges, tels que « Précision », « Utilité » ou « Pertinence », ne fournissent pas d’informations exploitables. Les signaux génériques rendent difficile l’identification des causes profondes ou la hiérarchisation des améliorations.
Définissez plutôt les signaux en fonction de modèles spécifiques et observables dans les résultats de l’évaluation.
- Éviter : précision
- Préférer : Précision de la politique, Attribution de la source
Évitez les signaux trop granulaires
La création d’un trop grand nombre de signaux à portée étroite augmente la complexité sans améliorer les informations. Une granularité excessive fragmente l’analyse et rend plus difficile le suivi des tendances significatives.
Au lieu de cela, regroupez les comportements associés dans des catégories de signaux plus larges et réutilisables.
- À éviter : Précision des congés payés, Précision des avantages sociaux, Précision des congés
- Préférer : Précision de la stratégie
Éviter les critères vagues de réussite ou d’échec
Les définitions vagues des signaux, telles que « Exactitude », manquent de normes mesurables. Sans critères clairs, les résultats sont incohérents et difficiles à interpréter.
Définissez plutôt les signaux à l’aide de comportements explicites et observables liés aux résultats de l’évaluation.
- Éviter : « La réponse est correcte »
- Préférer : « La réponse inclut la valeur correcte et cite une source faisant autorité »