Suivre les échecs d’évaluation avec des modèles de journalisation structurés

Documenter les échecs d’évaluation contribue à bâtir des connaissances institutionnelles qui accélèrent les futures séances de triage. Lorsque vous rencontrez à nouveau le même type d’échec, vous savez déjà ce qu’il faut vérifier en priorité au lieu de redécouvrir les mêmes causes profondes.

Utilisez ces modèles structurés pour consigner l’analyse des échecs de vos séances de triage. Choisissez la version qui correspond aux besoins et au workflow de votre équipe.

Important

Effectuez d’abord le triage des défaillances. Consignez les défaillances au fur et à mesure que vous les diagnostiquez.

Choisissez la version du modèle qui convient à votre équipe :

  • Version simplifiée pour les petites équipes itérant sur un seul assistant
  • Version détaillée pour les grandes équipes ou pour développer des connaissances institutionnelles sur plusieurs assistants

Journal de défaillance simplifié

Le journal des défaillances légères est destiné aux petites équipes ou aux sessions de triage rapide.

Copiez ce tableau et remplissez-le pendant les séances de triage. Ajoutez une ligne par défaillance.

Cas de test Type de la cause racine Problème observé Changement appliqué Résolu
___ Configuration de l’évaluation, configuration de l’assistant ou limitation de la plateforme ___ ___ Oui / Non / Partiel
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Exemple (rempli)

Cas de test Type de la cause racine Problème observé Changement appliqué Résolu
KG-003 Configuration d’évaluation Réponse attendue obsolète (ancienne politique de retour : 30 jours, politique actuelle : 15 jours ouvrables) Valeur attendue mise à jour à « 15 jours ouvrables » Oui
KG-005 Configuration de l’assistant L’assistant a fourni les détails de la garantie, sans aucune source de connaissances Instruction d’ancrage ajoutée : « Ne répondre qu’à partir de sources de connaissances » Oui
TI-002 Limitation de la plateforme Le classement des résultats de recherche ignore le titre exact du document ; la FAQ est toujours affichée à la place du manuel du produit Titres de documents restructurés comme solution de contournement ; signalé à l’équipe de la plateforme Partiel
FA-019 Limitation de la plateforme Une requête ambiguë ne peut pas récupérer la source correcte de manière fiable Documenté comme une limitation connue ; suivi en production Non (écart connu)

Journal détaillé des échecs

Le journal détaillé des échecs est destiné aux équipes qui doivent partager leurs observations, suivre le statut à travers les sprints ou constituer des connaissances institutionnelles entre plusieurs assistants.

Note

Téléchargez une version CSV de ce modèle.

Enregistrement par échec

Champ active
ID cas de test (à partir de l’ensemble d’évaluation, comme KG-003)
Ensemble d’évaluation (à quel ensemble d’évaluation appartient cet enregistrement)
Signal de qualité (exactitude factuelle, fondement des connaissances, invocation d’outils, etc.)
Type de la cause racine (Configuration d’évaluation, configuration de l’assistant, limitation de la plateforme, intégration d’outils, non classifié)
Détails des causes profondes (sous-type spécifique, comme « réponse attendue obsolète », « ambiguïté de description d’outil »)
Problème observé (ce que l’assistant a fait par rapport à ce qu’il aurait dû faire)
Chemin diagnostique (quelles questions de triage ont conduit à cette classification, comme « Étape 1, Q1.2 — réponse attendue obsolète »)
Action de remédiation (ce qui a été modifié ; des détails suffisamment précis pour reproduire la modification)
Statut (Ouvert, En cours, Résolu, Ne sera pas corrigé)
Ne corrigera pas la logique (si Ne sera pas corrigé : pourquoi, et quel système de surveillance est en place)
Vérification (résultat de la reprise : succès ou échec, date, numéro d’itération)
Date de triage ___
Trié par ___

Exemple (rempli)

Champ active
ID cas de test KG-005
Ensemble d’évaluation Ancrage des connaissances
Signal de qualité Ancrage des connaissances
Type de la cause racine Configuration de l’assistant
Détails des causes profondes Information incorrecte : contenu généré par l’assistant absent de toutes les sources de connaissances
Problème observé L’assistant a réclamé une « garantie prolongée de 3 ans couvrant toutes les pièces et main-d’œuvre » alors que la source indique « garantie standard de 2 ans »
Chemin diagnostique Étape 1 réussie (évaluation valide) → Étape 2, Q2.4 (réponse sans source) + Q2.5 (source contredite)
Action de remédiation Requête système d’ancrage ajoutée : « Répondre uniquement selon les informations présentes dans vos sources de connaissances. Si l’information n’est pas disponible, dis-le. »
Statut Résolu
Ne corrigera pas la logique S.O.
Vérification Réussite (itération 2, 15 février)
Date de triage 14 fév
Trié par [name]

Journal de synthèse des itérations

Suivez les scores et les modifications entre les itérations pour l’analyse des tendances.

Itération Date Modification apportée Ensemble d’évaluation affecté Score avant Score après Delta Remarques
1 ___ Référence (aucun changement) Toutes — ___% — Première exécution
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Résumé de la concentration

Après chaque séance de triage, comptez les types de causes fondamentales pour trouver les schémas de concentration.

Type de la cause racine Count % du total Systémique ?
Configuration d’évaluation ___ ___% (80 % + = suspendre le travail de l’assistant, corriger d’abord les évaluations)
Configuration de l’assistant ___ ___% (80 %+ dans un domaine = problème d’architecture)
Limitation de la plateforme ___ ___% (80 %+ = réévaluer le périmètre, escalader)
Boîte à outils ou intégration ___ ___% (corriger le backend, pas l’assistant)
Non classifié ___ ___% (à surveiller ; pourrait devenir classifiable avec plus de données)
Total ___ 100 %

Meilleures pratiques pour la tenue du journal

  • Mettre à jour en temps réel pendant le triage. Ne faites pas de mises à jour par lots après la session.
  • Enregistrer aussi des résultats négatifs, comme « j’ai essayé X, ça n’a pas fonctionné ». Cette pratique aide à éviter de recommencer les approches ratées.
  • Vérifiez avant chaque itération. Vérifiez les schémas avant d’aborder des échecs individuels.
  • Partager au sein de l’équipe. Partagez le journal avec l’équipe pour que tout le monde voie les découvertes antérieures.
  • Archiver, ne pas supprimer. Conservez les entrées résolues pour l’analyse des motifs. Déplacez les entrées dans une section d’archivage si le journal actif devient long.

Étapes suivantes

Après avoir documenté vos échecs :

  • Last updated on