Verfolgen Sie Evaluationsfehler mit strukturierten Protokollvorlagen

Die Dokumentation von Evaluationsfehlern baut institutionelles Wissen auf, das zukünftige Triagesitzungen beschleunigt. Wenn Sie auf dieselbe Art von Fehlern stoßen, wissen Sie bereits, was Sie zuerst überprüfen müssen, anstatt dieselben Ursachen neu zu entdecken.

Verwenden Sie diese strukturierten Vorlagen, um die Ausfallanalyse Ihrer Triagesitzungen aufzuzeichnen. Wählen Sie die Version, die zu den Bedürfnissen und dem Arbeitsablauf Ihres Teams passt.

Wichtig

Schließen Sie Fehlertriage zuerst ab. Dokumentieren Sie Fehler, während Sie sie diagnostizieren.

Wählen Sie die Version der Vorlage, die zu Ihrem Team passt:

  • Leichte Version für kleine Teams, die auf einem einzelnen Agenten iterieren
  • Detaillierte Version für größere Teams oder beim Aufbau institutionellen Wissens über mehrere Agenten hinweg

Leichtes Fehlerprotokoll

Das leichte Fehlerprotokoll ist für kleine Teams oder schnelle Triagesitzungen gedacht.

Kopieren Sie diese Tabelle und füllen Sie sie während der Triagesitzungen aus. Fügen Sie für jeden Fehler eine Zeile hinzu.

Testfall Ursachentyp Beobachtetes Problem Angewandte Änderung Geklärt
___ Evaluationsaufbau, Agentenkonfiguration oder Plattformbeschränkung ___ ___ Ja / Nein / Teilweise
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Beispiel (ausgefüllt)

Testfall Ursachentyp Beobachtetes Problem Angewandte Änderung Geklärt
KG-003 Bewertungseinrichtung Erwartete Antwort veraltet (alte Rückgaberegelung – 30 Tage; aktuelle Regelung beträgt 15 Werktage) Erwarteter Wert auf 15 Arbeitstage aktualisiert Ja
KG-005 Agentkonfiguration Der Agent stellte Garantiedetails zur Verfügung, die in keiner Wissensquelle enthalten sind Groundinganweisung hinzugefügt: „Nur aus Wissensquellen antworten“ Ja
TI-002 Plattformbeschränkung Das Ranking der Suchergebnisse ignoriert den exakten Dokumenttitel; die FAQ wird immer statt des Produkthandbuchs abgerufen Umstrukturierte Dokumentüberschriften als Problemumgehung; eskaliert an das Plattformteam Teilweise
FA-019 Plattformbeschränkung Eine mehrdeutige Abfrage kann die korrekte Quelle nicht zuverlässig abrufen. Als bekannte Einschränkung dokumentiert; Überwachung in der Produktivumgebung Nein (bekannte Lücke)

Detailliertes Fehlerprotokoll

Das detaillierte Fehlerprotokoll dient Teams dazu, Erkenntnisse auszutauschen, den Status über Sprints hinweg zu verfolgen oder institutionelles Wissen über mehrere Agenten hinweg aufzubauen.

Anmerkung

Laden Sie eine CSV-Version dieser Vorlage herunter.

Datensatz pro Fehler

Feld Wert
Testanfrage-ID (aus dem Evaluationsset, z. B. KG-003)
Auswertungssatz (zu welchem Bewertungssatz dieser Datensatz gehört)
Qualitätssignal (Sachgenauigkeit, Wissensgrundlage, Werkzeugaufruf usw.)
Ursachentyp (Evaluationskonfiguration, Agentenkonfiguration, Plattformbeschränkung, Tool-Integration, nicht klassifiziert)
Ursachenanalysedetail (spezifischer Untertyp, wie etwa „veraltete erwartete Antwort“, „Mehrdeutigkeit der Tool-Beschreibung")
Festgestelltes Problem (was der Agent getan hat im Vergleich zu dem, was er hätte tun sollen)
Diagnosepfad (welche Triagefragen zu dieser Einstufung führten, beispielsweise „Schritt 1, F1.2 – erwartete Antwort veraltet")
Abhilfemaßnahme (was geändert wurde; ausreichend spezifische Details zur Reproduktion)
Status (Offen, in Arbeit, gelöst, wird nicht behoben)
Die Begründung wird nicht repariert (falls nicht behoben: warum und welche Überwachungsmaßnahmen bestehen)
Verifizierung (Wiederholungsergebnis: bestanden/nicht bestanden, Datum, Iterationsnummer)
Datum der Triage ___
Sortiert von ___

Beispiel (ausgefüllt)

Feld Wert
Testanfrage-ID KG-005
Auswertungssatz Wissens-Grounding
Qualitätssignal Wissens-Grounding
Ursachentyp Agentkonfiguration
Ursachenanalysedetail Falsche Informationen, vom Agenten erzeugte Inhalte, die in keiner Wissensquelle vorhanden sind
Festgestelltes Problem Der Agent behauptete, es gebe eine dreijährige erweiterte Garantie, die alle Teile und Arbeitsleistungen umfasst, laut Quelle wird jedoch nur eine zweijährige Standardgarantie angeboten
Diagnosepfad Schritt 1 bestanden (Bewertung gültig) → Schritt 2, Q2.4 (ohne Quelle beantwortet) + Q2.5 (Antwort widerspricht Quelle)
Abhilfemaßnahme Fügen Sie der Systemaufforderung eine Erdungsanweisung hinzu: „Nur antworten, basierend auf Informationen, die in Ihren Wissensquellen gefunden wurden. Wenn die Informationen nicht verfügbar sind, geben Sie dies an.“
Status Geklärt
Die Begründung wird nicht repariert Nicht zutreffend
Verifizierung Bestanden (Iteration 2, 15. Februar)
Datum der Klassifizierung 14. Februar
Sortiert von [Name]

Iterationsprotokollzusammenfassung

Verfolgen Sie Bewertungen und Veränderungen über Iterationen hinweg für eine Trendanalyse für .

Iteration Datum Durchgeführte Änderung Betroffene Evaluationsmenge Score vorab Score nach Delta Notizen
1 ___ Basislinie (keine Änderungen) Alle — ___% — Erste Ausführung
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Konzentrationszusammenfassung

Nach jeder Triagesitzung zählen Sie die Typen der Grundursache, um Konzentrationsmuster zu finden.

Ursachentyp Count % der Summe Systemisch?
Bewertungseinrichtung ___ ___% (80%+ = Agentenarbeit pausieren, zuerst Bewertungen beheben)
Agentkonfiguration ___ ___% (80%+ in einem Bereich = Architekturproblem)
Plattformbeschränkung ___ ___% (80%+ = Umfang neu bewerten, eskalieren)
Tool oder Integration ___ ___% (Back-End beheben, nicht Agent)
Nicht klassifiziert ___ ___% (überwachen; könnte mit mehr Daten klassifizierbar werden)
Summe ___ 100 %

Empfohlene Vorgehensweisen zur Pflege des Protokolls

  • Aktualisieren Sie in Echtzeit während der Triage. Fassen Sie Updates nach der Sitzung nicht zusammen.
  • Erfassen Sie auch negative Ergebnisse, wie zum Beispiel „X ausprobiert, hat nicht geholfen.“ Diese Vorgehensweise verhindert, dass gescheiterte Ansätze erneut ausprobiert werden.
  • Überprüfen Sie vor jeder Iteration. Analysieren Sie Muster, bevor Sie einzelne Fehler bearbeiten.
  • Teamweit teilen. Teilen Sie das Protokoll mit dem Team, damit alle frühere Erkenntnisse sehen.
  • Archivieren, nicht löschen. Archivieren Sie gelöste Einträge für die Musteranalyse. Verschiebe Einträge in einen Archivbereich, wenn das aktive Protokoll zu umfangreich wird.

Nächste Schritte,

Nachdem Sie Ihre Fehler protokolliert haben:

  • Last updated on