Ebene 2: Triage von Agent-Fehlern

Nachdem Sie die Bewertungsergebnisse interpretiert und Schwerpunkte identifiziert haben, bestimmen Sie, warum einzelne Testfälle nicht bestanden haben und wer handeln muss.

Dieser Artikel bietet eine strukturierte Anleitung zur Diagnose von Fehlern auf Testfallebene. Er unterstützt Sie dabei, die Ursache zu identifizieren, zwischen Agent-, Bewertungs- und Infrastrukturproblemen zu unterscheiden und die passende nächste Maßnahme auszuwählen.

Bevor Sie beginnen

Bevor Sie mit der Fehler-Triage beginnen:

1. Führen Sie die Score-Interpretation und Bereitschaftsbewertung durch und identifizieren Sie, welche Bewertungssätze Aufmerksamkeit erfordern.
2. Konzentrieren Sie sich auf Fehler mit der höchsten Priorität, basierend auf Einsatzbereitschaft und Risiko.

Überprüfung vor der Triage: Überprüfen der Infrastrukturintegrität

Bevor Sie einzelne Fehler diagnostizieren, überprüfen Sie, ob die Abhängigkeiten während der Bewertungsausführung fehlerfrei waren. Infrastrukturprobleme können zu Fehler führen, die wie Agent- oder Bewertungsprobleme aussehen, aber mit keinem von beiden zusammenhängen.

Überprüfen Sie folgende Bedingungen:

• Wissensquellen sind zugänglich und vollständig indexiert.
• API-Back-Ends oder Konnektoren geben keine Fehler, Timeouts oder Antworten im Zusammenhang mit der Ratenbeschränkung aus.
• Authentifizierungstoken sind während der gesamten Ausführung gültig.
• Die Bewertungsumgebung entspricht der vorgesehenen Agent-Konfiguration.

Wenn eine Abhängigkeit fehlerhaft ist, korrigieren Sie das Problem, und führen Sie die Auswertung erneut aus, bevor Sie fortfahren. Das Triagieren von Ergebnissen eines ungesunden Ausführung kann zu falschen Schlussfolgerungen führen.

Schritt 0: Fehler priorisieren

Bevor Sie einzelne Testfälle triagieren entscheiden Sie zuerst, worauf Sie sich konzentrieren möchten.

Priorisieren Sie Fehler in folgender Reihenfolge:

Wenn Sie viele Fehler haben (zum Beispiel mehr als 15), triagieren Sie nicht jeden Fehler einzeln. Beginnen Sie mit dem Bewertungssatz mit der niedrigsten Bewertung und überprüfen Sie manuell einige Fehler. Wenn sie eine gemeinsame Ursache haben, kann deren Behebung viele Fehler auf einmal lösen.

Das Qualitätssignal für einen fehlgeschlagenen Test identifizieren

Wenn ein Bewertungsergebnis einen fehlgeschlagenen Testfall zeigt, aber das Qualitätssignal nicht eindeutig angegeben ist, nutzen Sie den Bewertungssatz und die Bewertungsmethode, um das Signal zu erschließen.

Zum Beispiel:

• Der Auswertungssatz gibt den Funktionsbereich an, z. B. Sicherheit, Erdung oder Werkzeugverwendung.
• Die Bewertungsmethode, wie beispielsweise Schlüsselwortabgleich oder rubrikbasierte Bewertung, bietet weitere Kontextinformationen.

Die Identifizierung des beabsichtigten Qualitätssignals hilft Ihnen, die relevantesten diagnostischen Fragen auszuwählen.

Schritt 1: Die Bewertungseinrichtung überprüfen

Für jeden Fehler überprüfen Sie manuell die tatsächliche Antwort des Agents zusammen mit dem erwarteten Wert und der Bewertungsmethode.

Bearbeiten Sie die folgenden Fragen in der angegebenen Reihenfolge. Hören Sie auf, wenn Sie ein Ergebnis erreicht haben.

1. Ist die Antwort des Agents akzeptabel? Wäre ein echter Benutzer mit dieser Antwort zufrieden, auch wenn sie die Bewertung nicht bestanden hat?

   • Wenn Ja, liegt ein Problem mit der Bewertungseinrichtung vor: Der Bewerter oder der erwartete Wert ist falsch.
   • Wenn Nein, fahren Sie mit der nächsten Frage fort.

2. Ist die erwartete Antwort aktuell und laut der Quelle korrekt?

   • Wenn Ja, fahren Sie mit der nächsten Frage fort.
   • Wenn Nein, weist die Bewertungseinrichtung einen Fehler auf: Die erwartete Antwort ist veraltet oder falsch.

3. Spiegelt der Testfall eine realistische Benutzereingabe wider?

   • Wenn Ja, fahren Sie mit der nächsten Frage fort.
   • Wenn Nein, weist die Bewertungseinrichtung einen Fehler auf: Der Testfall ist unrealistisch.

4. Könnte eine sinnvolle alternative Antwort ebenfalls korrekt sein, aber der Bewerter lässt sie nicht zu?

   • Wenn Ja, weist die Bewertungseinrichtung einen Fehler auf: Der Bewerter ist zu unflexibel und berücksichtigt keine zulässigen Varianten.
   • Wenn Nein, fahren Sie mit der nächsten Frage fort.

5. Ist die Bewertungsmethode für das, was Sie testen, geeignet?

   • Wenn Ja, ist die Bewertung gültig. Fahren Sie mit Schritt 2: Den Agent diagnostizieren fort.
   • Wenn Nein, weist die Bewertungseinrichtung ein Problem auf: Die Bewertungsmethode ist für dieses Qualitätssignal ungeeignet.

Annehmbarkeit der Antwort bestimmen

Verwenden Sie die folgenden Signale, um zu bestimmen, ob die Antwort des Agents akzeptabel ist:

• Gleiche Schlüsseldaten, verschiedene Formulierungen → oft akzeptabel (Bewertungstool kann zu starr sein).
• Kritische Informationen aus der Quelle fehlen → häufig nicht akzeptabel.
• Mehrdeutiger „Gut genug“-Schwellenwert → Zulassungskriterien könnten unklar sein (Hinweis auf Schritt 4).

Wenn Sie unsicher sind, vergleichen Sie den Inhalt mit der ursprünglichen Quelle, nicht nur mit der erwarteten Antwort.

Diese Signale fließen in Ihr Urteil ein, ersetzen es jedoch nicht.

Häufige Fehlerarten in der Bewertungseinrichtung

Bewertungsüberprüfung

Die Zuverlässigkeit des Bewerters ist eine Voraussetzung für eine vertrauenswürdige Triage. Wenn der Bewerter selbst unzuverlässig ist, diagnostizieren Sie jeden Fehler, mit dem er es zu tun hat, falsch.

Überprüfen Sie die Zuverlässigkeit des Bewerters wie folgt:

1. Wählen Sie fünf bis zehn Testfälle aus, für die Sie das richtige Ergebnis (bestanden/nicht bestanden) aus einer manuellen Überprüfung kennen.
2. Führen Sie die Bewertung durch und vergleichen Sie das Ergebnis des Bewerters mit dem manuellen Urteil.
3. Wenn das Bewertungstool in mehr als 20 % Fällen nicht einverstanden ist, sollten Sie das Bewertungstool vor dem Debuggen des Agents neu kalibrieren.

Signiert, dass ein Bewertungstool Aufmerksamkeit benötigt:

• Derselbe Testfall führt zu unterschiedlichen Urteilen über verschiedene Ausführungen hinweg.
• Fehler häufen sich in Auswertungssätzen, die modellbasierte Benotung verwenden, während deterministische Methoden bestehen.
• Der Bewerter meldet Probleme, die Sie nicht nachvollziehen können, wenn Sie die Agent-Antwort überprüfen.

Optionen zur Neukalibrierung des Bewerters:

• Verwenden Sie deterministische Methoden, wenn möglich.
• Fügen Sie explizite „akzeptable“ und „nicht akzeptable“ Beispiele der Rubrik hinzu.
• Erweitern Sie die Schlüsselwortlisten um Synonyme und geeignete Umformulierungen.
• Verwenden Sie Bedeutung vergleichen anstelle von Schlüsselwortübereinstimmung (Alle) zur semantischen Überprüfung.

Schritt 2: den Agent diagnostizieren

Zu diesem Zeitpunkt ist die Bewertung gültig und der Agent gab eine fehlerhafte Antwort. Untersuchen Sie, was in der Agent-Konfiguration nicht korrekt funktioniert hat.

Auf Fehler bei der sachlichen Genauigkeit und im Wissens-Grounding prüfen

Überprüfen auf Fehler bei Toolaufrufen

Auf Fehler beim Triggerrouting prüfen

Auf Fehler im Ton und in der Antwortqualität überprüfen

Überprüfen auf Sicherheits- und Grenzfehler

Überprüfen Sie Eskalationen und eine reibungslose Fehlerbehandlung

Nach der Diagnose ordnen Sie Fehlermuster anhand ihrer Ursachen passenden Lösungsstrategien zu.

Schritt 3: Plattformbeschränkungen identifizieren

Wenn die Bewertung korrekt ist und angemessene Konfigurationsänderungen die Ergebnisse nicht verbessern, könnte das Problem eine Plattformbeschränkung sein.

Hinweise auf Plattformbeschränkungen

Vorgehensweise bei Plattformbeschränkungen

1. Dokumentieren Sie die Einschränkung präzise (was fehlschlägt, was Sie unternommen haben und Nachweise dafür, dass es nicht konfigurationsbedingt ist).
2. Wenden Sie, wenn möglich, eine Problemumgehung an (restrukturieren Sie z. B. das Quelldokument, um die Abrufqualität zu verbessern).
3. Markieren Sie den Testfall als bekannte Beschränkung oder passen Sie die Schwellenwerte an, damit der Fortschritt in anderen Bereichen nicht blockiert wird.
4. Eskalieren Sie mit Beweisen an das Plattformteam.
5. Erfassen Sie das Element im Fehlerprotokoll zur erneuten Bewertung, wenn die Plattformfunktionen aktualisiert werden.

Nach der Klassifizierung überprüfen Sie die Problemumgehungs- und Eskalationsrichtlinien für den Umgang mit Plattformbeschränkungen.

Wenn ein Fehler nicht in das Framework passt

Manche Fehler lassen sich nicht eindeutig einem einzigen Ursachentyp zuordnen. Gängiges Beispiel:

• Back-End-Datenqualitätsprobleme: Der Inhalt der Wissensquelle ist technisch korrekt, aber mehrdeutig formuliert, sodass weder der Agent noch die Bewertung als fehlerhaft betrachtet werden.
• Zeitweilige Infrastrukturprobleme: Netzwerkzeitüberschreitungen, API-Ratenbegrenzungen und Connector-Probleme, die nicht zuverlässig reproduzierbar sind.
• Modellversionsänderungen: Das Verhalten des Agents hat sich nach einem Plattformmodellupdate geändert, das Sie nicht selbst angestoßen haben.
• Mehrdeutige Testfälle: Das Szenario ist mehrdeutig, und Fachleute sind sich über die richtige Antwort nicht einig.

Vorgeschlagener Ansatz: Dokumentieren Sie, was Sie beobachtet haben (den Fehler, die Antwort des Agents, was Sie überprüft haben). Vermerken Sie den Eintrag als „unklassifiziert“ im Fehlerprotokoll. Wenn der Fehler erneut auftritt, wird er oft mit zusätzlichen Belegen klassifizierbar.

Umgang mit komplizierten Ursachen

Ein einzelner Fehler kann durch mehrere beitragende Grundursachen verursacht werden. Zum Beispiel:

• Ein Fehler bei der sachlichen Genauigkeit, bei dem die erwartete Antwort etwas veraltet ist (Bewertungseinrichtung) und die Wissensquelle ebenfalls unvollständig ist (Agent-Konfiguration).
• Ein Fehler beim Toolaufruf, bei dem die Toolbeschreibung mehrdeutig ist (Agent-Konfiguration) und die Orchestrierung keine bedingten Toolaufrufe unterstützt (Plattformbeschränkung).

Empfohlene Vorgehensweise: Führen Sie die vollständige Triage für jeden Fehler durch. Wenn mehrere Arten von Ursachen zutreffen, bearbeiten Sie diese nach Priorität:

1. Korrigieren Sie zuerst die Auswertung, um ein sauberes Signal zu erhalten und zu prüfen, ob die Agentänderung tatsächlich hilft.
2. Korrigieren Sie die Agent-Konfiguration, um festzustellen, ob der verbleibende Fehler tatsächlich ein Plattformproblem ist.
3. Dokumentieren Sie die Plattformbeschränkung erst, nachdem 1 und 2 erledigt wurden.

Führen Sie die betroffenen Testfälle nach jeder Änderung erneut aus, bevor Sie fortfahren.

Umgang mit Fehlern in mehrteiligen Unterhaltungen

Bei Szenarien mit mehreren Stufen entstehen Fehler nur über Drehungen.

Wann man ein Problem auf mehrere Ebenen vermuten sollte

• Zu Beginn gibt der Agent korrekte Antworten, widerspricht sich aber später selbst.
• Der Agent verliert in einem späteren Unterhaltungsschritt den Kontext zu einem vorherigen Toolaufruf oder Wissensabruf.
• Der Eskalationszeitpunkt ist nur sinnvoll, wenn der gesamte Unterhaltungsverlauf berücksichtigt wird.
• Der Ton des Agents verschlechtert sich zunehmend, je länger die Unterhaltung dauert.
• Der Agent fragt nach Informationen, die der Benutzer bereits bereitgestellt hat.

Zusätzliche diagnostische Fragen

Anleitung zur Behebung von Problemen mit mehreren Drehungen

• Kontextverlust: Überprüfen Sei die Unterhaltungsstatuskonfiguration. Stellen Sie sicher, dass die Ausgabe des Tools und wichtige Fakten übergreifend beibehalten werden.
• Widersprüche: Fügen Sie eine Konsistenzanweisung hinzu, zum Beispiel: „Sorge für Konsistenz mit deinen vorherigen Antworten in dieser Unterhaltung.“
• Fragen Sie erneut: Überprüfen Sie die Konfiguration des Unterhaltungsspeichers der Plattform.
• Verschlechterung bei langen Unterhaltungen: Ziehen Sie Strategien zur Konversationszusammenfassung oder Kontextkürzung in Betracht.

Überprüfen bestandener Testfälle (falsch positive Überprüfung)

Dieses Framework konzentriert sich auf Testfälle, die nicht bestanden werden. Ein Testfall, der falsch bestanden wird, kann jedoch ausgeblendete Qualitätslücken erzeugen.

Empfohlene Vorgehensweise: Überprüfen Sie manuell 5 bis 10 % der bestandenen Testfälle pro Bewertungsausführung, insbesondere für:

• Modellbasierte Bewertung (höheres Risiko für falsch positive Ergebnisse)
• Subjektive Signale (Tonfall, Hilfsbereitschaft)
• Zuvor fehlgeschlagene Tests, die nach einer Änderung jetzt bestehen

Wenn falsch positive Ergebnisse auftreten, kalibrieren Sie den Bewerter neu.

Nächste Schritte,

Nach Abschluss der Fehlertriage:

• Verwenden Sie Ebene 3: Fehlermuster Behebungsstrategien zuordnen
• Verwenden Sie Schicht 4: Musteranalyse, um systemische Probleme zu identifizieren.
• Gehen Sie die praktischen Beispiele durch, die zeigen, wie die Framework-Ebenen in realen Szenarien zusammenwirken.