Ebene 4: Muster analysieren und kontinuierliche Verbesserungen Ihres Agents vornehmen

Nachdem Sie einzelne Testfallfehler priorisiert und Korrekturen angewendet haben, könnten Sie trotzdem kaum oder keine Verbesserung der Gesamtleistung des Agents feststellen. Dieses Ergebnis weist häufig auf ein systemisches Problem hin und nicht auf eine Ansammlung unabhängiger Fehler.

Mit Hilfe der Musteranalyse können Sie mehrere fehlschlagende Testfälle analysieren, um wiederkehrende Signale und gemeinsame Hauptursachen zu identifizieren. Verwenden Sie die Musteranalyse, um sich auf Änderungen zu konzentrieren, die Gruppen von Fehlern gleichzeitig beheben, anstatt jeden Fehler isoliert zu beheben.

Wichtig

Verwenden Sie diese Anleitung, nachdem Sie die Fehlertriage abgeschlossen und Abhilfemaßnahmen umgesetzt haben. Die Musteranalyse ist besonders hilfreich, nachdem Sie mindestens fünf Fehler triagiert haben.

Wann ist der Einsatz der Musteranalyse sinnvoll?

Die Musteranalyse ist besonders nützlich, wenn Sie eine oder mehrere der folgenden Bedingungen vorfinden:

  • Viele Fehler im selben Bewertungssatz.
  • Wiederholte Fehler mit ähnlichen Symptomen.
  • Verbesserungen bei einzelnen Testfällen, die den Gesamtscore nicht beeinflussen.
  • Verbesserungen in einem Bereich, die in einem anderen zu Rückschritten führen.

Fehler einzeln zu beheben, ist in solchen Situationen ineffizient. Die Musteranalyse hilft Ihnen, gemeinsame Merkmale von Fehlern zu erkennen, damit Sie die eigentliche Ursache beheben können.

Konzentrationsanalyse

Nachdem Sie einzelne Fehler klassifiziert haben, suchen Sie nach Mustern im gesamten Datensatz.

Muster Worauf es hindeutet Empfohlene Maßnahme
80 % oder mehr der Fehler sind Probleme mit der Bewertungseinrichtung Die Bewertungssuite erfordert eine Kalibrierung, keine Änderungen am Agent Agent-Iteration anhalten. Prüfen und korrigieren Sie die Bewertungsqualität zuerst, führen Sie dann die Bewertung erneut durch, um ein sauberes Signal zu erhalten.
80 % oder mehr Fehler sind Agent-Konfigurationsprobleme in einem Bereich (zum Beispiel beim Wissen) Systemisches Defizit in der Agent-Konfiguration Konzentrieren Sie die Fehlerbehebung auf diesen Bereich. Dieses Problem ist häufig ein Architekturproblem (zum Beispiel die Struktur der Wissensquelle) und keine Anpassung einzelner Testfälle.
80 % oder mehr der Fehler entstehen durch Plattformbeschränkungen Der Agent erreicht die Plattformgrenzen Bewerten Sie den Bereich des Agent neu. Eskalieren Sie an das Plattformteam. Passen Sie Schwellenwerte an oder behandeln Sie betroffene Elemente als bekannte Einschränkungen, wo angebracht.
Fehler verteilen sich gleichmäßig auf die Fehlerursachentypen Kein einzelnes systemisches Problem Setzen Sie die Fehlerbehebung Fall für Fall mithilfe von Behebungszuordnung fort.

Wie man die Konzentrationsanalyse vornimmt

  1. Erfassen Sie Ihre klassifizierten Fehler nach Typ der Hauptursache:

    • Probleme mit der Bewertungseinrichtung
    • Probleme bei der Agent-Konfiguration
    • Plattformeinschränkungen
    • Nicht klassifiziert

  2. Berechnen Sie den Prozentsatz für jeden Typ.

  3. Wenn ein einzelner Typ bei 80 % oder höher liegt – was auf ein systemisches Problem hinweist – lösen Sie das Problem auf Kategorieebene, nicht bei einzelnen Fällen.

  4. Wenn Agent-Konfigurationsprobleme in einem Qualitätssignal konzentriert auftreten (zum Beispiel betreffen fünf von sechs das Wissens-Grounding), weist dieses Muster auf eine architektonische Ursache hin.

Übergreifende Signalmuster

Wenn Fehler mehrere Bewertungssätze umfassen, deuten sie oft auf eine gemeinsame Ursache hin. Achten Sie auf die folgenden Muster:

Muster Worauf es wahrscheinlich hindeutet Was Sie untersuchen sollten
Sachliche Genauigkeit und Wissensgrounding scheitern beide Problem mit der Wissensquelle (falsch, fehlt, nicht zugänglich oder veraltet) Wissenskonfiguration, Indexierungsstatus und Inhaltsaktualität
Toolaufruf und Triggerrouting schlagen beide fehl Problem mit der Orchestrierungskonfiguration – Themen und Tools sind nicht richtig miteinander verbunden Überprüfen Sie, wie Themen zu Tools weitergeleitet werden. Überprüfen Sie, ob Flows nicht verbunden oder fehlerhaft konfiguriert sind.
Ton-Fehler, aber Genauigkeitsübergabe Der Agent erhält die richtige Antwort, gibt sie aber nicht zufriedenstellend weiter Konzentrieren Sie sich auf Anweisungen zum Prompt-Stil. Die Genauigkeitsinfrastruktur ist solide.
Sicherheit besteht, aber Genauigkeit besteht nicht Agent kann überbeschränkt sein – zu vorsichtig, lehnt es ab, zu antworten, wann er es tun sollte Überprüfen Sie Sicherheitsanweisungen auf allzu weitreichende Beschränkungen, die legitime Antworten blockieren.
Alles, was besteht, außer Edgefälle Das Kernverhalten ist solide Konzentrieren Sie sich darauf, die Robustheit in Randbereichen auszubauen. Dieses Muster ist ein gutes Zeichen.
Genauigkeit verbessert sich, aber der Ton verschlechtert sich Anweisungskonflikt – neue Genauigkeitsanweisungen könnten die Anweisungen zur Tonalität verdrängen Überprüfen Sie die jüngsten Prompt-Änderungen und behalten Sie das „Anweisungsbudget“ im Hinterkopf.
Mehrere Auswertungssätze verschlechtern sich gleichzeitig Wahrscheinlich eine einzige Ursache mit weitreichenden Auswirkungen Überprüfen Sie, ob es kürzlich Änderungen an Systemprompts, Aktualisierungen von Wissensquellen oder Updates des Plattformmodells gab.

Umgang mit übergreifenden Signalmustern

  1. Identifizieren Sie die gemeinsame Ursache: Wenn zwei Signale gleichzeitig ausfallen, teilen sie wahrscheinlich eine Abhängigkeit, beispielsweise eine Wissensquelle, einen Prompt-Abschnitt oder eine Toolkonfiguration.
  2. Beheben Sie die gemeinsame Abhängigkeit: Beheben Sie nicht jedes Signal einzeln.
  3. Führen Sie beide Bewertungssätze erneut aus: Überprüfen Sie nach der Korrektur, ob beide Sätze eine Verbesserung zeigen.
  4. Wenn sich nur eines verbessert, teilen die Signale eigentlich keine gemeinsame Ursache. Triagieren Sie die verbleibenden Fehler unabhängig voneinander.

Trendanalyse über Iterationen hinweg

Verfolgen Sie, wie sich die Ergebnisse über Ihre Iterationszyklen hinweg verändern, um festzustellen, ob Ihre Behebungsstrategie funktioniert.

Trend Interpretation Aktion
Werte verbessern sich über Iterationen hinweg Die Fehlerbehebung funktioniert Fahren Sie fort, bis die Schwellenwerte erreicht werden.
Scores trotz Änderungen unverändert Fehlerbehebung zielt nicht auf die eigentliche Ursache ab Erneute Triage; die Ursachenklassifikation könnte falsch sein.
Scores, die nach einer Änderung herabgesetzt werden Regression – die Änderung hat etwas beschädigt Setzen Sie die Änderung zurück. Untersuchen Sie, was sich verschlechtert hat und warum.
Ein Bewertungssatz verbessert sich, ein anderer verschlechtert sich. Zielkonflikt – das Beheben einer Dimension verschlechtert eine andere Untersuchen Sie die Kopplung, die oft durch Anweisungskonflikte verursacht wird (siehe Kontaktverlauf 3).
Bewertungsergebnisse fluktuieren zwischen den Ausführungen (mehr als +/-10 % Varianz) Instabilität des Bewerters oder fehlender Determinismus des Agents Überprüfen Sie zuerst die Zuverlässigkeit des Bewerters (siehe Bewertungsüberprüfung). Machen Sie pro Iteration mindestens drei Ausführungen.

Eine Trendübersicht erstellen

Erfassen Sie nach jeder Iteration:

  • Datum
  • Durchgeführte Änderung
  • Auswertungssatz
  • Score vorab
  • Score nach
  • Delta

Diese Information hilft Ihnen bei Folgendem:

  • Sicherzustellen, dass Sie sich den Schwellenwerten nähern
  • Verschlechterungen schnell zu identifizieren
  • Plateaus frühzeitig zu identifizieren (Kontaktverlauf 2)

Fehler dokumentieren

Strukturierte Fehlerprotokolle fördern institutionelles Wissen über Iterationszyklen hinweg. Ohne Dokumentation wiederholen Teams oft die gleiche Untersuchungsarbeit.

Warum Sie Fehler dokumentieren sollten

  • Die zukünftige Triage beschleunigen: Sie erkennen sofort bekannte Fehlermuster.
  • Eskalationsnachweise aufbauen: Sammeln Sie Plattformbeschränkungen, um dem Plattformteam stärkere Fälle vorzulegen.
  • Lernen im Team fördern: Das Protokoll hilft, doppelte Untersuchungen zu vermeiden, wenn mehrere Personen am selben Agent arbeiten.
  • Schwachstellen nachverfolgen: Vergessen Sie nicht, Fehler zu verfolgen, die als „lässt sich nicht beheben“ oder „bekannte Einschränkung“ eingestuft wurden.

Die Fehlerprotokollvorlage verwenden

Verwenden Sie die Fehlerprotokollvorlage, um Fehler in einem einfachen oder detaillierten Format zu erfassen, je nach Teamgröße und Prozessreife.

Was Sie erfassen sollten

Erfassen Sie mindestens die folgenden Informationen für jeden triageierten Fehler:

  1. Welcher Testfall fehlschlug.
  2. Welchen Grundursachentyp Sie klassifiziert haben.
  3. Was genau schiefgelaufen ist.
  4. Welche Änderungen vorgenommen wurden, um den Fehler zu beheben.
  5. Ob die Behebung funktioniert hat.

Dokumentieren Sie auch bei ungelösten Fehlern:

  • Was Sie bisher versucht haben.
  • Warum es weiterhin ungelöst ist.
  • Wann eine erneute Bewertung erfolgen soll (zum Beispiel „nach Plattform-Update X“).

Kontinuierlicher Verbesserungsprozess

Verwenden Sie diese Checkliste nach jedem Triage- und Behebungszyklus, um zu bestätigen, dass Sie die Ergebnisse und nächsten Schritte festgehalten haben.

Post-Iterations-Checkliste

Fertig? Aufgabe
✓ Zeichnen Sie alle triageierten Fehler im Fehlerprotokoll auf.
✓ Identifizieren und notieren Sie die Ursachenkonzentrationen.
✓ Überprüfen Sie die übergreifenden Signalmuster.
✓ Zeichnet Ergebnisse für die Trendnachverfolgung auf.
✓ Dokumentieren Sie bekannte Einschränkungen und deren Problemumgehungen.
✓ Bestimmen Sie die Prioritäten für die nächste Iteration basierend auf den verbleibenden Fehlern.
✓ Zeitplan für erneute Ausführungen festlegen (welche Evaluationssätze, wann).

Wann das Iterieren beendet werden sollte

Hören Sie auf, zu iterieren, wenn:

  • Alle Bewertungssätze über den Schwellenwerten liegen.
  • Bekannte Lücken dokumentiert sind.
  • Die Ergebnisse konsistent sind (< 5 % Varianz).
  • Es bestehen keine offenen Konfigurationsprobleme des Agents, die blockierende Signale betreffen.

Hören Sie nicht auf, zu iterieren, wenn:

  • Sie haben hartnäckige Fehler nicht untersucht.
  • Sie haben harte Testfälle entfernt, um Schwellenwerte zu erreichen.
  • Sie haben die Plattformbeschränkungen nicht dokumentiert.

Weitere Informationen finden Sie unter Bestimmen, wann die Iteration abgeschlossen ist.

Nächste Schritte,

  • Last updated on