Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Wenn Evaluationsergebnisse Fehler aufzeigen, besteht die nächste Herausforderung darin, herauszufinden, wie man damit umgeht. Das Triage- und Remediation-Framework bietet Ihnen eine strukturierte Möglichkeit, Bewertungen zu interpretieren, Fehler zu diagnostizieren, Verantwortlichkeiten festzulegen und Probleme gezielt zu beheben – ohne der falschen Ursache nachzujagen oder Bewertungen isoliert zu optimieren. Dieser Artikel stellt die Ziele, den Aufbau und die Voraussetzungen des Frameworks vor, damit Sie Evaluationsergebnisse systematisch analysieren und Ihren Agent zur Produktionsreife bringen können.
Was Sie mit dem Framework erreichen können
Das Framework stellt einen strukturierten Ansatz bereit, um Ergebnisse in Maßnahmen umzusetzen, indem es Ihnen hilft:
- Bewertungswerte im Kontext interpretieren
- Fehler nach Risiko und Auswirkung priorisieren
- Diagnostizieren, warum ein Testfall fehlgeschlagen ist
- Unterscheiden zwischen:
- Fehler bei der Bewertungseinrichtung
- Fehler bei Agentkonfiguration
- Plattform- oder Funktionsbeschränkungen
Jedes diagnostizierte Problem entspricht einer spezifischen, testbaren Korrekturmaßnahme.
Das Ziel ist nicht, Bewertungsergebnisse isoliert zu optimieren, sondern den Aufwand dort zu konzentrieren, wo er das Verhalten von Agents in der Praxis verbessert.
Im Gesamtkontext des Lebenszyklus unterstützt dieses Rahmenwerk die kontinuierliche Verbesserung:
- Entwerfen und erstellen Sie den Agent.
- Bewerten Sie das Verhalten mit strukturierten Tests.
- Erkennen und beheben Sie Probleme mithilfe dieser Artikelreihe.
- Überprüfen Sie und iterieren Sie, während sich der Agent weiterentwickelt.
Indem Sie Evaluationsergebnisse als umsetzbare Signale behandeln, können Sie effizient von der Experimentierphase zu wiederholbaren und produktionsreifen Agents übergehen.
Framework-Struktur
Das Framework umfasst vier Ebenen der Triage. Jede Ebene entspricht einer tieferen Analyseebene, von der Interpretation von Scores über die Diagnose von Wurzelursachen bis hin zur Identifizierung systemischer Muster.
- Ebene 1: Bewertungsergebnisse interpretieren und Einsatzbereitschaft bewerten: Was bedeuten die Ergebnisse und ist der Agent bereit zum Einsatz?
- Ebene 2: Triagefehler: Warum hat das fehlschlagen und wer muss handeln?
- Ebene 3: Fehlermuster auf Behebungsstrategien abbilden: Was sollte konkret geändert werden?
- Ebene 4: Muster Analysieren und Verbessern: Welche systemischen Probleme offenbaren die Ausfälle?
Das Framework enthält außerdem praktische Beispiele, die zeigen, wie das Framework durchgängig angewendet wird, sowie eine Vorlage für das Fehlerprotokoll, die Ihnen hilft, Ergebnisse und Entscheidungen zu dokumentieren.
Der Schnellverweis bietet eine gekürzte Version des Triage- und Behebungsprozesses für aktive Sitzungen.
Ursachentypen
Auswertungsfehler werden je nach Eigentümer oder Personen, die handeln müssen, auf einen von drei Ursachentypen abgebildet.
| Ursachentyp | Bes. | Beschreibung des Dataflows |
|---|---|---|
| Fehler bei der Bewertungseinrichtung | Autor der Auswertung | Der Testfall, die erwartete Antwort oder das Bewertungstool sind falsch. Der Agent arbeitet möglicherweise korrekt. |
| Fehler bei Agentkonfiguration | Der Agent Builder | Der Agent liefert eine inkorrekte Antwort, die durch Änderungen an der Konfiguration behoben werden kann. |
| Plattformbeschränkungsproblem | Plattformteam | Das Verhalten der Plattform verursacht das Problem und kann nicht durch Änderungen der Konfiguration behoben werden. |
Entwurfsprinzipien
Designprinzipien leiten, wie Sie das Rahmenwerk in der Praxis anwenden, um eine effektive Triage und Sanierung sicherzustellen.
| Prinzip | Was dies in der Praxis bedeutet |
|---|---|
| Beginnen Sie mit den Bewertungsergebnissen | Beginnen Sie mit tatsächlichen Bestehensquoten und fehlgeschlagenen Testfällen, nicht mit abstrakten Annahmen. |
| Beseitigen Sie zuerst falsche Arbeit | Überprüfen Sie das Evaluierungssetup, bevor Sie den Agent analysieren, um unnötigen Aufwand zu vermeiden. |
| Ursache → Verantwortlicher → Handlung | Stellen Sie sicher, dass jeder Diagnosepfad einen klaren Eigentümer und eine konkrete Maßnahme identifiziert. |
| Klassifizierung überprüfen | Bewertungen nach der Behebung erneut durchführen. Wenn die Fehler weiterhin bestehen, führen Sie eine erneute Triage durch. |
| Erwarten Sie zusammengesetzte Ursachen | Erkennen Sie an, dass ein einzelner Fehler mehrere Ursachen haben kann. |
| Berücksichtigen Sie Schwankungen | Berücksichtigen Sie die Variabilität von Modellen und Bewertern. Wiederholen Sie die Bewertungen, um die Ergebnisse zu bestätigen. |
Architektur des Evaluationssets
Die Effektivität der Triage hängt davon ab, wie Evaluationssets strukturiert sind.
- Gut strukturierte Mengen (organisiert nach Qualitätssignal oder Szenario) erzeugen interpretierbare Werte und effektive Triage.
- Schlecht strukturierte Mengen (gemischte Signale, unklare Grenzen) erzeugen laute Ergebnisse und mehrdeutige Diagnosen.
Wenn Bewertungsergebnisse schwer zu interpretieren sind, sollten Sie die Evaluationssätze überarbeiten, bevor Sie einzelne Fehler triagieren.
Bevor Sie beginnen
Sie müssen Bewertungsergebnisse vorliegen haben, einschließlich eines Bestehens- oder Nichtbestehens-Ergebnisses für jeden Testfall. Wenn Sie noch keine Auswertungen durchgeführt haben, folgen Sie den Schritten in Automatisiertes Testen mit Agentbewertung und verweisen Sie auf Entwurf und Operationalisierung der Agentbewertung für weitere Informationen.
Nächster Schritt
Beginnen Sie damit, Ihre Bewertungsergebnisse zu interpretieren, um die Bereitschaft zu bestimmen.