Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese End-to-End-Schritte veranschaulichen, wie die Evaluierungs-, Triage- und Framework-Ebenen in der Praxis zusammenarbeiten. Jeder Durchgang beginnt mit einem anderen Bewertungsszenario und folgt einem separaten Diagnosepfad.
Die Durchgänge veranschaulichen Schritt für Schritt, wie das Framework angewendet wird. Nutzen Sie diese Beispiele, um zu verstehen, wie man in realen Agent-Bewertungsszenarien von Bewertungsergebnissen zu Diagnose, Korrekturmaßnahmen und Verifizierung übergeht.
Trinkgeld
Bevor Sie diese Beispiele durcharbeiten, machen Sie sich mit den Zielen des Frameworks vertraut, einschließlich der wichtigsten Konzepte und Prinzipien.
| Kontaktverlauf | Ausgangssituation | Was es demonstriert |
|---|---|---|
| Kontaktverlauf 1 | Erste Bewertungsausführung | End-to-End-Prozess: Interpretieren → Priorisieren → Triage → Beheben → Überprüfen |
| Kontaktverlauf 2 | Bewertungsplateau nach mehreren Iterationen | Musteranalyse, Reklassifizierung und Lösungsansätze für Plattformbeschränkungen |
| Kontaktverlauf 3 | Scores, die nach einer Änderung zurückgehen | Regressionserkennung, Diagnose von Anweisungskonflikten und Ausgleich von Zielkonflikten |
Anmerkung
Diese Beispiele dienen der Veranschaulichung und basieren auf gängigen Mustern, die bei mehreren Kundenbewertungsausführungen beobachtet wurden. Testfälle, Scores und Agent-Details sind repräsentative Zusammensetzungen und keine Aufzeichnungen einer einzelnen Interaktion. Die gezeigten diagnostischen Ansätze und Behebungsstrategien spiegeln Praktiken wider, die in realen Implementierungen verwendet werden.
Szenario 1: Erste Bewertungsausführung
Sie führen Ihre Bewertungssuite zum ersten Mal für einen Kundensupport-Agent aus. Dies sind die Ergebnisse:
| Auswertungssatz | Erfolgsquote |
|---|---|
| Sicherheit und personenbezogene Daten | 100 % |
| Fragen und Antworten zum Kerngeschäft | 87% |
| Wissens-Grounding | 71 % |
| Toolaufruf | 92 % |
| Triggerrouting | 88 % |
| Ton und Qualität | 83 % |
| Eskalation | 90 % |
| Insgesamt | 85 % |
Schritt 1: Scores interpretieren (Ebene 1)
Verwenden Sie die Score-Interpretationstabelle, um Schwellenwerte zu kalibrieren und zu identifizieren, welche Auswertungssätze unter dem blockierenden Schwellenwert liegen.
| Auswertungssatz | Ergebnis | Schwellenwert | Status |
|---|---|---|---|
| Sicherheit und personenbezogene Daten | 100 % | 95 % Sperrung | Ausweis |
| Fragen und Antworten zum Kerngeschäft | 87% | 80 % Sperrung | Ausweis |
| Wissens-Grounding | 71 % | 80 % Sperrung | Unterhalb der Sperrung |
| Toolaufruf | 92 % | 85 % Sperrung | Ausweis |
| Triggerrouting | 88 % | 80 % Sperrung | Ausweis |
| Ton und Qualität | 83 % | 75 % Sperrung | Ausweis |
| Eskalation | 90 % | 85 % Sperrung | Ausweis |
Bereitschaftsbeurteilung: Iterieren. Das Wissens-Grounding liegt unter des Schwellenwerts für die Sperrung. Konzentration auf Behebung dahin.
Schritt 2: Fehler priorisieren (Ebene 2, Schritt 0)
Situation: Wissens-Grounding hat sieben Testfälle. Zwei Testfälle schlagen fehl: KG-003 und KG-005. Beide Testfälle gehören zu einem Kerngeschäfts-Bewertungssatz, daher haben sie Priorität 2. Da es nur zwei gibt, führen Sie bei den eine Triage durch.
Referenz: Fehler priorisieren (Ebene 2, Schritt 0)
Schritt 3: Triage KG-003 (Ebene 2, Schritte 1 bis 2)
Testfall KG-003:
- Beispieleingabe: „Wie lautet Ihre Rückgaberichtlinie?“
- Erwartete Antwort: „Wir bieten für alle Einkäufe eine Rückgabefrist von 30 Tagen an.“
- Antwort des Agents: „Unsere Rückgaberichtlinie erlaubt Rücksendungen innerhalb von 15 Arbeitstagen nach dem Kauf.“
- Bewertungsmethode: Schlüsselwortübereinstimmung
- Ergebnis: Fehlgeschlagen (erwartet „30 Tage“, Agent sagte „15 Arbeitstage“)
Überprüfen Sie die Bewertungseinrichtung (Schritt 1 von Ebene 2):
| Frage | Antwort | Ergebnis |
|---|---|---|
| Ist die Antwort des Agents akzeptabel? | Quelldokument muss überprüft werden. | Zuerst Quelle überprüfen. |
| Ist die erwartete Antwort noch aktuell? | Im Quelldokument steht „15 Arbeitstage“. Die Richtlinie wurde aktualisiert. | Nein. Die erwartete Antwort ist veraltet. |
Klassifikation: Fehler in der Bewertungseinrichtung. Veraltete erwartete Antwort. Der Agent hat recht. Die Bewertung ist falsch.
Schritt 4: Triage KG-005 (Ebene 2, Schritte 1 bis 2)
Testfall KG-005:
- Beispiel: „Enthält der Premium-Plan eine erweiterte Garantie?“
- Erwartete Antwort: „Der Premium-Plan enthält eine zweijährige Standardgarantie. Verlängerte Garantien können separat erworben werden.“
- Antwort des Agents: „Ja, der Premium-Plan enthält eine dreijährige erweiterte Garantie, die alle Teile und Arbeitskosten abdeckt.“
- Bewertungsmethode: Bedeutungsvergleich
- Ergebnis: Fehlgeschlagen (Agent gefälschte Garantiedetails)
Überprüfen Sie die Bewertungseinrichtung (Schritt 1 von Ebene 2):
| Frage | Antwort | Ergebnis |
|---|---|---|
| Ist die Antwort des Agents akzeptabel? | Nein. „Dreijährige verlängerte Garantie“ ist erfunden. | Weiter |
| Ist die erwartete Antwort aktuell? | Ja. Die Quelle bestätigt eine zweijährige Standardgarantie. | Weiter |
| Ist der Testfall realistisch? | Ja. Häufige Kundenfrage. | Weiter |
| Könnte eine alternative Antwort richtig sein? | Nein. Die Garantiedetails sind Tatsachen. | Weiter |
| Ist die Bewertungsmethode geeignet? | Ja.Bedeutungsvergleich ist für die semantische Genauigkeit korrekt. | Die Bewertung ist zulässig. |
Den Agent diagnostizieren (Schritt 2 von Ebene 2):
| Frage | Antwort |
|---|---|
| Ist der Inhalt der Quelle falsch? | Nein. In der Quelle steht „zweijährige Standardgarantie“. |
| Hat der Agent dem Inhalt der Quelle widersprochen? | Ja. Die Quelle sagt „zweijährige Standardgarantie“, aber der Agent sagt „dreijährige erweiterte Garantie“. |
| Hat der Agent geantwortet, ohne sich auf eine Quelle zu beziehen? | Wahrscheinlich ja. Das Detail der „dreijährigen erweiterten Garantie, die alle Teile und Arbeitskosten abdeckt“, ist in keiner Quelle vorhanden. |
Klassifikation: Agent-Konfigurationsproblem. Lücke beim Wissens-Grounding. Der Agent hat Angaben zur Garantie ausgegeben, die in den konfigurierten Wissensquellen nicht vorhanden sind.
Schritt 5: Beheben (Ebene 3)
KG-003 (Korrektur der Bewertungseinrichtung):
- Ändern: Erwartungswert von „30-tägiges Rückgabefenster“ auf „15 Arbeitstage“ aktualisieren
- Erneut ausführen: Nur KG-003
- Erwartung: Bestehen
KG-005 (Agent-Konfigurationskorrektur):
- Änderung: Fügen Sie der Systemaufforderung eine Erdungsanweisung hinzu: „Nur antworten, basierend auf Informationen, die in Ihren Wissensquellen gefunden wurden. Wenn die Informationen nicht verfügbar sind, geben Sie dies an.“
- Erneut ausführen: Vollständiger Wissens-Grounding-Bewertungssatz (eine Änderung der Agent-Konfiguration kann weitreichendere Auswirkungen haben)
- Erwarten: KG-005 besteht. Andere Testfälle sollten keine Regression zeigen.
Schritt 6: Überprüfen
Führen Sie nach beiden Änderungen den Wissens-Grounding-Bewertungssatz erneut aus:
| Vorher | Nachher |
|---|---|
| 71 % (5/7 bestanden) | 86 % (6/7 bestanden) |
Bewertung: Wissens-Grounding liegt jetzt über dem Sperrungsschwellenwert von 80 %. Ein Fehler (KG-007) bleibt bestehen und verhindert die Einsatzbereitschaft nicht. Überprüfen Sie dies in der nächsten Iteration.
Schritt 7: Dokumentieren (Ebene 4)
Im Fehlerprotokoll vermerken:
| Testfall | Ursachentyp | Beobachtetes Problem | Angewandte Änderung | Geklärt |
|---|---|---|---|---|
| KG-003 | Bewertungseinrichtung | Erwartete Antwort veraltet (Richtlinie von 30 Tagen auf 15 Arbeitstage geändert). | Aktualisierter erwarteter Wert | Ja |
| KG-005 | Agentkonfiguration | Falsche Garantiedetails, die durch keine Quelle belegt sind. | Anweisung zum Wissens-Grounding zum Systemprompt hinzugefügt | Ja |
Hinweis zum Muster: Erwartete Werte vor jeder Bewertungsausführung mit den Quelldokumenten abgleichen. Nehmen Sie diesen Schritt in die Vorabcheckliste für die Bewertung auf.
Bereitschaftsprüfung: Alle Bewertungssätze liegen jetzt über den Schwellenwerten für die Sperrung.
Einsatzbereitschaftsbewertung: Agent mit bekannten Lücken bereitstellen (KG-007 dokumentiert, Überwachungsplan vorhanden).
Referenz: Ebene 4: Muster analysieren und kontinuierliche Verbesserungen Ihres Agent vornehmen
Journey 2: Score-Plateau
Situation: Sie führen vier Iterationen mit einem Produkt-Support-Agent aus. Die sachliche Genauigkeit bleibt über alle vier Ausführungen hinweg bei 78 %. Sie nehmen nach jeder Ausführung Prompt-Änderungen vor, sehen aber keine Verbesserung.
Schritt 1: Muster prüfen (Ebene 4)
Überprüfen Sie das Fehlerprotokoll über alle vier Iterationen hinweg:
| Iteration | Ergebnis | Angewandte Änderung | Ergebnis |
|---|---|---|---|
| 1 | 78 % | (Grundlinie) | — |
| 2 | 79 % | Hinzugefügt: „Sei präzise bei den Produktspezifikationen“ | Keine wesentliche Änderung |
| 3 | 77 % | Neuorganisierte Aufforderung, Genauigkeitsanweisungen zuerst einzufügen | Keine wesentliche Änderung |
| 4 | 78 % | Ergänzende Beispiele für korrekte Produktantworten | Keine wesentliche Änderung |
Trend: konstant. Korrektur geht die eigentliche Ursache nicht an.
Referenz: Ebene 4: Muster analysieren und kontinuierliche Verbesserungen Ihres Agent vornehmen
Schritt 2: Die fehlgeschlagenen Testfälle analysieren
Überprüfen Sie die sechs dauerhaften Fehler in allen Iterationen.
| Testfall | Fehlgeschlagen seit | Beobachtetes Problem |
|---|---|---|
| FA-002 | Iteration 1 | Agent verweist auf die FAQ-Seite statt auf das Produkthandbuch |
| FA-005 | Iteration 1 | Agent verweist auf die FAQ-Seite statt auf das Produkthandbuch |
| FA-008 | Iteration 1 | Agent verweist auf die FAQ-Seite statt auf das Produkthandbuch |
| FA-011 | Iteration 1 | Agent verweist auf die FAQ-Seite statt auf das Produkthandbuch |
| FA-014 | Iteration 1 | Agent verweist auf die FAQ-Seite statt auf das Produkthandbuch |
| FA-019 | Iteration 2 | Agent gibt eine Teilantwort von der FAQ-Seite und lässt Details aus dem Produkthandbuch aus |
Konzentrationsanalyse: Fünf von sechs Ausfällen (83 %) haben dieselbe Ursache: Der Agent greift auf Informationen von der FAQ-Seite zu, anstatt das Produkthandbuch zu nutzen.
Schritt 3: Erneute Triage (Ebene 2)
Die Fehler werden zunächst als Agent-Konfigurationsproblem: falsche Quelle abgerufen klassifiziert.
Nehmen Sie mehrere Änderungen an der Agent-Konfiguration vor, formulieren Sie zum Beispiel Prompts um, sortieren Sie um und fügen Sie Beispiele hinzu. Diese Änderungen führen nicht zu messbaren Verbesserungen. Überprüfen Sie an diesem Punkt den Fehler anhand von Indikatoren für Plattformbeschränkungen.
| Indikator | Überprüfen |
|---|---|
| Fehler werden über mehrere Aufforderungs- oder Konfigurationsvariationen hinweg beibehalten | Ja. Vier Iterationen ohne Veränderung. |
| Der Abruf gibt trotz korrekter Quellkonfiguration durchgehend falsche Dokumente zurück | Ja. Die FAQ werden stets anstelle des Produkthandbuchs abgerufen. |
Neuklassifizierung: Dieses Problem ist eine Plattformbeschränkung im Zusammenhang mit der Rangfolge des Abrufs. Die Plattform priorisiert die FAQ konsistent gegenüber dem Produkthandbuch bei diesen Anfragen, und weitere Aufforderungs- oder Anweisungsänderungen bleiben unbeeinflusst auf das Abrufverhalten.
Referenz: Ebene 2: Triage-Agent-Fehler
Schritt 4: Beheben (Ebene 3 – Plattformbeschränkung)
Wenn Sie einen Fehler als Plattformbeschränkung klassifizieren, konzentrieren Sie sich auf Problemumgehungen und Dokumentation, anstatt Änderungen an der Agent-Konfiguration vorzunehmen.
Referenz: Antwort auf Plattformbeschränkungen
Strategie zur Problemumgehung: Wenden Sie eine oder mehrere der folgenden Abhilfemaßnahmen an, um die Auswirkungen zu verringern:
- Strukturieren Sie das Produkthandbuch mit klareren Abschnittsüberschriften, die dem in Benutzeranfragen verwendeten Vokabular entsprechen.
- Duplizieren Sie kritische Produktspezifikationen aus dem Handbuch in die FAQ, um redundante Abrufpfade zu erstellen.
- Überarbeiten Sie den Inhalt des Handbuchs so, dass jeder Abschnitt eine einzelne, klar definierte Frage beantwortet, um die Übereinstimmung von abgerufenen Teilen zu verbessern.
Diese Ansätze zielen darauf ab, das Abrufverhalten zu beeinflussen, ohne Änderungen an Prompts oder Anweisungen vorzunehmen.
Eskalation und Nachverfolgung: Wenn die Beschränkung weiterhin besteht, dokumentieren und eskalieren Sie das Problem an das Plattformteam.
- Dokumentieren Sie die Einschränkung wie folgt: „Abfragen zu <Produktspezifikationen> rufen konsequent die FAQ-Seite ab (zuletzt aktualisiert: <Datum>, <n> Seiten) statt des Produkthandbuchs (zuletzt aktualisiert: <Datum>, <N> Seiten), obwohl das Handbuch die maßgeblichen Informationen enthält.“
- Stellen Sie unterstützende Nachweise bereit: Fügen Sie mehrere Testfälle hinzu, die die Abfrage, die erwartete Quelle und die tatsächlich abgerufene Quelle zeigen.
- Reichen Sie den Fall zur Untersuchung ein.
- Teilen Sie die dokumentierte Einschränkung und Beweise für die Nachverfolgung und Weiterverfolgung mit dem Plattformteam.
Schritt 5: Überprüfen
Nach der Umstrukturierung des Produkthandbuchs und dem Hinzufügen redundanter FAQ-Einträge führen Sie den relevanten Bewertungssatz erneut durch, um die Auswirkung zu überprüfen.
| Vorher | Nachher |
|---|---|
| 78 % (über vier Iterationen unverändert) | 89 % |
Bewertung: Die Problemumgehung verbessert die Gesamtleistung. Ein Fehler bleibt bestehen (FA‑019). Die Abfrage ist zu mehrdeutig, um die korrekte Quelle zuverlässig zu finden, selbst mit umstrukturiertem Inhalt. Dieser Fehler wird als bekannte Einschränkung dokumentiert.
Schritt 6: Dokumentieren
Aktualisieren Sie das Fehlerprotokoll, um die endgültige Klassifikation und Ergebnisse abzubilden.
| Testfall | Ursachentyp | Beobachtetes Problem | Angewandte Änderung | Geklärt |
|---|---|---|---|---|
| FA-002, 005, 008, 011, 014 | Plattformbeschränkung | Rangfolge des Abrufs priorisiert die FAQ gegenüber dem Produkthandbuch | Handbuchüberschriften umstrukturiert; kritische Spezifikationen in den FAQ dupliziert | Ja |
| FA-019 | Plattformbeschränkung | Mehrdeutige Anfragen führen nicht zuverlässig zur korrekten Quelle | Dokumentiert als bekannte Beschränkung | Nein |
Wichtige Erkenntnis: Wenn Auswertungsergebnisse trotz mehrerer Änderungen des Prompts oder Anweisung flach bleiben, ist die Ursache wahrscheinlich nicht der Prompt. Validieren Sie Infrastruktur und Plattformverhalten, bevor Sie mehr in Prompt-Engineering investieren.
Kontaktverlauf 3: Regression nach dem Update
Situation: Der Systemprompt wurde aktualisiert, um Ton und Empathie zu verbessern. Die Tonwerte stiegen, aber die sachliche Genauigkeit fiel unter den Sperrschwellenwert, was zu einer Regression führte.
Vor der Änderung:
| Auswertungssatz | Ergebnis |
|---|---|
| Sachliche Genauigkeit | 91 % |
| Ton und Qualität | 83 % |
| Alle anderen | Über dem Schwellenwert |
Sie haben die folgende Anweisung in den Systemprompt eingefügt: „Erkenne immer die Anliegen des Kunden an und zeige Empathie, bevor du antwortest. Beginne jede Antwort damit, die Erfahrung des Kunden anzuerkennen.“
Nach der Änderung:
| Auswertungssatz | Vorher | Nachher | Delta |
|---|---|---|---|
| Sachliche Genauigkeit | 91 % | 76 % | -15 % |
| Ton und Qualität | 83 % | 91 % | +8 % |
Schritt 1: Interpretieren (Ebene 1)
Die sachliche Genauigkeit liegt jetzt unter der 80 % des Sperrschwellenwerts. Diese Änderung führt zu einer Regression und blockiert die Einsatzbereitschaft.
Referenz: Ebene 1: Werte interpretieren und Fehler identifizieren
Schritt 2: Muster prüfen (Ebene 4)
Kreuzsignalmusterüberstimmung: Ton verbessert sich, während die Genauigkeit schlechter wird.
Festgestellte Ursache: Anweisungskonflikt.
Der neu hinzugefügte Tonleitfaden konkurriert mit Genauigkeitsanweisungen für die Modellorientierung.
Referenz: Ebene 4: Muster analysieren und kontinuierliche Verbesserungen Ihres Agent vornehmen
Schritt 3: Triage der neuen Fehler (Ebene 2)
Überprüfen Sie Testfälle zur sachlichen Genauigkeit, die vor der Änderung bestanden wurden und jetzt fehlschlagen.
Testfall FA-007:
- Eingabe: „Wie groß ist die maximale Uploadgröße?“
- Erwartet: „Die maximale Uploadgröße beträgt 25 MB für Standardkonten und 100 MB für Unternehmenskonten.“
- Agent vorher: „Die maximale Uploadgröße beträgt 25 MB für Standardkonten und 100 MB für Unternehmenskonten.“
- Agent nachher: „Ich verstehe Ihre Bedenken bezüglich der Datei-Uploadgrößen vollkommen. Es kann frustrierend sein, wenn Sie versuchen, wichtige Dokumente hochzuladen! Ich möchte sicherstellen, dass Sie alle Informationen haben, die Sie benötigen. Die maximale Uploadgröße beträgt 25 MB für Standardpläne.“
Schritt 1. Überprüfen Sie die Bewertung: Die erwartete Antwort ist korrekt und die Bewertung ist gültig. Die Antwort nach dem Update enthält die Details zum Unternehmenskonto nicht mehr.
Schritt 2. Diagnostizieren: Die neue Tonvorgabe erfordert eine empathische Einleitung in jeder Antwort. Diese Anforderung verbraucht Antwortbudget und Modellaufmerksamkeit und führt zu sachlich unvollständigen Antworten.
Klassifikation: Agent-Konfigurationsproblem. Anweisungskonflikte zwischen Ton und Genauigkeitsleitlinien.
Referenz: Ebene 2: Triage-Agent-Fehler
Schritt 4: Beheben (Ebene 3)
Das Problem besteht nicht in der Anweisung zur Tonalität selbst, sondern in konkurrierenden Prioritäten innerhalb des Systemprompts. Die Abhilfe konzentriert sich darauf, Anweisungen zu trennen und zu priorisieren.
Alte Anweisung (einzel, konkurrierend): „Erkennen Sie immer die Sorge des Kunden an, und zeigen Sie Empathie, bevor Sie antworten.“ Beginne jede Antwort damit, die Erfahrung des Kunden anzuerkennen.“
Neue Anweisung (getrennt, priorisiert): „Gib stets die sachlich vollständige Antwort auf die Frage des Kunden. Lasse keine Details aus, um dich kurz zu fassen. Wenn der Kunde Frustration oder Besorgnis äußert, erkenne es außerdem kurz an.“
Wichtigste Änderungen:
- Genauigkeit wird ausdrücklich priorisiert.
- Die Vollständigkeit der sachlichen Antworten wird direkt angegeben.
- Empathie wird nur unter bestimmten Voraussetzungen angewendet und ist nicht allgemein gültig.
- „Kurz“ schränkt Einfühlungsvermögen ein, um das Abschneiden von Inhalten zu verhindern.
Referenz: Ebene 3: Zuordnung von Fehlermustern zu Behebungsstrategien
Schritt 5: Überprüfen
Führen Sie die vollständige Bewertungssuite erneut durch, da Änderungen am Systemprompt große Auswirkungen haben können.
| Auswertungssatz | Vor der Änderung | Nach der Regression | Nach der Änderung |
|---|---|---|---|
| Sachliche Genauigkeit | 91 % | 76 % | 90 % |
| Ton und Qualität | 83 % | 91 % | 89 % |
| Alle anderen | Über dem Schwellenwert | Über dem Schwellenwert | Über dem Schwellenwert |
Bewertung: Beide Signale erfüllen nun ihre Schwellenwerte für die Sperrung. Der Ton kehrt nicht vollständig zu seinem Spitzenwert zurück, bleibt aber deutlich über dem 75 % Blockierungsschwellenwert und verbessert sich gegenüber der ursprünglichen Basislinie.
Schritt 6: Dokumentieren
| Testfall | Ursachentyp | Beobachtetes Problem | Angewandte Änderung | Geklärt |
|---|---|---|---|---|
| FA-007, FA-012, FA-018 (und andere) | Agentkonfiguration | Anweisung zur Tonalität verdrängte die sachliche Vollständigkeit | Prompt umstrukturiert, um Genauigkeit zu priorisieren und bedingte Empathie anzuwenden | Ja |
Wichtige Erkenntnis: Änderungen am Systemprompt sollten immer anhand der vollständigen Bewertungssuite validiert werden, nicht nur anhand des Zielsignals. Anweisungen konkurrieren um die Aufmerksamkeit des Modells und Verbesserungen in einem Bereich können in anderen zu Regressionen führen.
Muster, auf das man achten sollte: Dieses Szenario ist ein Beispiel für das Instruktionsbudgetproblem. Wenn die Prompts wachsen, werden Anweisungskonflikte wahrscheinlicher. Periodische Konsolidierung und Vereinfachung helfen, die Stabilität aufrechtzuerhalten.
Gemeinsame Muster über die verschiedenen Kontaktverläufe
Jeder Kontaktverlauf beginnt mit einem anderen Szenario, um einen spezifischen diagnostischen Pfad zu veranschaulichen. Um nachzuvollziehen, wie ein einzelner Agent den vollständigen Bewertungslebenszyklus – Score-Interpretation, Fehlertriage, Behebung und Verifizierung – durchläuft, lesen Sie Kontaktverlauf 1, der den umfassendsten End‑to‑End‑Ablauf enthält.
Diese Tabelle hebt wiederkehrende Muster hervor, die über die Kontaktverläufe hinweg beobachtet wurden, sowie die praktischen Lektionen, die sie verstärken.
| Muster | Wo er erscheint | Wichtige Kernpunkte |
|---|---|---|
| Überprüfen der Auswertung vor dem Agent | Kontaktverlauf 1 | Eine häufige Ursache für überflüssige Arbeit ist die Fehlersuche beim Agent-Verhalten, wenn die Bewertung selbst falsch ist. |
| Konstant niedrige Scores deuten auf eine falsch klassifizierte Ursache hin | Kontaktverlauf 2 | Falls wiederholte Fehlerbehebungen keine Verbesserung bringen, klassifizieren Sie das Problem neu. Vielleicht arbeiten Sie an der falschen Ursache. |
| Erneutes Ausführen der vollständigen Auswertungssuite nach Prompt-Änderungen | Kontaktverlauf 3 | Prompt-Änderungen können mehrere Qualitätssignale beeinflussen. Achten Sie immer auf Regressionen außerhalb des Zielbereichs. |
| Ergebnisse und Entscheidungen dokumentieren | Alle Kontaktverläufe | Das Führen eines Fehlerprotokolls verhindert, dass dieselben Ursachen in späteren Iterationen erneut identifiziert werden. |
| Bekannte Lücken können akzeptabel sein | Kontaktverlauf 1 (KG-007), Kontaktverlauf 2 (FA-019) | Nicht jeder Fehler muss vor der Freigabe behoben werden. Dokumentieren Sie bekannte Lücken und überwachen Sie diese im Laufe der Zeit. |
Nächste Schritte,
Nachdem Sie diese Beispiele durchgesehen haben, wählen Sie die nächste Aktion, die am besten zu Ihrer aktuellen Situation passt:
- Starten Sie mit der Interpretation der Scores, wenn Sie Bewertungsergebnisse zur Auswertung bereit haben.
- Beginnen Sie die Fehlertriage, wenn Sie spezifische Testfallfehler diagnostizieren müssen.
- Wenden Sie eine Musteranalyse an, wenn Sie mit mehreren Fehlern arbeiten und systemische Probleme identifizieren möchten.
- Richten Sie die Fehlerprotokollierung ein, um Entscheidungen, Ergebnisse und wiederkehrende Probleme zu verfolgen.
- Kehren Sie zu den Rahmenzielen zurück, um den vollständigen Bewertungstriageansatz zu überprüfen.