Stosowanie struktury triage ewaluacji w praktycznych scenariuszach

Te kompleksowe przewodniki ilustrują, jak warstwy struktury klasyfikacji oceny współpracują ze sobą w praktyce. Każdy przypadek zaczyna się od innego scenariusza oceny i przebiega według indywidualnej ścieżki diagnozy.

Poradniki pokazują, jak krok po kroku stosować tę strukturę. Posłuż się tymi przykładami, aby zrozumieć, jak przechodzić od rezultatów oceny do diagnozy, korekty i weryfikacji w rzeczywistych scenariuszach oceny agentów.

Wskazówka

Przed przystąpieniem do pracy z tymi przykładami, zapoznaj się z celami struktury, w tym z podstawowymi koncepcjami i zasadami.

Podróż Sytuacja początkowa Co to oznacza
Podróż 1 Uruchamianie pierwszej oceny Przepływ end-to-end: interpretacja → priorytetyzacja → klasyfikacja → korekcja → weryfikacja
Podróż 2 Wyniki stabilizują się po wielu iteracjach Analiza wzorców, reklasyfikacja i obejścia ograniczeń platformy
Podróż 3 Wyniki ulegają regresji po zmianie Wykrywanie regresji, diagnoza konfliktów instrukcji i rozwiązywanie kompromisów

Notatka

Przykłady te są ilustracyjne i oparte na typowych wzorcach obserwowanych podczas wielu ocen przeprowadzanych dla klientów. Przypadki testowe, wyniki i szczegóły agenta to reprezentatywne zestawienia, a nie zapisy z jednej interakcji. Pokazane podejścia diagnostyczne i strategie naprawcze odzwierciedlają praktyki stosowane w rzeczywistych wdrożeniach.

Podróż 1: Uruchamianie pierwszej oceny

Uruchamiasz swój pakiet oceny po raz pierwszy na agencie obsługi klienta. Oto wyniki:

Zestaw oceny Współczynnik powodzenia
Prywatność i dane osobowe 100%
Pytania i odpowiedzi dotyczące działalności podstawowej 87%
Ugruntowanie wiedzy 71%
Wywołanie narzędzia 92%
Trasowanie wyzwalaczy 88%
Ton i jakość 83%
Eskalacja 90%
Ogólnie 85%

Krok 1: Interpretacja wyników (Warstwa 1)

Skorzystaj z tabeli interpretacji wyników, aby skalibrować progi i określić, które zestawy ewaluacyjne znajdują się poniżej progów blokujących.

Zestaw oceny Ocena Threshold Stan
Prywatność i dane osobowe 100% 95% blokowania Zaliczenie
Pytania i odpowiedzi dotyczące działalności podstawowej 87% 80% blokowania Zaliczenie
Ugruntowanie wiedzy 71% 80% blokowania Poniżej blokowania
Wywołanie narzędzia 92% 85% blokowania Zaliczenie
Trasowanie wyzwalaczy 88% 80% blokowania Zaliczenie
Ton i jakość 83% 75% blokowania Zaliczenie
Eskalacja 90% 85% blokowania Zaliczenie

Ocena gotowości: Iteruj. Ugruntowanie wiedzy jest poniżej progu blokowania. Skup się na działaniach naprawczych.

Krok 2: Priorytetyzuj niepowodzenia (warstwa 2, krok 0)

Sytuacja: ugruntowanie wiedzy ma siedem przypadków testowych. Dwa przypadki testowe nie powiodły się: KG-003 i KG-005. Oba przypadki testowe znajdują się w podstawowym biznesowym zestawie ewaluacyjnym, więc mają priorytet 2. Ponieważ istnieją tylko dwa, sklasyfikuj oba.

Źródło: Priorytetyzacja niepowodzeń (Warstwa 2, Krok 0)

Krok 3: Triage KG-003 (warstwa 2, kroki 1-2)

Przypadek testowy KG-003:

  • Przykładowe zapytanie: „Jaka jest Państwa polityka zwrotów?”
  • Oczekiwana odpowiedź: "Oferujemy możliwość zwrotu w ciągu 30 dni na wszystkie zakupy."
  • Odpowiedź agenta: "Nasza polityka zwrotów pozwala na zwroty w ciągu 15 dni roboczych od zakupu".
  • Metoda oceny: dopasowanie słów kluczowych
  • Wynik: Błąd (oczekiwano "30 dni", agent udzielił odpowiedzi "15 dni roboczych")

Zweryfikuj konfigurację oceny (krok 1 w warstwie 2):

Pytanie Odbierz Wynik
Czy odpowiedź agenta jest akceptowalna? Należy sprawdzić dokument źródłowy. Najpierw sprawdź źródło.
Czy oczekiwana odpowiedź jest nadal aktualna? Dokument źródłowy podaje: „15 dni roboczych.” Polityka została zaktualizowana. Nr Nieaktualna oczekiwana odpowiedź

Klasyfikacja: Problem z ustawieniami ewaluacji. Nieaktualna oczekiwana odpowiedź. Agent jest poprawny. Ocena jest błędna.

Krok 4: Triage KG-005 (warstwa 2, kroki 1-2)

Przypadek testowy KG-005:

  • Przykładowe zapytanie: „Czy plan Premium obejmuje rozszerzoną gwarancję?”
  • Oczekiwana odpowiedź: „Plan Premium obejmuje dwuletnią standardową gwarancję.” Opcje rozszerzonej gwarancji można kupić osobno."
  • Odpowiedź agenta: „Tak, plan Premium obejmuje trzyletnią rozszerzoną gwarancję obejmującą wszystkie części i robociznę.”
  • Metoda oceny: Porównanie znaczenia
  • Wynik: Niepowodzenie (szczegóły gwarancji zmyślone przez agenta)

Zweryfikuj konfigurację oceny (krok 1 w warstwie 2):

Pytanie Odbierz Wynik
Czy odpowiedź agenta jest akceptowalna? Nr „Trzyletnia rozszerzona gwarancja” jest zmyślona. Kontynuuj
Czy oczekiwana odpowiedź jest aktualna? Tak. Źródło potwierdza dwuletnią standardową gwarancję. Kontynuuj
Czy przypadek testowy jest realistyczny? Tak. Częste pytanie klientów. Kontynuuj
Czy alternatywna odpowiedź mogłaby być poprawna? Nr Szczegóły gwarancji są zgodne z faktami. Kontynuuj
Czy metoda oceny jest odpowiednia? Tak.Porównanie znaczenia jest poprawne pod względem poprawności semantycznej. Ocena jest prawidłowa.

Zdiagnozuj agenta (krok 2 warstwy 2):

Pytanie Odbierz
Czy treść źródłowa jest błędna? Nr Źródło podaje „dwuletnią standardową gwarancję.”
Czy agent jest sprzeczny z informacjami, które są w źródle? Tak. Źródło podaje „dwuletnią standardową gwarancję”, ale agent powiedział „trzyletnią przedłużoną gwarancję”.
Czy agent odpowiedział bez korzystania ze źródła? Prawdopodobnie tak. Informacja o „trzyletniej przedłużonej gwarancji obejmującej wszystkie części i robociznę” nie znajduje się w żadnym źródle.

Klasyfikacja: problem z konfiguracją agenta. Brak ugruntowania wiedzy. Agent przedstawił szczegóły gwarancji, które nie występują w skonfigurowanych źródłach wiedzy.

Krok 5: Korekcja (warstwa 3)

KG-003 (Korekcja konfiguracji oceny):

  • Zmiana: Aktualizacja oczekiwanej wartości z "30-dniowego okna zwrotu" na "15 dni roboczych"
  • Ponów przebieg: tylko KG-003
  • Oczekiwane: Zaliczone

KG-005 (Korekcja konfiguracji agenta):

  • Zmiana: dodaj instrukcję ugruntowania do polecenia systemowego: „Tylko odpowiedź na podstawie informacji znalezionych w źródłach wiedzy. „Jeśli informacji nie ma, zgłoś to.”
  • Uruchom ponownie: pełny zestaw testów ugruntowania wiedzy (zmiana konfiguracji agenta może mieć szersze skutki)
  • Oczekiwany rezultat: KG-005 przechodzi test. Inne przypadki testowe nie powinny wykazywać regresji.

Krok 6: Zweryfikuj

Po wprowadzeniu obu zmian, wykonaj ponownie zestaw oceny ugruntowania wiedzy:

Przed Po
71% (zaliczono: 5/7) 86% (zaliczono: 6/7)

Ocena: ugruntowanie wiedzy jest teraz powyżej 80% progu blokowania. Jedno niepowodzenie (KG-007) nadal występuje i nie blokuje gotowości. Przejrzyj to w następnej iteracji.

Krok 7: Dokument (warstwa 4)

Zapisz w dzienniku niepowodzeń:

Przypadek testowy Typ przyczyny źródłowej Zaobserwowany problem Zastosowana zmiana Rozstrzygnięte
KG-003 Konfiguracja oceny Oczekiwana odpowiedź nieaktualna (zasada została zmieniona z 30 dni na 15 dni roboczych). Zaktualizowana oczekiwana wartość Tak
KG-005 Konfiguracja agenta Nieprawidłowe dane dotyczące gwarancji, których nie ma w żadnym źródle. Dodano instrukcję ugruntowania do polecenia systemowego Tak

Uwaga dotycząca wzorca: Przed każdym przebiegiem oceny weryfikuj oczekiwane wartości względem dokumentów źródłowych. Dodaj ten krok do listy kontrolnej przed oceną.

Ponowne sprawdzanie gotowości: wszystkie zestawy oceny są teraz powyżej progów blokowania.

Ocena gotowości: Wdróż agenta ze znanymi lukami (KG-007 udokumentowany, plan monitoringu wdrożony).

Dokumentacja: Warstwa 4: analizowanie wzorców i ciągłe ulepszanie agenta

Podróż 2: stagnacja wyników

Sytuacja: Uruchamiasz cztery iteracje agenta wsparcia produktu. Dokładność merytoryczna utrzymuje się na poziomie 78% we wszystkich czterech iteracjach. Wprowadzasz zmiany w poleceniach po każdej iteracji, ale nie obserwujesz poprawy.

Krok 1: Sprawdź wzorce (warstwa 4)

Przeanalizuj dziennik błędów z wszystkich czterech iteracji:

Iteracja Ocena Zastosowana zmiana Wynik
1 78% (model odniesienia) —
2 79% Dodano "Bądź precyzyjny co do specyfikacji produktu" Brak istotnych zmian
3 77% Polecenie zostało przeorganizowane, aby instrukcje dotyczące dokładności znalazły się na początku Brak istotnych zmian
4 78% Dodano przykłady poprawnych odpowiedzi produktowych Brak istotnych zmian

Trend: bez zmian. Działania naprawcze nie są skierowane na rzeczywistą przyczynę problemu.

Dokumentacja: Warstwa 4: analizowanie wzorców i ciągłe ulepszanie agenta

Krok 2: Przeanalizuj nieudane przypadki testowe

Przejrzyj sześć utrzymujących się nieudanych przypadków testowych we wszystkich iteracjach.

Przypadek testowy Awarie od Zaobserwowany problem
FA-002 Iteracja 1 Agent cytuje stronę FAQ zamiast instrukcji produktu
FA-005 Iteracja 1 Agent cytuje stronę FAQ zamiast instrukcji produktu
FA-008 Iteracja 1 Agent cytuje stronę FAQ zamiast instrukcji produktu
FA-011 Iteracja 1 Agent cytuje stronę FAQ zamiast instrukcji produktu
FA-014 Iteracja 1 Agent cytuje stronę FAQ zamiast instrukcji produktu
FA-019 Iteracja 2 Agent udziela częściowej odpowiedzi z FAQ, pomija szczegóły z instrukcji produktu

Analiza koncentracji: Pięć z sześciu awarii (83%) wiąże się z tą samą przyczyną: Agent pobiera informacje ze strony FAQ zamiast z instrukcji produktu.

Krok 3. Ponowna klasyfikacja (warstwa 2)

Początkowo klasyfikuj niepowodzenia jako Problem konfiguracji agenta: Pobrano niewłaściwe źródło.

Zastosuj wiele zmian konfiguracji agenta, w tym ponowne pisanie poleceń, zmiana kolejności i dodawanie przykładów. Te zmiany nie przynoszą wymiernej poprawy. Na tym etapie zweryfikuj niepowodzenie na podstawie wskaźników ograniczeń platformy.

Wskaźnik Sprawdzanie
Niepowodzenie utrzymuje się przy różnych wariantach polecenia lub konfiguracji Tak. Cztery iteracje bez zmian.
Wyszukiwanie konsekwentnie zwraca nieprawidłowe dokumenty mimo poprawnej konfiguracji źródła Tak. FAQ jest konsekwentnie wyszukiwany zamiast instrukcji obsługi produktu.

Zmiana klasyfikacji: Problem ten jest ograniczeniem platformy związanym z rankingiem wyników wyszukiwania. Platforma konsekwentnie priorytetowo traktuje często zadawane pytania, a nie podręcznik do produktu, w przypadku tych zapytań, a dalsze zmiany poleceń lub instrukcji nie mają wpływu na zachowanie pobierania.

Dokumentacja Warstwa 2: klasyfikacja awarii agenta

Krok 4: Korekcja (Warstwa 3—Ograniczenie platformy)

Gdy klasyfikujesz awarię jako ograniczenie platformy, skup się na obejściach i dokumentacji zamiast wprowadzać zmiany w konfiguracji agenta.

Referencja: Odpowiedź na ograniczenia platformy

Strategia obejścia: Zastosuj jeden lub więcej z następujących środków zaradczych, aby zmniejszyć wpływ.

  • Zrestrukturyzuj podręcznik produktu, dodając wyraźniejsze nagłówki sekcji, które są zgodne ze słownictwem używanym w zapytaniach użytkowników.
  • Skopiuj krytyczne specyfikacje produktu z podręcznika produktu do Często zadawane pytania, aby stworzyć alternatywne ścieżki wyszukiwania.
  • Przekształć zawartość podręcznika tak, aby każda sekcja odpowiadała na jedno, dobrze zdefiniowane pytanie, co poprawi dopasowanie fragmentów podczas wyszukiwania.

Te podejścia mają na celu wpłynięcie na zachowanie wyszukiwania bez polegania na zmianach poleceń lub instrukcji.

Eskalacja i śledzenie: Jeśli ograniczenie utrzymuje się, należy je udokumentować i eskalować do zespołu platformy.

  • Dokumentuj ograniczenie w następujący sposób: "Zapytania dotyczące <specyfikacji> produktu konsekwentnie pobierają stronę FAQ (ostatnia aktualizacja: <data>, <n> stron) zamiast instrukcji produktu (ostatnia aktualizacja: <data>, <N> stron), mimo że instrukcja zawiera autorytatywne informacje."
  • Dostarcz dowody wspierające: Uwzględnij wiele scenariuszy testowych przedstawiających zapytanie, oczekiwane źródło oraz faktycznie pobrane źródło.
  • Przekaż do analizy.
  • Przekaż udokumentowane ograniczenie wraz z dowodami zespołowi platformy do monitorowania i dalszych kroków.

Krok 5: Zweryfikuj

Po zakończeniu wprowadzania zmian struktury instrukcji do produktu i dodaniu zbędnych wpisów często zadawanych pytań, uruchom ponownie odpowiedni zestaw oceny, żeby zweryfikować jego wpływ.

Przed Po
78% (bez zmian w czterech iteracjach) 89%

Ocena: Obejście poprawia ogólną wydajność. Pozostaje jedno niepowodzenie (FA‑019). Zapytanie jest zbyt niejasne, aby niezawodnie odnaleźć właściwe źródło, nawet przy zmodyfikowanej treści. To niepowodzenie zostało odnotowane jako znane ograniczenie.

Krok 6: Dokumentuj

Zaktualizuj dziennik niepowodzeń, aby odzwierciedlał końcową klasyfikację i wyniki.

Przypadek testowy Typ przyczyny źródłowej Zaobserwowany problem Zastosowana zmiana Rozstrzygnięte
FA-002, 005, 008, 011, 014 Ograniczenie platformy Ranking wyszukiwania priorytetuje FAQ względem instrukcji produktu Zrestrukturyzowano nagłówki instrukcji; skopiowano kluczowe specyfikacje do FAQ Tak
FA-019 Ograniczenie platformy Niejednoznaczne zapytanie nie może wiarygodnie odnaleźć właściwego źródła Zostało udokumentowane jako znane ograniczenie Nie

Kluczowe wnioski: jeśli wyniki oceny pozostają stałe przy różnych zmianach poleceń lub instrukcji, główną przyczyną prawdopodobnie nie jest samo polecenie. Zweryfikuj działanie infrastruktury i platformy, zanim zainwestujesz więcej w inżynierię poleceń.

Podróż 3: Regresja po aktualizacji

Sytuacja: Zaktualizowałeś polecenie systemowe, aby poprawić ton i empatię. Wyniki tonu wzrosły, ale dokładność faktów spadła poniżej progu blokowania, wprowadzając regresję.

Przed zmianą:

Zestaw oceny Ocena
Poprawność faktów 91%
Ton i jakość 83%
Wszystkie pozostałe Powyżej progu

Dodałeś do polecenia systemowego następującą instrukcję: "Zawsze okazuj zrozumienie dla obaw klienta i okazuj empatię przed udzieleniem odpowiedzi." Rozpocznij każdą odpowiedź od uznania doświadczenia klienta".

Po zmianie:

Zestaw oceny Przed Po Delta
Poprawność faktów 91% 76% -15%
Ton i jakość 83% 91% +8%

Krok 1: Interpretacja (warstwa 1)

Faktyczna dokładność spadła poniżej 80% progu blokującego. Ta zmiana wprowadza regresję i uniemożliwia osiągnięcie gotowości.

Odwołanie: Warstwa 1: Interpretacja wyników i identyfikacja błędów

Krok 2: Sprawdź wzorce (warstwa 4)

Dopasowanie wzorca sygnału krzyżowego: ton poprawia się, gdy dokładność spada.

Wskazana przyczyna: Konflikt instrukcji.

Nowo dodane wskazówki dotyczące tonu konkurują z wytycznymi dotyczącymi dokładności w zakresie uwagi modelu.

Dokumentacja: Warstwa 4: analizowanie wzorców i ciągłe ulepszanie agenta

Krok 3: Sortuj nowe awarie (Warstwa 2)

Przejrzyj przypadki testowe dokładności faktów, które przeszły przed zmianą, a teraz nie przechodzą.

Przypadek testowy FA-007:

  • Wejście: "Jaki jest maksymalny rozmiar przesyłanego pliku?"
  • Oczekiwane: „Maksymalny rozmiar przekazywanych plików to 25 MB dla kont standardowych i 100 MB dla kont korporacyjnych”.
  • Agent przed: „Maksymalny rozmiar przekazywanych plików to 25 MB dla kont standardowych i 100 MB dla kont korporacyjnych”.
  • Agent po zmianie: "Całkowicie rozumiem twoje obawy dotyczące rozmiaru przesyłanych plików – może to być frustrujące, gdy próbujesz przesłać ważne dokumenty!" Chcę mieć pewność, że masz wszystkie potrzebne informacje. Maksymalny rozmiar przesyłanego pliku wynosi 25 MB dla standardowych planów.

Krok 1. Zweryfikuj ocenę: Oczekiwana odpowiedź jest poprawna, a ocena jest ważna. Odpowiedź po aktualizacji pomija szczegóły konta firmowego.

Krok 2. Diagnozuj: Nowa instrukcja tonu wymaga empatycznego wstępu w każdej odpowiedzi. Ten wymóg pochłania budżet odpowiedzi i uwagę modelu, prowadząc do niepełnych odpowiedzi merytorycznych.

Klasyfikacja: problem z konfiguracją agenta. Konflikt instrukcji między wskazówkami dotyczącymi tonu i dokładności.

Dokumentacja Warstwa 2: klasyfikacja awarii agenta

Krok 4: Korekcja (warstwa 3)

Problem nie leży w samym prowadzeniu tonu, ale w konkurencyjnych priorytetach w poleceniu systemowym. Korekcja koncentruje się na rozdzielaniu i ustalaniu priorytetów instrukcji.

Stara instrukcja (pojedyncza, konkurująca): „Zawsze potwierdzaj obawy klienta i okazuj empatię przed podaniem odpowiedzi. Rozpocznij każdą odpowiedź od uznania doświadczenia klienta".

Nowa instrukcja (oddzielna, priorytetowa ): "Zawsze dołączaj pełną, rzeczową odpowiedź na pytanie klienta. Nie pomijaj szczegółów ze względu na zwięzłość. Dodatkowo, gdy klient wyraża frustrację lub obawę, krótko to zauważ.

Kluczowe zmiany:

  • Dokładność jest wyraźnie traktowana jako priorytet.
  • Kompletność odpowiedzi opartych na faktach jest jasno określona.
  • Empatia jest warunkowa, a nie uniwersalna.
  • „Krótko” ogranicza działanie empatii, aby zapobiec przycinaniu treści.

Dokumentacja: Warstwa 3. mapowanie wzorców awarii na strategie korygowania

Krok 5: Zweryfikuj

Ponownie uruchom pełny pakiet ewaluacji, ponieważ zmiany poleceń systemowych mogą mieć szeroki wpływ.

Zestaw oceny Przed zmianą Po regresji Po zmianie
Poprawność faktów 91% 76% 90%
Ton i jakość 83% 91% 89%
Wszystkie pozostałe Powyżej progu Powyżej progu Powyżej progu

Ocena: Oba sygnały spełniają teraz swoje progi blokujące. Ton nie wraca w pełni do swojego szczytu, ale pozostaje znacznie powyżej progu blokowania 75% i poprawia się w stosunku do pierwotnego poziomu odniesienia.

Krok 6: Dokumentuj

Przypadek testowy Typ przyczyny źródłowej Zaobserwowany problem Zastosowana zmiana Rozstrzygnięte
FA-007, FA-012, FA-018 (i inne) Konfiguracja agenta Wskazówki dotyczące tonu wypierały kompletność faktów Polecenie zostało przebudowane, aby nadać priorytet dokładności i zastosować warunkową empatię Tak

Kluczowa wskazówka: Zawsze waliduj zmiany poleceń systemowych względem całego zestawu ewaluacji, a nie tylko sygnału docelowego. Instrukcje konkurują o uwagę modelu, a ulepszenia w jednym obszarze mogą powodować regresje w innych.

Wzorzec do obserwacji: Ten scenariusz jest przykładem problemu budżetu instrukcji. W miarę rozwoju poleceń konflikty instrukcji stają się bardziej prawdopodobne. Okresowa konsolidacja i uproszczenie pomagają utrzymać stabilność.

Typowe wzorce na różnych trasach

Każda ścieżka diagnostyczna rozpoczyna się od innego scenariusza, aby zilustrować odrębną drogę diagnostyczną. Aby zobaczyć, jak pojedynczy agent przechodzi przez cały cykl ewaluacji—interpretację wyników, triage błędów, działania naprawcze i weryfikację—zapoznaj się ze scenariuszem Podróż 1, który przedstawia najbardziej kompletny, kompleksowy przebieg procesu.

Ta tabela podkreśla powtarzające się wzorce obserwowane podczas podróży oraz praktyczne lekcje, które one wzmacniają.

Wzorzec Gdzie występuje Najważniejsze wnioski
Zweryfikuj ocenę przed analizą agenta Podróż 1 Częstym źródłem zmarnowanego wysiłku zachowanie agenta rozwiązywania problemów, gdy sama ocena jest nieprawidłowa.
Stałe wyniki wskazują na błędnie sklasyfikowaną przyczynę źródłową Podróż 2 Jeśli powtarzane działania naprawcze nie poprawiają rezultatów, zmień klasyfikację problemu. Możesz zajmować się niewłaściwą przyczyną.
Ponowne uruchamianie pełnego pakietu oceny po wprowadzeniu zmian polecenia Podróż 3 Zmiany polecenia mogą wpływać na wiele sygnałów jakości. Zawsze sprawdzaj regresje poza obszarem docelowym.
Dokumentuj wyniki i decyzje Wszystkie procesy pozyskiwania Prowadzenie rejestru błędów zapobiega ponownemu identyfikowaniu tych samych przyczyn w kolejnych iteracjach.
Znane luki mogą być akceptowalne Scenariusz: Podróż 1 (KG-007), Scenariusz: Podróż 2 (FA-019) Nie każde niepowodzenie musi zostać rozwiązana przed wysyłką. Dokumentuj znane luki i monitoruj je w czasie.

Następne kroki

Po przeanalizowaniu tych przykładów wybierz kolejne działanie, które najlepiej odpowiada Twojej obecnej sytuacji:

  • Ostatnia aktualizacja o