Warstwa 2: klasyfikacja błędów agenta

Po interpretacji wyników oceny i określeniu obszarów kluczowych ustal, dlaczego poszczególne przypadki testowe zakończyły się niepowodzeniem i kto musi podjąć działania.

Ten artykuł zawiera uporządkowane wskazówki dotyczące diagnozowania niepowodzeń na poziomie przypadków testowych. Pomaga sklasyfikować przyczynę, rozróżnić problemy związane z agentem, oceną i infrastrukturą oraz wybrać odpowiednie dalsze kroki.

Zanim rozpoczniesz

Przed rozpoczęciem klasyfikacji błędów:

1. Wykonaj interpretację wyników i ocenę gotowości oraz zidentyfikuj, które zestawy ewaluacyjne wymagają uwagi.
2. Skup się na najwyższym priorytecie w zależności od gotowości i ryzyka.

Wstępna kontrola: zweryfikuj stan infrastruktury

Przed diagnozowaniem poszczególnych niepowodzeń upewnij się, że zależności były w dobrej kondycji podczas przebiegu ewaluacji. Problemy z infrastrukturą mogą powodować awarie, które wyglądają jak problemy agentów lub oceny, ale są z nimi niezwiązane.

Zweryfikuj następujące warunki:

• Źródła wiedzy są dostępne i w pełni zaindeksowane.
• Backend API lub konektory nie zwracają błędów, przekroczenia limitu czasu ani odpowiedzi związanych z limitem zapytań.
• Tokeny uwierzytelniające są ważne przez cały czas działania.
• Środowisko ewaluacyjne jest zgodne z zamierzoną konfiguracją agenta.

Jeśli zależność jest w złej kondycji, usuń problem i ponownie uruchom ocenę przed kontynuowaniem. Analiza wyników z przebiegu w złej kondycji może prowadzić do nieprawidłowych wniosków.

Krok 0: Priorytetyzuj awarie

Zanim przeanalizujesz poszczególne przypadki testowe, zdecyduj, na czym skupić się najpierw.

Ustal priorytety awarii w następującej kolejności:

Jeśli masz wiele niepowodzeń (np. więcej niż 15), nie analizuj każdego z osobna. Zacznij od zestawu ocen o najniższym wyniku i ręcznie przejrzyj kilka niepowodzeń. Jeśli mają wspólną przyczynę, jej naprawa może rozwiązać wiele niepowodzeń naraz.

Zidentyfikuj sygnał jakości dla nieudanego testu

Jeśli wynik ewaluacji pokazuje niezaliczony przypadek testowy, ale nie wskazuje jednoznacznie sygnału jakości, użyj zestawu ewaluacyjnego i metody oceny, aby wywnioskować ten sygnał.

Na przykład:

• Zestaw ewaluacyjny wskazuje obszar kompetencji, taki jak bezpieczeństwo, osadzenie w faktach lub użycie narzędzi.
• Metoda oceniania, taka jak dopasowanie słów kluczowych lub ocenianie według rubryki, dostarcza dodatkowego kontekstu.

Identyfikacja zamierzonego sygnału jakości pomaga wybrać najbardziej odpowiednie pytania diagnostyczne.

Krok 1: Zweryfikuj konfigurację oceny

W przypadku każdego niepowodzenia, ręcznie sprawdź rzeczywistą odpowiedź agenta w zestawieniu z oczekiwaną wartością i metodą oceniania.

Przejdź kolejno przez poniższe pytania. Zatrzymaj się, gdy osiągniesz rezultat.

1. Czy odpowiedź agenta jest akceptowalna? Czy użytkownik byłby zadowolony z tej odpowiedzi, nawet jeśli nie została pozytywnie oceniona?

   • Jeśli tak, konfiguracja oceny jest nieprawidłowa: oceniający lub wartość oczekiwana są błędne.
   • Jeśli Nie, przejdź do następnego pytania.

2. Czy oczekiwana odpowiedź jest aktualna i dokładna względem źródła?

   • Jeśli tak, przejdź do następnego pytania.
   • Jeśli Nie, konfiguracja oceny ma problem: oczekiwana odpowiedź jest nieaktualna lub nieprawidłowa.

3. Czy przypadek testowy odzwierciedla realistyczne dane wejściowe użytkownika?

   • Jeśli tak, przejdź do następnego pytania.
   • Jeśli Nie, konfiguracja oceny ma problem: Przypadek testowy jest nierealistyczny.

4. Czy rozsądna alternatywna odpowiedź również mogłaby być poprawna, ale oceniający tego nie uwzględnia?

   • Jeśli Tak, konfiguracja oceny ma problem: oceniający jest zbyt rygorystyczny i nie uwzględnia poprawnych wariantów.
   • Jeśli Nie, przejdź do następnego pytania.

5. Czy metoda ewaluacji jest odpowiednia dla testowanego przypadku?

   • Jeśli Tak, ocena jest prawidłowa. Przejdź do kroku 2: Zdiagnozuj agenta.
   • Jeśli Nie, ustawienie oceny ma problem: metoda oceny nie jest odpowiednia dla tego wskaźnika jakości.

Określenie akceptowalności odpowiedzi

Skorzystaj z poniższych sygnałów, aby ocenić, czy odpowiedź agenta jest akceptowalna:

• Te same kluczowe fakty, inne sformułowania → Często akceptowalne (oceniający może być zbyt sztywny).
• Brak krytycznych informacji w źródle → często nie do przyjęcia.
• Niejednoznaczny próg "wystarczająco dobry" → kryteria akceptacji mogą być niejasne (oznacz do rozpatrzenia w kroku 4).

Jeśli nie jesteś pewien, porównaj treść z oryginalnym źródłem, a nie tylko oczekiwaną odpowiedzią.

Stanowią wskazówkę przy ocenie, ale jej nie zastępują.

Typowe typy awarii konfiguracji oceny

Walidacja funkcji oceny

Niezawodność oceniacza jest warunkiem koniecznym wiarygodnego triage. Jeśli sama funkcja oceny jest zawodny, błędnie diagnozujesz każdą awarię, z którą ma do czynienia.

Aby potwierdzić wiarygodność modułu oceniającego:

1. Wybierz 5-10 przypadków testowych, w których znasz poprawny wynik zaliczenia/niezdania z ręcznej weryfikacji.
2. Uruchom ocenę i porównaj wynik modułu oceniającego z ręcznym werdyktem.
3. Jeśli funkcja oceny nie zgadza się w więcej niż 20% przypadków, kalibruj funkcję oceny ponownie przed debugowaniem agenta.

Sygnały, że funkcja oceny potrzebuje uwagi:

• Ten sam przypadek testowy generuje różne werdykty między uruchomieniami.
• Błędy grupują się w zestawach oceny korzystających z klasyfikacji opartej na modelu, podczas gdy metody deterministyczne przechodzą bez problemu.
• Moduł oceniający zgłasza problemy, których nie można odtworzyć, przeglądając odpowiedź agenta.

Opcje kalibracji modułu oceniającego:

• Stosuj metody deterministyczne, gdzie to możliwe.
• Dodaj wyraźne przykłady "akceptowalne" i "nieakceptowalne" do kryteriów oceny.
• Poszerz zestawy słów kluczowych, aby uwzględnić synonimy i poprawne parafrazy.
• Użyj Porównaj znaczenie zamiast Dopasowanie słowa kluczowego (Wszystkie) do sprawdzania równoważności semantycznej.

Krok 2. Diagnozowanie agenta

Na tym etapie ocena jest poprawna, a agent udzielił nieprawidłowej odpowiedzi. Zdiagnozuj, co poszło nie tak w konfiguracji agenta.

Sprawdzanie niepowodzeń w dokładności faktów i ugruntowaniu wiedzy

Sprawdź, czy wystąpiły błędy wywołania narzędzia

Sprawdź awarie trasowania wyzwalaczy

Sprawdzanie błędów jakości tonu i odpowiedzi

Sprawdź bezpieczeństwo i awarie granic

Sprawdzenie eskalacji i kontrolowanej awarii

Po diagnozie mapuj wzorce niepowodzeń ze strategiami naprawczymi według przyczyny źródłowej.

Krok 3: Zidentyfikuj ograniczenia platformy

Jeśli ocena jest poprawna, a rozsądne zmiany konfiguracji nie poprawiają wyników, problemem może być ograniczenie platformy.

Wskaźniki ograniczeń platformy

Ścieżka działania dla ograniczeń platformy

1. Dokumentuj ograniczenie w sposób jasny (co nie działa, czego próbowałeś oraz udowodnij, że nie jest to związane z konfiguracją).
2. Zastosuj obejście, jeśli to możliwe (na przykład przebuduj dokument źródłowy, aby poprawić wyszukiwanie).
3. Oznacz przypadek testowy jako znane ograniczenie lub dostosuj progi, aby nie hamował dalszych prac.
4. Eskaluj z dowodami do zespołu platformy.
5. Zarejestruj element w dzienniku awarii do ponownej oceny po aktualizacji możliwości platformy.

Po sklasyfikowaniu zapoznaj się ze wskazówkami dotyczącymi obejścia i eskalacji, aby odpowiedzieć na ograniczenia platformy.

Gdy awaria nie pasuje do struktury

Niektóre awarie nie dają się jednoznacznie przyporządkować do określonego typu przyczyny źródłowej. Do powszechnych przykładów należą:

• Problemy z jakością danych zaplecza: Zawartość źródła wiedzy jest technicznie poprawna, ale napisana niejednoznacznie, więc ani agent, ani ocena nie popełniają błędu.
• Sporadyczne problemy infrastrukturalne: Przekroczenia limitów czasu sieciowe, ograniczenia prędkości API oraz problemy z konektorami, które nie występują regularnie.
• Zmiany wersji modelu: zmiana zachowania agenta po aktualizacji modelu na platformie, która została przeprowadzona bez Twojego udziału.
• Niejednoznaczne przypadki testowe: Scenariusz jest niejednoznaczny, a eksperci mogą mieć różne zdania na temat poprawnej odpowiedzi.

Zalecane podejście: Dokumentuj, co zaobserwowałeś (awarię, odpowiedź agenta, co sprawdziłeś). Zapisz pozycję jako „nieklasyfikowaną” w dzienniku awarii. Jeśli awaria się powtarza, często staje się możliwa do sklasyfikowania na podstawie dodatkowych dowodów.

Obsługa złożonych przyczyn

Jedno niepowodzenie może mieć wiele przyczyn źródłowych. Na przykład:

• Błąd dokładności faktograficznej, gdzie oczekiwana odpowiedź jest nieco przestarzała (konfiguracja ewaluacji), a źródło wiedzy jest także niepełne (konfiguracja agenta).
• Niepowodzenie wywołania narzędzia, gdy opis narzędzia jest niejednoznaczny (konfiguracja agenta), a orkiestracja nie obsługuje warunkowych wywołań narzędzi (ograniczenie platformy).

Sugerowane podejście: przeprowadź pełną klasyfikację każdej awarii. Jeśli występuje wiele typów przyczyn źródłowych, zajmij się nimi według priorytetów.

1. Najpierw napraw ocenę, aby uzyskać jasny sygnał, czy zmiana agenta rzeczywiście pomaga.
2. Popraw konfigurację agenta, aby ustalić, czy pozostała awaria to rzeczywiście problem platformy.
3. Dokumentuj ograniczenie platformy dopiero po rozwiązaniu 1 i 2.

Uruchom ponownie dotknięte przypadki testowe po każdej zmianie, zanim przejdziesz dalej.

Obsługa awarii w konwersacjach wieloetapowych

W scenariuszach wieloturowych awarie pojawiają się tylko w powrotach.

Kiedy podejrzewać problem z wieloma etapami

• Agent odpowiada poprawnie w początkowych turach, ale później sam sobie przeczy.
• Agent traci kontekst z poprzedniego wywołania narzędzia lub pobrania wiedzy w późniejszej turze.
• Czas eskalacji ma sens tylko podczas rozważania pełnej historii konwersacji.
• Ton agenta stopniowo się pogarsza w miarę wydłużania się konwersacji.
• Agent prosi o informacje, które użytkownik już podał.

Dodatkowe pytania diagnostyczne

Instrukcje dotyczące korygowania problemów wieloetapowych

• Utrata kontekstu: Sprawdź konfigurację stanu konwersacji. Upewnij się, że wyniki narzędzi i kluczowe fakty są zachowywane przez kolejne tury rozmowy.
• Sprzeczności: Dodaj instrukcję dotyczącą spójności, na przykład: "Zachowaj spójność z wcześniejszymi odpowiedziami w tej konwersacji."
• Ponowne pytanie: Sprawdź konfigurację pamięci konwersacji na platformie.
• Degradacja jakości konwersacji podczas długich interakcji: Rozważ strategie streszczania konwersacji lub przycinania kontekstu.

Walidacja zaliczonych przypadków testowych (kontrola wyników fałszywie dodatnich)

Ten framework koncentruje się na przypadkach testowych nieudanych na niepowodzeniu. Jednak błędnie zaliczony przypadek testowy może stworzyć ukryte luki jakościowe.

Zalecana praktyka: ręcznie przejrzyj 5–10% z przypadków testowych z wynikami pozytywnymi na przebieg oceny, szczególnie w następujących przypadkach:

• Ocena oparta na modelu (wyższe ryzyko fałszywie pozytywnych wyników)
• Subiektywne sygnały (ton, pomocność)
• Poprzednio niezaliczone testy, które są teraz zaliczane po zmianie

Jeśli znajdziesz wynik fałszywie dodatnie, ponownie skalibruj grader.

Następne kroki

Po zakończeniu procedury triage błędów:

• Użyj Warstwy 3: mapowanie wzorców awarii na strategie korygowania.
• Użyj warstwy 4: Analizuj wzorce aby zidentyfikować problemy systemowe.
• Przejrzyj praktyczne przykłady, które pokazują, jak warstwy struktury współpracują w rzeczywistych scenariuszach.