Śledź niepowodzenia ewaluacji agentów za pomocą ustrukturyzowanych szablonów logowania

Dokumentowanie niepowodzeń w ocenie buduje wiedzę instytucjonalną, która przyspiesza przyszłe sesje triage. Gdy ponownie napotkasz ten sam typ niepowodzenia, już wiesz, co należy sprawdzić w pierwszej kolejności, zamiast ponownie odkrywać te same przyczyny źródłowe.

Korzystaj z tych ustrukturyzowanych szablonów, aby rejestrować analizę awarii podczas sesji triage. Wybierz wersję, która najlepiej pasuje do potrzeb i sposobu pracy Twojego zespołu.

Ważne

Najpierw należy przeprowadzić ocenę stanu. Dokumentuj niepowodzenia w miarę ich diagnozowania.

Wybierz wersję szablonu, która pasuje do Twojego zespołu:

  • Wersja lekka dla małych zespołów pracujących nad jednym agentem
  • Szczegółowa wersja dla większych zespołów lub gdy budujemy wiedzę instytucjonalną dotyczącą agentów

Uproszczony dziennik błędów systemu

Lekki dziennik awarii jest przeznaczony dla małych zespołów lub szybkich sesji triage.

Skopiuj tę tabelę i wypełnij ją podczas sesji oceny. Dodaj jeden wiersz na awarię.

Przypadek testowy Typ przyczyny źródłowej Zaobserwowany problem Zastosowana zmiana Rozstrzygnięte
___ Ustawienia ewaluacji, konfiguracja agenta lub ograniczenie platformy ___ ___ Tak / Nie / Częściowo
___ ___ ___ ___ ___
___ ___ ___ ___ ___

Przykład (uzupełniony)

Przypadek testowy Typ przyczyny źródłowej Zaobserwowany problem Zastosowana zmiana Rozstrzygnięte
KG-003 Konfiguracja oceny Oczekiwana odpowiedź nieaktualna (poprzednia polityka zwrotów — 30 dni; obecna polityka to 15 dni roboczych) Zaktualizowano wartość oczekiwaną na "15 dni roboczych" Tak
KG-005 Konfiguracja agenta Agent podał dane gwarancyjne, których nie ma w żadnym źródle wiedzy Dodano instrukcję ugruntowania: „Odpowiadaj tylko ze źródeł wiedzy” Tak
TI-002 Ograniczenie platformy Ranking wyszukiwania ignoruje dokładny tytuł dokumentu; FAQ zawsze zwracane zamiast instrukcji produktu Zmieniono strukturę nagłówków dokumentu w ramach obejścia; problem eskalowany do zespołu platformy Częściowy
FA-019 Ograniczenie platformy Niejednoznaczne zapytanie nie jest w stanie niezawodnie wyszukać odpowiedniego źródła Udokumentowano jako znane ograniczenie; monitorowanie w produkcji Brak (znana luka)

Szczegółowy dziennik awarii

Szczegółowy dziennik awarii jest przeznaczony dla zespołów, które muszą dzielić się wynikami, śledzić status w różnych sprintach lub budować wiedzę instytucjonalną dla wielu agentów.

Notatka

Pobierz wersję CSV tego szablonu.

Rekord poszczególnych awarii

Pole Value
Identyfikator przypadku testowego (pochodzący z zestawu ewaluacyjnego, np. KG-003)
Zestaw oceny (do którego zestawu ewaluacyjnego należy ten rekord)
Sygnał jakości (poprawność faktów, ugruntowanie wiedzy, wywołanie narzędzia itp.)
Typ przyczyny źródłowej (Przygotowanie ewaluacji, Konfiguracja agenta, Ograniczenia platformy, Integracja narzędzi, Niezaklasyfikowane)
Szczegóły głównej przyczyny (konkretny podtyp, taki jak „nieaktualna oczekiwana odpowiedź”, „niejednoznaczność opisu narzędzia”)
Zaobserwowany problem (co agent zrobił vs. co powinien był zrobić)
Ścieżka diagnostyczna (które pytania z procesu triage spowodowały tę klasyfikację, na przykład "Krok 1, Q1.2—oczekiwana odpowiedź przestarzała")
Działania naprawcze (co zostało zmienione; szczegóły na tyle precyzyjne, by je odtworzyć)
Stan (Otwarty, W toku, Rozwiązany, Nie można rozwiązać)
Nie można rozwiązać — uzasadnienie (jeśli nie zostanie to naprawione: dlaczego i jakie środki monitorowania zostały wprowadzone)
Weryfikacja (rezultat ponownego testu: pozytywny lub negatywny, data, numer iteracji)
Data sklasyfikowania ___
Sklasyfikowane według ___

Przykład (uzupełniony)

Pole Value
Identyfikator przypadku testowego KG-005
Zestaw oceny Ugruntowanie wiedzy
Sygnał jakości Ugruntowanie wiedzy
Typ przyczyny źródłowej Konfiguracja agenta
Szczegóły głównej przyczyny Nieprawidłowe informacje, agent wygenerował treści, które nie mają podstawy w źródłach wiedzy
Zaobserwowany problem Agent stwierdził: „3-letnia rozszerzona gwarancja obejmująca wszystkie części i robociznę”, a źródło mówi: „2-letnia standardowa gwarancja”
Ścieżka diagnostyczna Krok 1 zaliczony (ocena poprawna) → Krok 2, Q2.4 (odpowiedź bez źródła) + Q2.5 (odpowiedź sprzeczna ze źródłem)
Działania naprawcze Dodaj instrukcję ugruntowania do polecenia systemowego: „Tylko odpowiedź na podstawie informacji znalezionych w źródłach wiedzy. „Jeśli informacji nie ma, zgłoś to.”
Stan Rozstrzygnięte
Nie można rozwiązać — uzasadnienie Brak
Weryfikacja Zaliczono (iteracja 2, 15.02)
Data sklasyfikowania 14 lutego
Sklasyfikowane według [name]

Dziennik streszczenia iteracji

Śledź wyniki i zmiany w różnych iteracjach do analizy trendów.

Iteracja Data Dokonano zmiany Zestaw ocen, którego dotyczy problem Wynik przed Wynik po Delta Uwagi
1 przypada na wpłatę z zysku na rzecz budżetu państwa ___ Stan wyjściowy (bez zmian) A-Z — ___% — Pierwsze uruchomienie
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

Podsumowanie koncentracji

Po każdej sesji klasyfikacji zsumuj typy głównych przyczyn, aby znaleźć wzorce koncentracji.

Typ przyczyny źródłowej Count % całości Systemowe?
Konfiguracja oceny ___ ___% (80%+ = wstrzymaj pracę agenta, najpierw napraw proces oceniania)
Konfiguracja agenta ___ ___% (80%+ w jednym obszarze = problem architektoniczny)
Ograniczenie platformy ___ ___% (80%+ = ponownie ocenić zakres, eskalować)
Narzędzie czy integracja ___ ___% napraw backend, nie agenta
Niesklasyfikowane ___ ___% (Monitoruj; może stać się klasyfikowalne przy większej ilości danych)
Razem ___ 100%

Najlepsze praktyki prowadzenia dziennika

  • Aktualizuj na bieżąco podczas triage. Nie grupuj aktualizacji po sesji.
  • Rejestruj także wyniki negatywne, na przykład: „spróbowałem X, nie pomogło”. Ta praktyka pomaga zapobiegać powtarzaniu nieudanych podejść.
  • Przeglądaj przed każdą iteracją. Zidentyfikuj wzorce, zanim zajmiesz się poszczególnymi problemami.
  • Udostępniaj zespołowi. Udostępnij dziennik zespołowi, aby wszyscy mogli zapoznać się z wcześniejszymi ustaleniami.
  • Archiwizuj, nie usuwaj.. Zachowaj rozwiązane wpisy do analizy wzorców. Przenieś wpisy do sekcji archiwum, jeśli aktywny dziennik jest zbyt obszerny.

Następne kroki

Po udokumentowaniu niepowodzeń:

  • Ostatnia aktualizacja o