Przeglądanie listy kontrolnej poprawy

Optymalizacja agenta nie kończy się na uruchomieniu. Copilot Studio udostępnia zaawansowane analizy, które ułatwiają zrozumienie, jak użytkownicy wchodzą w interakcje z agentem, gdzie rozmowy odnoszą sukces lub zostają przerwany, oraz jak dobrze agent korzysta ze swoich narzędzi i wiedzy. Artykuł ten przedstawia uporządkowaną listę kontrolną oraz najlepsze rozwiązania wspierające ciągłą ocenę i udoskonalanie Twojego agenta.

Weryfikowanie gotowości do ulepszeń i analiz

Używaj tych pytań podczas regularnych przeglądów, takich jak ceremonie sprintu, comiesięczne optymalizacje czy przygotowanie do premiery.

Motywy i wzorce intencji użytkownika

Gotowe? Zadanie
✓ Czy przejrzano motywy w celu identyfikacji klastrów pytań użytkowników oraz wyłaniających się intencji?
✓ Czy dodano często powtarzające się motywy do listy zadań do realizacji w celu wprowadzenia przyszłych ulepszeń?

Wyniki konwersacji

Gotowe? Zadanie
✓ Czy analizujesz rozwiązane, eskalowane, porzucone i niezaangażowane rozmowy, aby znaleźć obszary poprawy?
✓ Czy upewniono się, że konwersacje kończą się tematem „Koniec konwersacji, aby wyniki były prawidłowo zarejestrowane?
✓ Czy analizowano nagłe wzrosty liczby porzuconych sesji, aby zidentyfikować niejasne odpowiedzi lub braki logikę?
✓ Czy zweryfikowano, czy ścieżki eskalacji uruchamiają się tylko w odpowiednich przypadkach?

Współczynnik i jakość wygenerowanej odpowiedzi

Gotowe? Zadanie
✓ Czy analizowano współczynnik generowanych odpowiedzi, aby zidentyfikować braki w wiedzy lub niepełne pokrycie?
✓ Czy sprawdzono metryki jakości odpowiedzi, takie jak kompletność, osadzenie w faktach i trafność?
✓ Czy analizowano odpowiedzi niskiej jakości i rozwiązano przyczyny wskazane w analizach?

Wykorzystanie narzędzi i akcji

Gotowe? Zadanie
✓ Czy monitorowano, jak często narzędzia i akcje są wywoływane oraz czy kończą się sukcesem, czy porażką?
✓ Czy zidentyfikowano rzadko używane lub podatne na błędy narzędzia i określono, czy je zoptymalizować, czy usunąć?
✓ Czy weryfikowano, że narzędzia używane w orkiestracji generatywnej działają niezawodnie?

Wydajność źródeł wiedzy

Gotowe? Zadanie
✓ Czy analizowano wykorzystanie i wskaźniki błędów wszystkich źródeł wiedzy?
✓ Czy nadano priorytet aktualizacjom dla źródeł wiedzy o wysokim wskaźniku błędów lub niespójnych wynikach?
✓ Czy weryfikowano, że właściwe źródła wiedzy wspierają scenariusze, do których są przeznaczone?

Satysfakcja i opinia użytkowników

Gotowe? Zadanie
✓ Czy zbierano informacje o opinii użytkowników za pomocą przycisków kciuk w górę/dół oraz ankiet CSAT?
✓ Czy analizowano trendy w opiniach, aby wykryć niejasne odpowiedzi lub słabe przebiegi konwersacji?
✓ Czy dodajesz do swoich zaległych zadań wzorce interakcji o niskiej satysfakcji do przeprojektowania?

Wywołania najlepszych rozwiązań

  • Traktuj analizy jak iteracyjną pętlę usprawniania: wykorzystaj analizy do wprowadzania stopniowych zmian. Wykorzystuj tematy, niekompletne odpowiedzi i wzorce błędów do planowania sprintów i priorytetyzacji listy elementów do realizacji.
  • Skup się na jakości rezultatów, nie tylko na ilości: skuteczny system maksymalizuje liczbę zrealizowanych konwersacji i minimalizuje eskalacje oraz porzucenia. Stosuj proporcje wyników jako kluczowy wskaźnik jasności i skuteczności.
  • Wzmacniaj aktywnie źródła wiedzy: wysoki wskaźnik błędów lub niskiej jakości odpowiedzi często wskazuje na niejasne, nieaktualne lub niedopasowane źródła wiedzy. Aktualizuj i restrukturyzuj te źródła często, aby zapewnić lepsze uziemienie wiedzy.
  • Optymalizuj narzędzia pod kątem stabilności i sukcesu: niewiarygodne wywołania narzędzi osłabiają zaufanie. Śledź wskaźniki sukcesu i refaktoryzuj akcje, które często zawodzą lub zwracają niespójne dane.
  • Wykorzystaj tematy do identyfikacji nowych możliwości: tematy przewodnie wskazują pojawiające się wzorce intencji. Wykorzystaj je do wyznaczania nowych tematów, źródeł wiedzy lub potrzeb integracji.
  • Upewnij się, że rozmowy kończą się w uporządkowany sposób: zawsze używaj końcowego tematu rozmowy, aby uchwycić rozwiązanie i satysfakcję klienta (CSAT). Bez tego tematu analityka staje się niepełna i wprowadzająca w błąd.
  • Oddzielnie oceniaj agentów autonomicznych i inicjowanych przez użytkownika: agenci autonomiczni w dużej mierze polegają na wyzwalaczach i sekwencjach narzędzi. Oceniaj wyniki uruchomień i wyzwalacze oddzielnie od przepływów inicjowanych przez użytkownika.
  • Śledź opinie w czasie: izolowane opinie są przydatne, ale wielotygodniowe trendy opinii ujawniają systemowe problemy. Badaj utrzymujące się spadki jak najwcześniej.
  • Last updated on