Optymalizacja agenta nie kończy się na uruchomieniu. Copilot Studio udostępnia zaawansowane analizy, które ułatwiają zrozumienie, jak użytkownicy wchodzą w interakcje z agentem, gdzie rozmowy odnoszą sukces lub zostają przerwany, oraz jak dobrze agent korzysta ze swoich narzędzi i wiedzy. Artykuł ten przedstawia uporządkowaną listę kontrolną oraz najlepsze rozwiązania wspierające ciągłą ocenę i udoskonalanie Twojego agenta.
Weryfikowanie gotowości do ulepszeń i analiz
Używaj tych pytań podczas regularnych przeglądów, takich jak ceremonie sprintu, comiesięczne optymalizacje czy przygotowanie do premiery.
Motywy i wzorce intencji użytkownika
| Gotowe? |
Zadanie |
| ✓ |
Czy przejrzano motywy w celu identyfikacji klastrów pytań użytkowników oraz wyłaniających się intencji? |
| ✓ |
Czy dodano często powtarzające się motywy do listy zadań do realizacji w celu wprowadzenia przyszłych ulepszeń? |
Wyniki konwersacji
| Gotowe? |
Zadanie |
| ✓ |
Czy analizujesz rozwiązane, eskalowane, porzucone i niezaangażowane rozmowy, aby znaleźć obszary poprawy? |
| ✓ |
Czy upewniono się, że konwersacje kończą się tematem „Koniec konwersacji, aby wyniki były prawidłowo zarejestrowane? |
| ✓ |
Czy analizowano nagłe wzrosty liczby porzuconych sesji, aby zidentyfikować niejasne odpowiedzi lub braki logikę? |
| ✓ |
Czy zweryfikowano, czy ścieżki eskalacji uruchamiają się tylko w odpowiednich przypadkach? |
Współczynnik i jakość wygenerowanej odpowiedzi
| Gotowe? |
Zadanie |
| ✓ |
Czy analizowano współczynnik generowanych odpowiedzi, aby zidentyfikować braki w wiedzy lub niepełne pokrycie? |
| ✓ |
Czy sprawdzono metryki jakości odpowiedzi, takie jak kompletność, osadzenie w faktach i trafność? |
| ✓ |
Czy analizowano odpowiedzi niskiej jakości i rozwiązano przyczyny wskazane w analizach? |
| Gotowe? |
Zadanie |
| ✓ |
Czy monitorowano, jak często narzędzia i akcje są wywoływane oraz czy kończą się sukcesem, czy porażką? |
| ✓ |
Czy zidentyfikowano rzadko używane lub podatne na błędy narzędzia i określono, czy je zoptymalizować, czy usunąć? |
| ✓ |
Czy weryfikowano, że narzędzia używane w orkiestracji generatywnej działają niezawodnie? |
| Gotowe? |
Zadanie |
| ✓ |
Czy analizowano wykorzystanie i wskaźniki błędów wszystkich źródeł wiedzy? |
| ✓ |
Czy nadano priorytet aktualizacjom dla źródeł wiedzy o wysokim wskaźniku błędów lub niespójnych wynikach? |
| ✓ |
Czy weryfikowano, że właściwe źródła wiedzy wspierają scenariusze, do których są przeznaczone? |
Satysfakcja i opinia użytkowników
| Gotowe? |
Zadanie |
| ✓ |
Czy zbierano informacje o opinii użytkowników za pomocą przycisków kciuk w górę/dół oraz ankiet CSAT? |
| ✓ |
Czy analizowano trendy w opiniach, aby wykryć niejasne odpowiedzi lub słabe przebiegi konwersacji? |
| ✓ |
Czy dodajesz do swoich zaległych zadań wzorce interakcji o niskiej satysfakcji do przeprojektowania? |
Wywołania najlepszych rozwiązań
-
Traktuj analizy jak iteracyjną pętlę usprawniania: wykorzystaj analizy do wprowadzania stopniowych zmian. Wykorzystuj tematy, niekompletne odpowiedzi i wzorce błędów do planowania sprintów i priorytetyzacji listy elementów do realizacji.
-
Skup się na jakości rezultatów, nie tylko na ilości: skuteczny system maksymalizuje liczbę zrealizowanych konwersacji i minimalizuje eskalacje oraz porzucenia. Stosuj proporcje wyników jako kluczowy wskaźnik jasności i skuteczności.
-
Wzmacniaj aktywnie źródła wiedzy: wysoki wskaźnik błędów lub niskiej jakości odpowiedzi często wskazuje na niejasne, nieaktualne lub niedopasowane źródła wiedzy. Aktualizuj i restrukturyzuj te źródła często, aby zapewnić lepsze uziemienie wiedzy.
-
Optymalizuj narzędzia pod kątem stabilności i sukcesu: niewiarygodne wywołania narzędzi osłabiają zaufanie. Śledź wskaźniki sukcesu i refaktoryzuj akcje, które często zawodzą lub zwracają niespójne dane.
-
Wykorzystaj tematy do identyfikacji nowych możliwości: tematy przewodnie wskazują pojawiające się wzorce intencji. Wykorzystaj je do wyznaczania nowych tematów, źródeł wiedzy lub potrzeb integracji.
-
Upewnij się, że rozmowy kończą się w uporządkowany sposób: zawsze używaj końcowego tematu rozmowy, aby uchwycić rozwiązanie i satysfakcję klienta (CSAT). Bez tego tematu analityka staje się niepełna i wprowadzająca w błąd.
-
Oddzielnie oceniaj agentów autonomicznych i inicjowanych przez użytkownika: agenci autonomiczni w dużej mierze polegają na wyzwalaczach i sekwencjach narzędzi. Oceniaj wyniki uruchomień i wyzwalacze oddzielnie od przepływów inicjowanych przez użytkownika.
-
Śledź opinie w czasie: izolowane opinie są przydatne, ale wielotygodniowe trendy opinii ujawniają systemowe problemy. Badaj utrzymujące się spadki jak najwcześniej.