Oceń agenta (Rozmowa z klientem) (zapowiedź)

[Ten artykuł to dokumentacja wstępna, która może ulec zmianie].

Użyj karty Evaluate, aby zmierzyć wyniki swojego agenta w zestawie pytań testowych lub rozmów przed publikacją.

Przegląd zakładki Oceń

Gdy po raz pierwszy otwierasz zakładkę Ewaluuj, wyświetla się pusty widok: Oceń wydajność swojego agenta oraz przycisk Utwórz zestaw testowy. Po utworzeniu co najmniej jednego zestawu testowego zakładka pokazuje zamiast tego tabelę Zestawy ocen z kolumnami Nazwa, Status uruchomienia, Metody testowe i Ostatnio uruchomione przez oraz przycisk Nowa ocena.

Tworzenie zestawu testowego

  1. Na zakładce Evaluate wybierz Utwórz zestaw testowy (lub opcję New evaluation, jeśli już masz zestawy testowe).

  2. Wybierz typ danych:

    • Pojedyncza odpowiedź: Sprawdź, jak agent odpowiada na konkretne pytanie. Najlepsze do ukierunkowanych testów funkcjonalności.
    • Rozmowa (podgląd): Sprawdź jakość dłuższych interakcji agentów z użytkownikami. Najlepsze do ogólnej oceny.

  3. Wybierz źródło danych:

    • Prześlij plik CSV: Przeciągnij plik CSV do obszaru przesyłania lub wybierz przeglądanie. Użyj dostarczonego szablonu CSV, aby upewnić się, że zawartość pliku i formatowanie są poprawne. Maksymalny rozmiar pliku to 5 MB.
    • Szybki zestaw pytań: Wygeneruj 10 pytań na podstawie opisu, instrukcji i możliwości Twojego agenta.
    • Pełny zestaw pytań: Wygeneruj do 100 pytań, korzystając z wiedzy lub tematów jako odniesienia.
    • Wykorzystaj rozmowę na czacie testowym: Zbierz dane i odpowiedzi z obecnej sesji ręcznego testu. (Na potwierdzonym zrzucie ekranu pokazano jako wyłączone/niedostępne; sprawdź, gdy będzie dostępne.)
    • Albo napisz pytania samodzielnie: Ręcznie dodaj pytania i, opcjonalnie, oczekiwane odpowiedzi.

  4. Przejrzyj swoją listę przypadków testowych. Użyj Dodaj pytania, aby dodać kolejne, wybierając Generuj 10 pytań lub Napisz, aby dodać jedno ręcznie.

Konfiguruj zestaw testów

W panelu Konfigurowanie zestawu testowego:

  • Typ danych: Pokazuje wybrany przez Ciebie typ danych (na przykład Pojedyncza odpowiedź).
  • Nazwa: Wymagana nazwa zestawu testowego.
  • Metoda testowania: Kryteria używane do sprawdzania danych. Wybierz do pięciu metod. Wybierz Dodaj metodę testową , aby otworzyć okno dialogowe Wybierz metodę testową , które oferuje:
    • Ogólna jakość: Odpowiedzi spełniają standardy jakości, takie jak trafność i kompletność. Nie dorównuje oczekiwanym odpowiedziom.
    • Porównaj znaczenie: Odpowiedzi mają takie samo znaczenie jak oczekiwana odpowiedź, nawet jeśli są inaczej sformułowane.
    • Custom: Sprawdza i oznacza odpowiedzi agenta zgodnie z instrukcjami, które zdefiniujesz.
    • Dopasowanie słów kluczowych: Szuka pasujących słów i fraz.
    • Podobieństwo tekstu: Mierzy, jak bardzo tekst odpowiedzi agenta jest zbliżony do oczekiwanej odpowiedzi. Ta metoda może pominąć różnice w znaczeniu.
    • Dokładne dopasowanie: Odpowiedzi agenta muszą całkowicie odpowiadać oczekiwanej odpowiedzi.
  • Wersja agenta: Wybierz, czy ocenić aktualny szkic, czy opublikowany agent (na przykład aktualny szkic).
  • Profil użytkownika: Wybierz Zarządzaj, aby otworzyć okno dialogowe Zarządzaj profilem i połączeniami, w którym można wybrać lub dodać uwierzytelnione konto. Włącz Użyj tych ustawień dla wszystkich moich ocen, aby ponownie wykorzystać profil w przyszłych zestawach testowych. Zalecamy użycie uwierzytelnionego profilu ze wszystkimi wymaganymi połączeniami, aby ocena mogła przetestować wszystkie możliwości agenta.

Wyświetlanie wyników

Po przeprowadzeniu oceny przeanalizuj wyniki, aby zobaczyć, jak poradził sobie Twój agent. Przeglądanie wyników oceny dla agenta zasilanego mechanizmem Customer Conversation harness jest podobne do przeglądania wyników dla agenta zasilanego standardowym harnessie. Aby dowiedzieć się więcej, zobacz Uruchamianie ocen i wyświetlanie wyników.

  • Ostatnia aktualizacja o