Stwórz zestaw testów dla agenta (wersja zapoznawcza)

[Ten artykuł to dokumentacja wstępna, która może ulec zmianie].

Zestaw testowy to zbiór rozmów, których używasz do oceny wyników swojego agenta. Każda konwersacja przedstawia scenariusz, który chcesz, aby Twój agent obsłużył.

Important

Prerequisites

Agent utworzony i zapisany za pomocą środowiska GitHub Copilot. Dowiedz się więcej w artykule Tworzenie agenta (wersja zapoznawcza).

Rozpoczynanie nowej oceny

Aby rozpocząć nową ocenę:

  1. Otwórz agenta w programie Copilot Studio.
  2. Wybierz kartę Ewaluacja.
  3. Wybierz Nową ocenę.

Note

Doświadczenia, które zużywają kredyty Copilot, pokazują odznakę Uses Copilot Credits, dzięki czemu wiesz, które akcje zużywają kredyty, zanim je wykonasz. Dowiedz się więcej w Zrozum szacowane wykorzystanie kredytu.

Wybierz jedną z następujących opcji:

Opcja 1: Wczytaj rozmowy z pliku CSV

  1. Na karcie Ocena, w sekcji Źródło danych, przeciągnij plik CSV na obszar przesyłania plików lub wybierz go, aby wyszukać plik.

    Wskazówka

    Wybierz link CSV, aby pobrać szablon pokazujący właściwy format pliku. Maksymalny rozmiar pliku to 5 MB.

    Note

    W przypadku konwersacyjnego zestawu testowego plik CSV musi zawierać conversationNumber,question,response w wierszu nagłówka.

  2. Przeglądaj importowane rozmowy i dostosowuj je w razie potrzeby.

  3. W panelu Konfiguruj zestaw testów po prawej stronie wpisz nazwę do oceny.

  4. Wybierz Etestuj , aby uruchomić ocenę, lub wybierz Zapisz, aby zapisać ją bez uruchomienia.

Opcja 2: Wygeneruj rozmowy za pomocą AI

  1. Na karcie Ocena, w sekcji Więcej sposobów rozpoczęcia, wybierz Szybki zestaw rozmów.
  2. Poczekaj, aż system wygeneruje 10 rozmów na podstawie opisu, instrukcji i tematów agenta.
  3. Przejrzyj wygenerowane rozmowy na liście Przeglądaj swoje przypadki testowe.
  4. W panelu Konfiguruj zestaw testów wpisz Nazwę, a następnie wybierz Oceń lub Zapisz.

Możesz też generować więcej rozmów z widoku oceniania. Wybierz Dodaj rozmowy>Wygeneruj 10 rozmów. Po przeprowadzeniu wstępnej oceny wybierz Dodaj rozmowy>Wygeneruj 25 rozmów lub Wygeneruj 50 rozmów , aby wygenerować więcej.

Opcja 3: Utwórz konwersacje ręcznie

  1. Na karcie Ocena, w sekcji Więcej sposobów na rozpoczęcie, wybierz albo napisz kilka pytań samodzielnie.
  2. Na liście Przejrzyj przypadki testowe wybierz Dodaj konwersacje>Napisz, aby ręcznie utworzyć przypadek testowy.
  3. Dodaj pytanie użytkownika do każdej konwersacji. Opcjonalnie dodaj oczekiwaną odpowiedź agenta.
  4. W panelu Konfiguruj zestaw testów wprowadź Nazwę i wybierz Oceń lub Zapisz.

Konfiguruj zestaw testów

Gdy tworzysz lub edytujesz ocenę, panel Konfiguruj zestaw testów zawiera następujące opcje:

  • Nazwa: Wymagana nazwa do oceny.
  • Metoda testowa: Metoda oceniająca odpowiedzi. Ogólna kontrola jakości sprawdza, czy odpowiedzi spełniają standardy jakości, takie jak adekwatność i kompletność.
  • Profil użytkownika: Uwierzytelniony profil, który wykonuje ocenę i łączy się z narzędziami. Oceny wykorzystują profil zalogowanego użytkownika. Nie możesz połączyć się z innym użytkownikiem, gdy jesteś zalogowany. Aby przeprowadzić ocenę jako inny użytkownik, wyloguj się, zaloguj się na konto tego użytkownika, a następnie rozpocznij ocenę.

Edytuj rozmowy w zestawie testowym

Aby edytować rozmowy w zestawie testowym:

  1. Na karcie Ocena otwórz istniejący zestaw testów z menu rozwijanego Ocena.
  2. Wybierz rozmowę, aby edytować jej komunikaty.
  3. Użyj Dodaj rozmowy menu rozwijanego, aby dodać więcej rozmów.
  4. Wybierz Zapisz, gdy skończysz.

Limity zestawu testowego

Poniższe ograniczenia obowiązują na zakładce Ewaluuj podczas tworzenia lub edycji zestawu testowego lub przeprowadzania oceny.

Limit Value Co się dzieje, gdy osiągniesz limit
Rozmowy na zestaw testów 20 Komunikat informuje, kiedy osiągniesz limit. Aby wygenerować lub napisać więcej rozmów, najpierw usuń niektóre istniejące rozmowy. Jeśli wygenerujesz więcej rozmów niż zbiór testowy może pomieścić, zestaw testowy dodaje tylko tyle, aby osiągnąć limit.
Pary pytań i odpowiedzi w każdej rozmowie 6 (12 wiadomości) Nie możesz dodać kolejnego pytania do rozmowy.
Długość pytania 1 000 znaków, wliczając spacje Nie możesz wprowadzać więcej znaków.
Oczekiwana długość odpowiedzi 1 000 znaków, wliczając spacje Nie możesz wprowadzać więcej znaków.
Długość nazwy zestawu testowego 50 znaków Nie możesz wprowadzać więcej znaków.
Rozmiar pliku CSV 5 MB Nie możesz przesłać pliku większego niż 5 MB.
Długość odpowiedzi agenta 10 000 znaków Odpowiedź nie jest oceniana. Wyniki pokazują, że odpowiedź ma ponad 10 000 znaków i nie da się jej ocenić.

Te same ograniczenia obowiązują przy przesyłaniu rozmów z pliku CSV:

  • Importowane są tylko pierwsze 20 rozmów.
  • Importowane są tylko pierwsze sześć par pytań i odpowiedzi z każdej rozmowy.
  • Rozmowy z pytaniem lub oczekiwaną odpowiedzią dłuższą niż 1000 znaków nie są importowane. Komunikat informuje, że import pominął niektóre rozmowy.
  • Ostatnia aktualizacja o