Testowanie wsadowe poleceń (wersja zapoznawcza)

[Ten temat stanowi wstępną wersję dokumentacji i może ulec zmianie].

Podpowiedzi umożliwiają tworzenie niestandardowych narzędzi generatywnej sztucznej inteligencji do automatyzacji biznesowej i agentów. Zapewnienie dokładności, niezawodności i wydajności tych narzędzi ma kluczowe znaczenie. Testowanie partii podpowiedzi ma na celu umożliwienie sprawdzania i ulepszania podpowiedzi używanych w narzędziach AI na całej platformie.

Podstawowe cechy testowania wsadowego

Testowanie wsadowe zapewnia systematyczne podejście do walidacji podpowiedzi w różnych zestawach danych. Masz następujące możliwości:

• Przekaż lub wygeneruj zestawy danych testowych w celu kompleksowej oceny.
• Zdefiniuj kryteria oceny dla oceny wyników testu.
• Wykonaj testy wsadowe, aby ocenić zachowanie polecenia w zestawie danych testowych.
• Porównaj wyniki z upływem czasu, aby zapewnić ciągłą poprawę.
• Przejrzyj i dostosuj automatyczne oceny, aby zapewnić dopasowanie do konkretnych potrzeb.

Wynik dokładności jest obliczany na podstawie wyników testu, co daje dane empiryczne, które pozwalają zaufać narzędziom sztucznej inteligencji.

Jak przeprowadzać testowanie wsadowe

Wykonaj poniższe kroki, aby skonfigurować i uruchomić testy wsadowe dla monitów.

Definiowanie przypadków testowych

1. Zaloguj się do Copilot Studio, Power Apps lub Power Automate.

2. Uzyskaj dostęp do listy monitów:

   • W aplikacji Copilot Studio wybierz pozycję Narzędzia, a następnie filtruj według monitów.
   • W Power Apps i Power Automate wybierz pozycję AI hub.

3. Obok nazwy promptu wybierz trzy kropki (...).

4. Wybierz pozycję Test Hub (wersja zapoznawcza).

   Oto przykład ekranu Narzędzia w programie Copilot Studio:

   

   W programie Copilot Studio centrum testowe wygląda jak na poniższym zrzucie ekranu:

   

5. Dodaj przypadki testowe przy użyciu jednej z dostępnych opcji:

   • Przekazywanie: umożliwia przekazywanie przypadków testowych przy użyciu pliku CSV. Jeśli chcesz sprawdzić format pliku, który chcesz przekazać, wybierz pozycję Pobierz schemat danych testowych.
   • Generowanie sztucznej inteligencji: umożliwia generowanie przypadków testowych przy użyciu sztucznej inteligencji na podstawie monitu.
   • Użyj danych z aktywności: umożliwia pobieranie ostatnich działań, aby ułatwić rozpoczęcie pracy.
   • Ręczne dodawanie: umożliwia ręczne tworzenie przypadków testowych.

   Dowolna z opcji ułatwia utworzenie listy przypadków testowych, które można uruchomić:

   

Ustawianie kryteriów oceny

1. Po utworzeniu przypadków testowych wybierz pozycję Konfiguruj kryteria w sekcji konfiguracji po prawej stronie:

   

2. Zdefiniuj wynik zaliczenia, który jest minimalnym wynikiem wymaganym, aby odpowiedź została zaliczona.

3. Wybierz jedno z następujących wstępnie utworzonych kryteriów:

   • Jakość odpowiedzi: Testuje odpowiedzi na potrzeby jasności, przydatności i tonu
   • Dopasowania odpowiedzi: sprawdza odpowiedzi pod kątem określonych słów i znaczeń
   • Poprawność JSON: Testy sprawdzające zgodność odpowiedzi ze schematem danych

   

   Te kryteria i wynik zaliczenia określają, w jaki sposób dane wyjściowe przypadków testowych są oceniane podczas procesu ewaluacji.

Uruchamianie testów wsadowych

1. Na ekranie przypadków testowych wybierz pozycję Uruchom wszystko , aby uruchomić ocenę we wszystkich przypadkach testowych, lub wybierz przypadki testowe do uruchomienia i wybierz pozycję Uruchom wybrane.

   

   Centrum testowe ocenia wyniki względem zdefiniowanych kryteriów, dostarczając wgląd w wydajność podpowiedzi.

2. Po zakończeniu oceny przypadków testowych zostanie wyświetlony ekran wyników:

   

3. Aby uzyskać dostęp do poprzednich uruchomień ewaluacji, wybierz nazwę monitu w górnej części ekranu w Copilot Studio lub wybierz Historię uruchamiania w usłudze Power Apps lub Power Automate.

   

4. Aby wyświetlić szczegóły, wybierz przebieg oceny.

Historia uruchamiania umożliwia monitorowanie i analizowanie wyników testów w czasie, w tym:

• Śledź postęp wyniku dokładności na przestrzeni wielu przebiegów testowych.
• Porównaj wyniki z różnych przebiegów, aby zidentyfikować trendy lub regresje.
• Szczegółowe informacje o tym, dlaczego określony wynik testu został sklasyfikowany jako powodzenie lub niepowodzenie, oferując w ten sposób więcej szczegółów dotyczących diagnostyki.

Iterowanie oceny przypadków testowych i monitorowanie wszelkich znaczących zmian między przebiegami oceny.

Informacje pokrewne

• Często zadawane pytania dotyczące możliwości generowania monitów i tekstu