Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Zestaw danych oceny to zbiór przypadków testowych wielokrotnego użytku na potrzeby pomiaru jakości modelu lub agenta. Zestawy danych oceny zwykle używają formatu JSONL z jednym obiektem JSON na wiersz. W tym artykule wyjaśniono, kiedy używać zestawu danych wielokrotnego użytku, sposobu organizowania danych oceny oraz dostępnych sposobów ich przygotowania.
Czy potrzebujesz zestawu danych oceny?
Utwórz zestaw danych, jeśli chcesz uruchomić stabilny zestaw testów, który można ponownie uruchomić względem innego modelu, monitu lub wersji agenta. Zestawy danych wielokrotnego użytku dobrze sprawdzają się w testach regresyjnych, jako bramki jakości w procesach CI/CD oraz w porównaniach między kolejnymi ewaluacjami.
Nie zawsze potrzebujesz zestawu danych. Jeśli agent Foundry ma już odpowiedzi lub aplikacja wysyła ślady do usługi Application Insights, możesz ocenić te dane tam, gdzie już się znajdują. Zobacz Ocena interakcji według identyfikatora odpowiedzi i Ocena śladów.
Jak usługa Foundry używa danych oceny
W zestawie danych messages JSONL pole reprezentuje interakcje modelu lub agenta. Każda wiadomość identyfikuje rolę i jej zawartość.
Jeśli zestaw danych zawiera ukończone odpowiedzi, funkcja Foundry ocenia te odpowiedzi bezpośrednio. Jeśli uruchomisz ocenę dla modelu lub agenta, Foundry generuje nową odpowiedź dla każdego zestawu danych wejściowych i ocenia tę odpowiedź. Każda odpowiedź już przechowywana w zestawie danych jest ignorowana.
Rozważmy na przykład użytkownika, który nie może się zalogować. Agent pyta, który błąd pojawia się, użytkownik mówi, że jego hasło zostało odrzucone, a agent zaleca zresetowanie hasła. Ocena na poziomie pojedynczej tury dotyczy indywidualnej odpowiedzi agenta, takiej jak wskazówki dotyczące resetowania hasła, i wykorzystuje wcześniejsze wiadomości jako kontekst. Ocena na poziomie konwersacji ocenia pełną interakcję.
Ustawienie evaluation_level w uruchomieniu określa poziom szczegółowości oceniania.
Zestaw danych i wybrani ewaluatorzy muszą obsługiwać ten poziom. Aby uzyskać szczegółowe informacje, zobacz Wybieranie poziomu oceny.
Aby zapoznać się ze standardowymi kolumnami i przykładami, zobacz Schemat zestawu danych oceny.
Wybieranie sposobu przygotowywania danych oceny
| Sytuacja | Zalecane podejście |
|---|---|
| Masz wyselekcjonowane dane oceny | Prześlij go jako wersjonowany zbiór danych Foundry lub podaj mały zbiór danych bezpośrednio w treści. Zobacz Przygotowywanie danych wejściowych. |
| Chcesz przejrzeć i ponownie użyć wygenerowanych przypadków testowych przed uruchomieniem oceny | Wygeneruj syntetyczny zestaw danych oceny na podstawie definicji agenta, wbudowanego monitu lub pliku odwołania. |
| Potrzebujesz zestawu danych wielokrotnego użytku na podstawie ruchu produkcyjnego | Konwertowanie śladów na zestaw danych. |
| Chcesz przetestować symulowane scenariusze wieloetapowe | Wygeneruj początkowy zbiór danych symulacji lub utwórz scenariusze przypadków testowych w formacie JSONL, a następnie symuluj rozmowy. |
| Masz identyfikatory odpowiedzi usługi Foundry | Ocenianie interakcji według identyfikatora odpowiedzi bez tworzenia zestawu danych. |
| Chcesz ocenić istniejące ślady usługi Application Insights | Ocenianie śladów bez tworzenia zestawu danych. |
| Chcesz wygenerować zapytania, wywołać obiekt docelowy i ocenić jego odpowiedzi w jednym przepływie pracy | Generowanie syntetycznych zapytań podczas przebiegu oceny. Funkcja Foundry zapisuje wygenerowane zapytania jako zestaw danych do ponownego użycia. |