Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ewaluator języka rubric ocenia agenta lub model odpowiedzi na kryteria niestandardowe (wymiary), używając LLM jako sędziego. Daje kontrolę nad tym, co "dobre" i "bezpieczne" oznacza dla twojego przypadku użycia i stosuje ten wyrok konsekwentnie w odpowiedziach jednokrotnych lub konwersacjach wieloeściowych.
Użyj ewaluatorów języka rubric jako podstawowej miary jakości agenta specyficznego dla domeny i przestrzegania zasad. Połącz je z wbudowanymi ewaluatorami w celu uzyskania ogólnej bezpieczeństwa zawartości, uziemienia i dokładności użycia narzędzi.
Wybieranie typu rubryk
Typy rubryk różnią się w zależności od tego, skąd pochodzą ich kryteria i jakie zgłaszają.
| Typ rubryki | Kryteria mają zastosowanie do | Raporty | Learn more |
|---|---|---|---|
| Jakości | Każdy wiersz w ocenie | Znormalizowana 0.01.0ocena 1–5 lub lista kontrolna z przekazywaniem/niepowodzeniem |
Jakości ewaluatorów rubryk |
| Bezpieczeństwo(wersja zapoznawcza) | Każdy wiersz w ocenie | Oddzielne wyniki dla rzeczy, których agent nie może robić i co powinno zrobić | Ewaluatorzy bezpieczeństwa |
| Poziom zadania(wersja zapoznawcza) | Jeden wiersz zestawu danych z kryteriami i oczekiwanymi danymi wyjściowymi dla tego wiersza | Wyniki względem własnych kryteriów wiersza i oczekiwanych danych wyjściowych | Ewaluator rubryk na poziomie zadania |
Rubryki dotyczące jakości i bezpieczeństwa definiują wspólne kryteria raz i stosują je do każdego wiersza. Na przykład agent rezerwacji może użyć jednego rubryka jakości, który sprawdza wymuszanie zasad dla wszystkich konwersacji.
Zamiast tego rubryka na poziomie zadania definiuje, co oznacza sukces dla pojedynczego przypadku. Na przykład jeden wiersz może sprawdzić, czy agent podaje termin zwrotu pieniędzy, podczas gdy inny sprawdza, czy agent prosi o brak numeru zamówienia. Te kryteria można wygenerować na podstawie adnotacji ludzkich na śladach produkcyjnych.
Jak oceniasz rubryki
Rubryki jakości używają klasyfikacji od 1 do 5, która może być ważona według wymiaru lub listy kontrolnej pass/fail. Rubryki bezpieczeństwa zgłaszają dwa wyniki pass/fail: czy agent zrobił coś niedozwolonego (nie), i czy nie udało mu się wykonać czegoś dozwolonego (zrobić).
Każdy ewaluator używa jednego trybu oceniania. Aby połączyć 1–5 ocen z testami pass/fail lub safety, dodaj wiele ewaluatorów rubryk do tego samego przebiegu oceny.
Tworzenie ewaluatora rubryk
Wygeneruj rubrykę jakości lub bezpieczeństwa na podstawie kontekstu agenta lub napisz wymiary samodzielnie. Aby uzyskać szczegółowe informacje, zobacz Artykuły ewaluacyjne dotyczące jakości i ewaluatorów bezpieczeństwa.
Tip
Zacznij od wygenerowania rubryki i ręcznego uściślinia. Generowanie zapewnia podstawy odniesienia, które można dostosować do swoich standardów.
Przeglądanie, edytowanie i ponowne generowanie rubryk
Uściślij rubrykę do momentu dopasowania wyników do oceny zespołu:
- Edytuj wymiary: wyjaśnij opisy, dostosuj wagi lub progi oraz dodaj lub usuń wymiary.
- Zmiana wersji: zapisz zmiany jako nową wersję, aby zachować dostępne wcześniejsze wersje lub zaktualizować istniejącą wersję.
- Wygeneruj ponownie selektywnie: ponownie wygeneruj istniejącą rubrykę z nowych źródeł. Wymiary edytowane przez człowieka są zachowywane i zmieniają się tylko wygenerowane wymiary.
Nie można przekonwertować na siebie rubryk jakości i bezpieczeństwa. Aby uzyskać informacje o polach i opcjach żądania, zobacz dokumentację interfejsu API REST usługi Foundry.
Sprawdzanie pochodzenia wersji i diagnostyki kondycji rubryk
Diagnostyka rubryk pokazuje, jak rubryka zmieniała się wraz z upływem czasu i jak dobra była w czasie generowania. Użyj ich, aby zobaczyć, kto edytował, który wymiar i kiedy oraz dostrzec nakładające się lub niskie kryteria pokrycia.
Poniższy przykład Python zawiera listę diagnostyki dla ewaluatora rubryk. Wymaga azure-ai-projects to wersji 2.11.0 lub nowszej:
import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
with DefaultAzureCredential() as credential, AIProjectClient(
endpoint=os.environ["FOUNDRY_PROJECT_ENDPOINT"],
credential=credential,
) as project:
for entry in project.beta.evaluators.list_diagnostics(
name="support_quality",
order="asc",
):
print(f"[v{entry.evaluator_version}] {entry.type} ({entry.change_type})")
Aby zapoznać się z typami diagnostycznymi, polami i filtrami, zobacz dokumentację interfejsu API REST usługi Foundry.
Uruchamianie oceny przy użyciu ewaluatorów rubryk
Dodaj co najmniej jeden zapisanych ewaluatorów rubryk do przebiegu oceny. W tym samym przebiegu można łączyć rubryki jakości i bezpieczeństwa.
Konfigurowanie ciągłej oceny za pomocą ewaluatorów rubryk
Gdy ewaluator języka Rubric niezawodnie odzwierciedla standardy, skonfiguruj go pod kątem ciągłej i zaplanowanej oceny w ustawieniach monitora. Ciągła ocena uruchamia rubrykę dla nowego ruchu agenta, dzięki czemu można przechwytywać regresje w środowisku produkcyjnym.
Aby uzyskać instrukcje konfiguracji, zobacz Monitorowanie agentów na pulpicie nawigacyjnym.