Ewaluator rubryk na poziomie zadania (wersja zapoznawcza)

Important

Elementy oznaczone podglądem w tym artykule są obecnie w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług, a Microsoft nie zaleca korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą nie być obsługiwane lub mogą mieć ograniczone możliwości. Aby uzyskać więcej informacji, zobacz Warunki dodatkowe korzystania z testowych wersji Microsoft Azure.

Rubryka na poziomie zadania definiuje, co oznacza powodzenie dla jednego zadania w zestawie danych oceny, w którym każdy wiersz jest jednym zadaniem. Ewaluator rubryk na poziomie zadania (builtin.task_level_rubric) ocenia każdą odpowiedź lub konwersację z własnymi kryteriami tego wiersza i oczekiwanymi danymi wyjściowymi dostarczonymi przez człowieka.

Wspólne rubryki dotyczące jakości i bezpieczeństwa stosują te same kryteria do każdego wiersza. To dobrze sprawdza się w przypadku ogólnych standardów, takich jak "potwierdzanie szczegółów rezerwacji". Jest mniej precyzyjne, gdy każdy przypadek ma inny prawidłowy wynik. Rubryk na poziomie zadania przechwytuje szczegóły, które mają znaczenie dla poszczególnych przypadków, często pobierane bezpośrednio z opinii recenzenta na temat śledzenia produkcji.

Aspect Współużytkowany rubryk Rubryka na poziomie zadania
Zdefiniowane kryteria Raz na ewaluatorze Na wiersz w zestawie danych
Typowe źródło Instrukcje agenta, monity, dane referencyjne lub ślady Adnotacje ludzkie dotyczące śladów i konwersacji
Sprawdzanie oczekiwanych danych wyjściowych No Yes
Wagi Opcjonalne w rubrykach jakości Likert Nieuwzględniane w wygenerowanych kryteriach

Generowanie rubryk na poziomie zadania

Utwórz zestaw danych oceny na podstawie notowanych śladów i włącz generowanie rubryk. Generowanie języka Rubric wymaga wdrożenia modelu. Aby dodać adnotacje do śladów i najpierw dodać oczekiwane dane wyjściowe, zobacz Human in the loop (Człowiek w pętli).

  1. W portalu Foundry otwórz projekt i agenta, a następnie otwórz pozycję Traces.
  2. W widoku śledzenia lub konwersacji wybierz adnotacje śledzenia lub konwersacji do uwzględnienia.
  3. Wybierz pozycję Dodaj do zestawu danych, a następnie wybierz istniejący zestaw danych lub utwórz go.
  4. Włącz generowanie rubryk i wybierz wdrożenie modelu.
  5. Wybierz Utwórz. Po wyświetleniu powiadomienia otwórz zestaw danych i przejrzyj wygenerowane kryteria i oczekiwane dane wyjściowe.

Aby uzyskać pełny przepływ pracy, zobacz Konwertowanie śladów agenta na zestawy danych oceny.

Pola zestawu danych

Każdy wiersz w zestawie danych oceny jest jednym zadaniem. Wraz z interakcją do oceny wiersz ma dwa pola na poziomie zadania:

Pole Description
expected Oczekiwane dane wyjściowe zadania. Każdy wpis wymaga annotationId ciągu. W przypadku query wierszy i response wpis musi również zawierać outputwartość . W przypadku messages wierszy potrzebuje outcomeelementu .
rubric_dimensions Kryteria tylko dla tego zadania. Każde kryterium ma wartość id i description, bez wag.

Możesz samodzielnie napisać te pola lub wygenerować je na podstawie notowanych śladów. Wygenerowane wiersze ustawione annotationId na adnotację źródłową.

Każdy wiersz wymaga rubric_dimensions i interakcji, aby ocenić element lub messagesquery i response. Ocena na poziomie konwersacji wymaga również .test_case_description Pole expected jest opcjonalne. Jeśli jakikolwiek wpis w expected pliku jest źle sformułowany, ewaluator ignoruje całe pole i klasy tylko kryteria.

Example

W tym ilustracyjnym scenariuszu recenzent daje kciuk w dół do odpowiedzi zwrotu i pisze: "Odpowiedź pominąła 30-dniowy termin i nie powiedziała, jak długo trwa zwrot pieniędzy". Recenzent dostarcza również oczekiwane dane wyjściowe.

Wynikowy wiersz zawiera interakcję, oczekiwane dane wyjściowe recenzenta i kryteria dla tego zadania:

{
  "query": "I'd like a refund for the headphones I bought last week.",
  "response": "Sure! Go to Billing, select the headphones, and choose Request refund.",
  "expected": [
    {
      "annotationId": "refund-review-1",
      "output": "Refund requests must be submitted within 30 days of purchase. Go to Billing, select the headphones, and choose Request refund."
    }
  ],
  "rubric_dimensions": [
    {
      "id": "no_out_of_policy_refund_promise",
      "description": "The response must not promise a refund for a purchase that's older than 30 days."
    },
    {
      "id": "states_processing_time",
      "description": "The response should say that refunds take 5-7 business days to process after approval."
    }
  ]
}

Zasady, kroki i identyfikatory są ilustracyjne. Kryteria obejmują zachowanie wykraczające poza oczekiwaną odpowiedź, więc nie powtarzają tego. Podczas oceny nowej wersji agenta w tym wierszu program ewaluator sprawdza:

  • Oczekiwane dane wyjściowe: Czy odpowiedź daje 30-dniowy termin i kroki rozliczeń?
  • Każde kryterium: Czy odpowiedź nie obiecuje zwrotu z zasad? Czy mówi, jak długo trwa zwrot pieniędzy?

Odpowiedź w tym wierszu kończy się niepowodzeniem i kończy się niepowodzeniem: pomija termin i nie mówi, jak długo trwa zwrot pieniędzy. Inny wiersz w tym samym zestawie danych może mieć zupełnie inne kryteria, takie jak sprawdzenie, czy agent prosi o brak numeru zamówienia.

Przed użyciem zestawu danych przejrzyj wygenerowane kryteria i oczekiwane dane wyjściowe. Jeśli uruchamiasz również współużytkowanego ewaluatora rubryk, używa tylko własnych kryteriów i wyników niezależnie.

Uruchamianie oceny

Dodaj builtin.task_level_rubric do przebiegu oceny i zamapuj pola każdego wiersza na ewaluatora. Ewaluator wymaga wdrożenia modelu dla sędziego LLM.

Dane wejściowe ewaluatora Wymagane Mapy z
query i response, lub messages Yes Interakcja do oceny. messages ma pierwszeństwo, gdy jest obecny.
rubric_dimensions Yes Kryteria na poziomie zadania wiersza
expected No Oczekiwane dane wyjściowe wiersza
test_case_description Ocena na poziomie konwersacji Scenariusz całej konwersacji
tool_definitions No Narzędzia dostępne dla agenta

W przypadku oceny na poziomie konwersacji ustaw wartość evaluation_level na conversation w przebiegu i na mapie test_case_description.

Poniższy przykład Python ocenia wiersz zwrotu kosztów z poprzedniej sekcji:

import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential

endpoint = os.environ["FOUNDRY_PROJECT_ENDPOINT"]
deployment_name = os.environ["MODEL_DEPLOYMENT_NAME"]

row = {
    "query": "I'd like a refund for the headphones I bought last week.",
    "response": (
        "Sure! Go to Billing, select the headphones, "
        "and choose Request refund."
    ),
    "expected": [
        {
            "annotationId": "refund-review-1",
            "output": (
                "Refund requests must be submitted within 30 days of "
                "purchase. Go to Billing, select the headphones, and "
                "choose Request refund."
            )
        }
    ],
    "rubric_dimensions": [
        {
            "id": "no_out_of_policy_refund_promise",
            "description": (
                "The response must not promise a refund for a purchase "
                "that's older than 30 days."
            ),
        },
        {
            "id": "states_processing_time",
            "description": (
                "The response should say that refunds take 5-7 "
                "business days to process after approval."
            ),
        },
    ],
}

with DefaultAzureCredential() as credential, AIProjectClient(
    endpoint=endpoint, credential=credential
) as project:
    openai_client = project.get_openai_client()

    eval_obj = openai_client.evals.create(
        name="refund-task-level-rubric",
        data_source_config={
            "type": "custom",
            "item_schema": {
                "type": "object",
                "properties": {
                    "query": {"type": "string"},
                    "response": {"type": "string"},
                    "expected": {"type": "array"},
                    "rubric_dimensions": {"type": "array"},
                },
                "required": ["query", "response", "rubric_dimensions"],
            },
            "include_sample_schema": True,
        },
        testing_criteria=[
            {
                "type": "azure_ai_evaluator",
                "name": "task_level_rubric",
                "evaluator_name": "builtin.task_level_rubric",
                "initialization_parameters": {
                    "deployment_name": deployment_name
                },
                "data_mapping": {
                    "query": "{{item.query}}",
                    "response": "{{item.response}}",
                    "expected": "{{item.expected}}",
                    "rubric_dimensions": "{{item.rubric_dimensions}}",
                },
            }
        ],
    )

    run = openai_client.evals.runs.create(
        eval_id=eval_obj.id,
        name="refund-task-level-rubric-run",
        data_source={
            "type": "jsonl",
            "source": {
                "type": "file_content",
                "content": [{"item": row}],
            },
        },
    )
    print(f"Started run {run.id}")

Aby ocenić zestaw danych wygenerowany na podstawie śladów, użyj zestawu danych jako źródła danych przebiegu zamiast zawartości wbudowanej. Aby uzyskać informacje o źródłach danych i uruchomić konfigurację, zobacz Run evaluations from the SDK (Uruchamianie ocen z zestawu SDK).

Przykładowe dane wyjściowe

Ewaluator zwraca wynik pass/fail o nazwie task_level_rubric. Wyniki dla każdego kryterium są wymienione w obszarze properties.dimensions, z których każdy ma wartość i resultreason. Gdy wiersz zawiera expected pole, oczekiwane sprawdzanie pojawia się w properties.expected_output_result przypadku query wierszy properties.expected_outcome_resultmessages i response dla wierszy.

Następujące dane wyjściowe są przeznaczone do śledzenia zwrotu kosztów w przykładzie:

{
  "type": "azure_ai_evaluator",
  "name": "TaskLevelRubric",
  "metric": "task_level_rubric",
  "score": false,
  "label": "fail",
  "reason": "The expected output check failed.",
  "passed": false,
  "status": "completed",
  "properties": {
    "dimensions": [
      {
        "id": "no_out_of_policy_refund_promise",
        "result": "pass",
        "reason": "The response gives refund steps but doesn't promise a refund for an older purchase."
      },
      {
        "id": "states_processing_time",
        "result": "fail",
        "reason": "The response doesn't say how long the refund takes to process."
      }
    ],
    "expected_output_result": {
      "result": "fail",
      "reasoning": "The response omits the 30-day deadline from the expected output."
    }
  }
}

Wynik zadania jest zgodny z następującymi regułami:

  • Jeśli oczekiwana kontrola zakończy się niepowodzeniem, zadanie zakończy się niepowodzeniem.
  • W przeciwnym razie zadanie przechodzi tylko wtedy, gdy każde odpowiednie kryterium przechodzi. Kryterium, które nie ma zastosowania do interakcji, pokazuje skipped i nie jest liczone.
  • Jeśli żadne kryteria nie mają zastosowania i oczekiwane sprawdzanie przebiegnie, zadanie zostanie zakończone pomyślnie.
  • Jeśli wiersz nie ma kryteriów i nie expected ma pola, zadanie zostanie pominięte: status is skipped i passed ma wartość null.

reason Użyj dla każdego kryterium i oczekiwanego sprawdzeniareasoning, aby zobaczyć, dlaczego zadanie nie powiodło się.