Ocena celów modelu i agenta przy użyciu zestawu SDK usługi Microsoft Foundry

Wysyłaj zapytania testowe do wdrożonych modeli, monituj agentów lub hostowanych agentów i oceniaj odpowiedzi wygenerowane w czasie wykonywania.

Wymagania wstępne

W przykładach użyto klienta zestawu SDK skonfigurowanego w temacie Konfigurowanie klienta zestawu SDK.

Oceń cel modelu

Wysyłaj zapytania do wdrożonego modelu w czasie działania. Oceń odpowiedzi za pomocą typu źródła danych azure_ai_target_completions z celem azure_ai_model. Dane wejściowe zawierają zapytania. Model generuje odpowiedzi, które następnie oceniasz.

Ważna

Przed rozpoczęciem ukończ konfigurację klienta i przygotuj dane wejściowe.

Note

Router modelu można użyć jako modelu docelowego. Router modelu jest obsługiwany tylko jako element docelowy oceny. Nie można go wybrać jako modelu dla żadnej innej funkcji oceny.

Definiowanie szablonu wiadomości i elementu docelowego

Szablon input_messages określa sposób wysyłania zapytań do modelu. Użyj {{item.query}}, aby odwoływać się do pól z danych wejściowych. Określ model do oceny i opcjonalnych parametrów próbkowania:

input_messages = {
    "type": "template",
    "template": [
        {
            "type": "message",
            "role": "user",
            "content": {
                "type": "input_text",
                "text": "{{item.query}}"
            }
        }
    ]
}

target = {
    "type": "azure_ai_model",
    "model": "gpt-5-mini",
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Konfigurowanie ewaluatorów i mapowań danych

Użyj {{item.field}} w data_mapping, aby odwołać się do danych wejściowych, oraz {{sample.output_text}}, aby odwołać się do wygenerowanej odpowiedzi modelu. Uwzględnij dane wejściowe wymagane przez każdego ewaluatora.

data_source_config = DataSourceConfigCustom(
    type="custom",
    item_schema={
        "type": "object",
        "properties": {
            "query": {"type": "string"},
        },
        "required": ["query"],
    },
    include_sample_schema=True,
)

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": model_deployment_name},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_text}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="violence",
        evaluator_name="builtin.violence",
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_text}}",
        },
    ),
]

Utwórz ewaluację i uruchom

eval_object = openai_client.evals.create(
    name="Model Target Evaluation",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)

data_source = {
    "type": "azure_ai_target_completions",
    "source": {
        "type": "file_id",
        "id": data_id,
    },
    "input_messages": input_messages,
    "target": target,
}

eval_run = openai_client.evals.runs.create(
    eval_id=eval_object.id,
    name="model-target-evaluation",
    data_source=data_source,
)

Aby uzyskać pełny przykład z możliwością uruchamiania, zobacz sample_model_evaluation.py w witrynie GitHub. Aby sprawdzać, czy proces został ukończony, i interpretować wyniki, zobacz Pobieranie wyników oceny w chmurze.

Odpowiedź ukończonego uruchomienia może zawierać docelowe percentyle latencji oraz szacowany koszt inferencji modelu. Zobacz Opóźnienie modelu docelowego i szacowany koszt, aby uzyskać definicje pól, reguły dostępności i informacje o ograniczeniach szacowania kosztów.

Tip

Aby dodać kolejny przebieg oceny, użyj tego samego kodu.

Oceń cel agenta

Wysyłaj zapytania do agenta usługi Foundry w czasie działania i oceniaj odpowiedzi przy użyciu typu źródła danych azure_ai_target_completions z elementem docelowym azure_ai_agent. Ten scenariusz działa zarówno w przypadku agentów natychmiastowych, jak i agentów hostowanych.

Ważna

Przed rozpoczęciem ukończ konfigurację klienta i przygotuj dane wejściowe.

Tip

Hostowani agenci korzystający z protokołu odpowiedzi współpracują z tymi samymi przykładami kodu przedstawionymi tutaj. W przypadku hostowanych agentów korzystających z protokołu input_messages wywołań format jest inny. Aby uzyskać szczegółowe informacje, zobacz Protokół wywołań hostowanych agentów .

Definiowanie szablonu wiadomości i elementu docelowego

Szablon input_messages określa sposób wysyłania zapytań do agenta. Użyj {{item.query}}, aby odwoływać się do pól z danych wejściowych. Określ agenta do oceny według nazwy:

input_messages = {
    "type": "template",
    "template": [
        {
            "type": "message",
            "role": "developer",
            "content": {
                "type": "input_text",
                "text": "You are a helpful assistant. Answer clearly and safely."
            }
        },
        {
            "type": "message",
            "role": "user",
            "content": {
                "type": "input_text",
                "text": "{{item.query}}"
            }
        }
    ]
}

target = {
    "type": "azure_ai_agent",
    "name": "my-agent",
    "version": "1"  # Optional. Uses latest version if omitted.
}

Konfigurowanie ewaluatorów i mapowań danych

Gdy agent generuje odpowiedzi w czasie pracy, użyj zmienne {{sample.*}} w data_mapping, aby odwołać się do danych wyjściowych agenta.

Zmienna Opis Użyj dla
{{sample.output_text}} Odpowiedź agenta w postaci zwykłego tekstu. Ewaluatorzy, którzy oczekują odpowiedzi w postaci ciągu znaków (na przykład coherence i violence).
{{sample.output_items}} Ustrukturyzowane dane wyjściowe JSON agenta, w tym wywołania narzędzi. Ewaluatorzy, którzy potrzebują pełnego kontekstu interakcji (na przykład task_adherence).
{{item.field}} Pole z danych wejściowych. Pola wejściowe, takie jak query lub ground_truth.

Mapuj wszystkie wymagane dane wejściowe ewaluatora jawnie. Większość ewaluatorów w tym przykładzie używa odpowiedzi {{sample.output_text}} . Task Adherence natomiast wymaga pełnej, ustrukturyzowanej interakcji w {{sample.output_items}}.

Tip

Pole query może zawierać ustrukturyzowany kod JSON, w tym komunikaty systemowe i historię konwersacji. Niektórzy ewaluatorzy agentów, na przykład task_adherence używają tego kontekstu do dokładniejszego oceniania. Aby uzyskać szczegółowe informacje na temat formatowania zapytań, zobacz ewaluatory agentów.

data_source_config = DataSourceConfigCustom(
    type="custom",
    item_schema={
        "type": "object",
        "properties": {
            "query": {"type": "string"},
        },
        "required": ["query"],
    },
    include_sample_schema=True,
)

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": model_deployment_name},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_text}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="violence",
        evaluator_name="builtin.violence",
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_text}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="task_adherence",
        evaluator_name="builtin.task_adherence",
        initialization_parameters={"model": model_deployment_name},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_items}}",
        },
    ),
]

Utwórz ewaluację i uruchom

eval_object = openai_client.evals.create(
    name="Agent Target Evaluation",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)

data_source = {
    "type": "azure_ai_target_completions",
    "source": {
        "type": "file_id",
        "id": data_id,
    },
    "input_messages": input_messages,
    "target": target,
}

agent_eval_run = openai_client.evals.runs.create(
    eval_id=eval_object.id,
    name="agent-target-evaluation",
    data_source=data_source,
)

Aby uzyskać pełny przykład z możliwością uruchamiania, zobacz sample_agent_evaluation.py w witrynie GitHub. Aby sprawdzać, czy proces został ukończony, i interpretować wyniki, zobacz Pobieranie wyników oceny w chmurze.

Protokół wywołań agenta hostowanego

Hostowani agenci, którzy obsługują tylko protokół wywołań, używają tego samego azure_ai_agent typu docelowego, ale wymagają formatu wolnego.input_messages Zamiast formatu szablonu strukturalnego podaj obiekt JSON, który jest mapowany bezpośrednio na treść żądania agenta /invocations . Użyj symboli zastępczych {{item.*}} do zastępowania pól z twoich danych wejściowych.

Jeśli hostowany agent obsługuje protokoły odpowiedzi i wywołania, usługa domyślnie używa protokołu odpowiedzi. W przypadku tych agentów użyj szablonu strukturalnego input_messages pokazanego w sekcji Definiowanie szablonu komunikatu i elementu docelowego.

Definiowanie formatu komunikatu i elementu docelowego

input_messages = {"message": "{{item.query}}"}

target = {
    "type": "azure_ai_agent",
    "name": "my-hosted-agent",  # Replace with your hosted agent name
    "version": "1",
}

Utwórz ewaluację i uruchom

eval_object = openai_client.evals.create(
    name="Hosted Agent Invocations Evaluation",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)

data_source = {
    "type": "azure_ai_target_completions",
    "source": {
        "type": "file_id",
        "id": data_id,
    },
    "input_messages": input_messages,
    "target": target,
}

eval_run = openai_client.evals.runs.create(
    eval_id=eval_object.id,
    name="hosted-agent-invocations-evaluation",
    data_source=data_source,
)

Konfiguracja ewaluatora i mapowania danych są takie same jak w przypadku oceny agenta wyzwalającego. Użyj {{sample.output_text}} dla tekstowej odpowiedzi agenta i {{sample.output_items}} dla pełnego ustrukturyzowanego wyjścia danych, w tym wywołań narzędzi.