Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Wysyłaj zapytania testowe do wdrożonych modeli, monituj agentów lub hostowanych agentów i oceniaj odpowiedzi wygenerowane w czasie wykonywania.
Wymagania wstępne
- Ukończ wymagania wstępne dotyczące oceny chmury i konfigurację klienta.
- Zestaw danych JSONL lub CSV zapytań wejściowych.
- Wdrożony model, agent promptu lub agent hostowany do użycia jako obiekt docelowy.
W przykładach użyto klienta zestawu SDK skonfigurowanego w temacie Konfigurowanie klienta zestawu SDK.
Oceń cel modelu
Wysyłaj zapytania do wdrożonego modelu w czasie działania. Oceń odpowiedzi za pomocą typu źródła danych azure_ai_target_completions z celem azure_ai_model. Dane wejściowe zawierają zapytania. Model generuje odpowiedzi, które następnie oceniasz.
Ważna
Przed rozpoczęciem ukończ konfigurację klienta i przygotuj dane wejściowe.
Note
Router modelu można użyć jako modelu docelowego. Router modelu jest obsługiwany tylko jako element docelowy oceny. Nie można go wybrać jako modelu dla żadnej innej funkcji oceny.
Definiowanie szablonu wiadomości i elementu docelowego
Szablon input_messages określa sposób wysyłania zapytań do modelu. Użyj {{item.query}}, aby odwoływać się do pól z danych wejściowych. Określ model do oceny i opcjonalnych parametrów próbkowania:
input_messages = {
"type": "template",
"template": [
{
"type": "message",
"role": "user",
"content": {
"type": "input_text",
"text": "{{item.query}}"
}
}
]
}
target = {
"type": "azure_ai_model",
"model": "gpt-5-mini",
"sampling_params": {
"top_p": 1.0,
"max_completion_tokens": 2048,
},
}
Konfigurowanie ewaluatorów i mapowań danych
Użyj {{item.field}} w data_mapping, aby odwołać się do danych wejściowych, oraz {{sample.output_text}}, aby odwołać się do wygenerowanej odpowiedzi modelu. Uwzględnij dane wejściowe wymagane przez każdego ewaluatora.
data_source_config = DataSourceConfigCustom(
type="custom",
item_schema={
"type": "object",
"properties": {
"query": {"type": "string"},
},
"required": ["query"],
},
include_sample_schema=True,
)
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": model_deployment_name},
data_mapping={
"query": "{{item.query}}",
"response": "{{sample.output_text}}",
},
),
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="violence",
evaluator_name="builtin.violence",
data_mapping={
"query": "{{item.query}}",
"response": "{{sample.output_text}}",
},
),
]
Utwórz ewaluację i uruchom
eval_object = openai_client.evals.create(
name="Model Target Evaluation",
data_source_config=data_source_config,
testing_criteria=testing_criteria,
)
data_source = {
"type": "azure_ai_target_completions",
"source": {
"type": "file_id",
"id": data_id,
},
"input_messages": input_messages,
"target": target,
}
eval_run = openai_client.evals.runs.create(
eval_id=eval_object.id,
name="model-target-evaluation",
data_source=data_source,
)
Aby uzyskać pełny przykład z możliwością uruchamiania, zobacz sample_model_evaluation.py w witrynie GitHub. Aby sprawdzać, czy proces został ukończony, i interpretować wyniki, zobacz Pobieranie wyników oceny w chmurze.
Odpowiedź ukończonego uruchomienia może zawierać docelowe percentyle latencji oraz szacowany koszt inferencji modelu. Zobacz Opóźnienie modelu docelowego i szacowany koszt, aby uzyskać definicje pól, reguły dostępności i informacje o ograniczeniach szacowania kosztów.
Tip
Aby dodać kolejny przebieg oceny, użyj tego samego kodu.
Oceń cel agenta
Wysyłaj zapytania do agenta usługi Foundry w czasie działania i oceniaj odpowiedzi przy użyciu typu źródła danych azure_ai_target_completions z elementem docelowym azure_ai_agent. Ten scenariusz działa zarówno w przypadku agentów natychmiastowych, jak i agentów hostowanych.
Ważna
Przed rozpoczęciem ukończ konfigurację klienta i przygotuj dane wejściowe.
Tip
Hostowani agenci korzystający z protokołu odpowiedzi współpracują z tymi samymi przykładami kodu przedstawionymi tutaj. W przypadku hostowanych agentów korzystających z protokołu input_messages wywołań format jest inny. Aby uzyskać szczegółowe informacje, zobacz Protokół wywołań hostowanych agentów .
Definiowanie szablonu wiadomości i elementu docelowego
Szablon input_messages określa sposób wysyłania zapytań do agenta. Użyj {{item.query}}, aby odwoływać się do pól z danych wejściowych. Określ agenta do oceny według nazwy:
input_messages = {
"type": "template",
"template": [
{
"type": "message",
"role": "developer",
"content": {
"type": "input_text",
"text": "You are a helpful assistant. Answer clearly and safely."
}
},
{
"type": "message",
"role": "user",
"content": {
"type": "input_text",
"text": "{{item.query}}"
}
}
]
}
target = {
"type": "azure_ai_agent",
"name": "my-agent",
"version": "1" # Optional. Uses latest version if omitted.
}
Konfigurowanie ewaluatorów i mapowań danych
Gdy agent generuje odpowiedzi w czasie pracy, użyj zmienne {{sample.*}} w data_mapping, aby odwołać się do danych wyjściowych agenta.
| Zmienna | Opis | Użyj dla |
|---|---|---|
{{sample.output_text}} |
Odpowiedź agenta w postaci zwykłego tekstu. | Ewaluatorzy, którzy oczekują odpowiedzi w postaci ciągu znaków (na przykład coherence i violence). |
{{sample.output_items}} |
Ustrukturyzowane dane wyjściowe JSON agenta, w tym wywołania narzędzi. | Ewaluatorzy, którzy potrzebują pełnego kontekstu interakcji (na przykład task_adherence). |
{{item.field}} |
Pole z danych wejściowych. | Pola wejściowe, takie jak query lub ground_truth. |
Mapuj wszystkie wymagane dane wejściowe ewaluatora jawnie. Większość ewaluatorów w tym przykładzie używa odpowiedzi {{sample.output_text}} . Task Adherence natomiast wymaga pełnej, ustrukturyzowanej interakcji w {{sample.output_items}}.
Tip
Pole query może zawierać ustrukturyzowany kod JSON, w tym komunikaty systemowe i historię konwersacji. Niektórzy ewaluatorzy agentów, na przykład task_adherence używają tego kontekstu do dokładniejszego oceniania. Aby uzyskać szczegółowe informacje na temat formatowania zapytań, zobacz ewaluatory agentów.
data_source_config = DataSourceConfigCustom(
type="custom",
item_schema={
"type": "object",
"properties": {
"query": {"type": "string"},
},
"required": ["query"],
},
include_sample_schema=True,
)
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": model_deployment_name},
data_mapping={
"query": "{{item.query}}",
"response": "{{sample.output_text}}",
},
),
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="violence",
evaluator_name="builtin.violence",
data_mapping={
"query": "{{item.query}}",
"response": "{{sample.output_text}}",
},
),
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="task_adherence",
evaluator_name="builtin.task_adherence",
initialization_parameters={"model": model_deployment_name},
data_mapping={
"query": "{{item.query}}",
"response": "{{sample.output_items}}",
},
),
]
Utwórz ewaluację i uruchom
eval_object = openai_client.evals.create(
name="Agent Target Evaluation",
data_source_config=data_source_config,
testing_criteria=testing_criteria,
)
data_source = {
"type": "azure_ai_target_completions",
"source": {
"type": "file_id",
"id": data_id,
},
"input_messages": input_messages,
"target": target,
}
agent_eval_run = openai_client.evals.runs.create(
eval_id=eval_object.id,
name="agent-target-evaluation",
data_source=data_source,
)
Aby uzyskać pełny przykład z możliwością uruchamiania, zobacz sample_agent_evaluation.py w witrynie GitHub. Aby sprawdzać, czy proces został ukończony, i interpretować wyniki, zobacz Pobieranie wyników oceny w chmurze.
Protokół wywołań agenta hostowanego
Hostowani agenci, którzy obsługują tylko protokół wywołań, używają tego samego azure_ai_agent typu docelowego, ale wymagają formatu wolnego.input_messages Zamiast formatu szablonu strukturalnego podaj obiekt JSON, który jest mapowany bezpośrednio na treść żądania agenta /invocations . Użyj symboli zastępczych {{item.*}} do zastępowania pól z twoich danych wejściowych.
Jeśli hostowany agent obsługuje protokoły odpowiedzi i wywołania, usługa domyślnie używa protokołu odpowiedzi. W przypadku tych agentów użyj szablonu strukturalnego input_messages pokazanego w sekcji Definiowanie szablonu komunikatu i elementu docelowego.
Definiowanie formatu komunikatu i elementu docelowego
input_messages = {"message": "{{item.query}}"}
target = {
"type": "azure_ai_agent",
"name": "my-hosted-agent", # Replace with your hosted agent name
"version": "1",
}
Utwórz ewaluację i uruchom
eval_object = openai_client.evals.create(
name="Hosted Agent Invocations Evaluation",
data_source_config=data_source_config,
testing_criteria=testing_criteria,
)
data_source = {
"type": "azure_ai_target_completions",
"source": {
"type": "file_id",
"id": data_id,
},
"input_messages": input_messages,
"target": target,
}
eval_run = openai_client.evals.runs.create(
eval_id=eval_object.id,
name="hosted-agent-invocations-evaluation",
data_source=data_source,
)
Konfiguracja ewaluatora i mapowania danych są takie same jak w przypadku oceny agenta wyzwalającego. Użyj {{sample.output_text}} dla tekstowej odpowiedzi agenta i {{sample.output_items}} dla pełnego ustrukturyzowanego wyjścia danych, w tym wywołań narzędzi.