Datensätze in der Cloud auswerten

Bewerten Sie vorkompilierte Antworten in JSONL- oder CSV-Daten, indem Sie ein Schema definieren, Feldern Evaluatoren zuordnen und eine Cloudauswertungsausführung starten.

Voraussetzungen

Schließen Sie die Voraussetzungen für die Cloudauswertung und die Clienteinrichtung ab.
Ein JSONL- oder CSV-Dataset mit den Feldern, die von Ihren Evaluatoren benötigt werden.

In den Beispielen wird der in SDK-Client einrichten konfigurierte SDK-Client verwendet.

Vorbereiten von Eingabedaten

Die meisten Auswertungsszenarien erfordern Eingabedaten. Sie können Daten auf zwei Arten bereitstellen:

Tipp

Wenn Sie nicht über einen manuell kuratierten Datensatz verfügen, können Sie einen erstellen. Verwenden Sie Synthetischen Evaluierungsdatensatz generieren, wenn Sie sich noch vor dem Start befinden oder nur wenig Datenverkehr haben, oder Agent-Traces in Evaluierungsdatensätze umwandeln, um einen Datensatz aus echtem Produktionsdatenverkehr zu erstellen.

Hochladen eines Datasets (empfohlen)

Laden Sie eine JSONL- oder CSV-Datei hoch, um ein versionsiertes Dataset in Ihrem Foundry-Projekt zu erstellen. Datasets unterstützen Versionierung und Wiederverwendung über mehrere Auswertungsläufe hinweg. Verwenden Sie diesen Ansatz für Produktionstests und CI/CD-Workflows.

Bereiten Sie eine JSONL-Datei mit einem JSON-Objekt pro Zeile mit den Feldern vor, die Ihre Evaluatoren benötigen:

{"query": "What is machine learning?", "response": "Machine learning is a subset of AI.", "ground_truth": "Machine learning is a type of AI that learns from data."}
{"query": "Explain neural networks.", "response": "Neural networks are computing systems inspired by biological neural networks.", "ground_truth": "Neural networks are a set of algorithms modeled after the human brain."}

Oder bereiten Sie eine CSV-Datei mit Spaltenüberschriften vor, die Ihren Evaluator-Feldern entsprechen:

query,response,ground_truth
What is machine learning?,Machine learning is a subset of AI.,Machine learning is a type of AI that learns from data.
Explain neural networks.,Neural networks are computing systems inspired by biological neural networks.,Neural networks are a set of algorithms modeled after the human brain.

# Upload a local JSONL file. Skip this step if you already have a dataset registered.
data_id = project_client.datasets.upload_file(
    name=dataset_name,
    version=dataset_version,
    file_path="./evaluate_test_data.jsonl",
).id

// Upload a local JSONL file. Skip this step if you already have a
// dataset registered.
const dataset = await projectClient.datasets.uploadFile(
  datasetName,
  datasetVersion,
  "./evaluate_test_data.jsonl",
);
const dataId = dataset.id;

Referenz: datasets.uploadFile

Daten inline bereitstellen

Zum schnellen Experimentieren mit kleinen Testsätzen – oder für Szenarien, die Inlinedaten erfordern, z. B. die Agentantwortauswertung – stellen Sie Daten direkt in der Auswertungsanforderung bereit.file_content Für Agentantwortauswertungen file_content ist der einzige unterstützte Quelltyp.

source = SourceFileContent(
    type="file_content",
    content=[
        SourceFileContentContent(
            item={
                "query": "How can I safely de-escalate a tense situation?",
                "ground_truth": "Encourage calm communication, seek help if needed, and avoid harm.",
            }
        ),
        SourceFileContentContent(
            item={
                "query": "What is the largest city in France?",
                "ground_truth": "Paris",
            }
        ),
    ],
)

const source = {
  type: "file_content",
  content: [
    {
      item: {
        query: "How can I safely de-escalate a tense situation?",
        ground_truth:
          "Encourage calm communication, seek help if needed, and avoid harm.",
      },
    },
    {
      item: {
        query: "What is the largest city in France?",
        ground_truth: "Paris",
      },
    },
  ],
};

Übergeben Sie source als "source"-Feld in Ihrer Datenquellenkonfiguration bei der Erstellung eines Durchlaufs. Die folgenden Szenarioabschnitte verwenden standardmäßig file_id.

Unterstützung von Quelltypen nach Szenario

Nicht alle Szenarien unterstützen beide Quelltypen. Die folgende Matrix zeigt, welchen Quelltyp jedes Szenario unterstützt.

Scenario	`file_id`	`file_content`
Datensatz (`jsonl`)	Ja	Ja
CSV (`csv`)	Ja	Ja
Modell- oder Agentziel	Ja	Ja
Antwort des Agenten (`azure_ai_responses`)	Nein	Ja
Nachverfolgung (`azure_ai_traces`)	N/A	N/A
Synthetische Daten (Vorschau)	N/A	N/A

JSONL-Datensatz auswerten

Bewerten von vorkompilierten Antworten in einer JSONL-Datei mithilfe des jsonl Datenquellentyps. Dieses Szenario ist nützlich, wenn Sie bereits Über Modellausgaben verfügen und deren Qualität bewerten möchten.

Tipp

Bevor Sie beginnen, schließen Sie die Client-Einrichtung ab und bereiten Sie Eingabedaten vor.

Definieren des Datenschemas und der Auswerter

Geben Sie das Schema an, das Ihren JSONL-Feldern entspricht, und wählen Sie die zu ausführenden Evaluatoren (Testkriterien) aus. Verwenden Sie den Parameter data_mapping, um Felder aus Ihren Eingabedaten mit Evaluator-Parametern zu verknüpfen, indem Sie die Syntax {{item.field}} verwenden. Fügen Sie data_mapping immer zu den erforderlichen Eingabefeldern für jeden Evaluator hinzu. Ihre Feldnamen müssen mit denen in Ihrer JSONL-Datei übereinstimmen. Wenn Ihre Daten beispielsweise "question" anstelle von "query" enthalten, verwenden Sie "{{item.question}}" in der Zuordnung. Die erforderlichen Parameter pro Evaluator finden Sie unter integrierten Bewertern.

data_source_config = DataSourceConfigCustom(
    type="custom",
    item_schema={
        "type": "object",
        "properties": {
            "query": {"type": "string"},
            "response": {"type": "string"},
            "ground_truth": {"type": "string"},
        },
        "required": ["query", "response", "ground_truth"],
    },
)

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": model_deployment_name},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="violence",
        evaluator_name="builtin.violence",
        initialization_parameters={"model": model_deployment_name},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="f1",
        evaluator_name="builtin.f1_score",
        data_mapping={
            "response": "{{item.response}}",
            "ground_truth": "{{item.ground_truth}}",
        },
    ),
]

const dataSourceConfig = {
  type: "custom",
  item_schema: {
    type: "object",
    properties: {
      query: { type: "string" },
      response: { type: "string" },
      ground_truth: { type: "string" },
    },
    required: ["query", "response", "ground_truth"],
  },
};

const testingCriteria = [
  {
    type: "azure_ai_evaluator",
    name: "coherence",
    evaluator_name: "builtin.coherence",
    initialization_parameters: { model: modelDeploymentName },
    data_mapping: {
      query: "{{item.query}}",
      response: "{{item.response}}",
    },
  },
  {
    type: "azure_ai_evaluator",
    name: "violence",
    evaluator_name: "builtin.violence",
    initialization_parameters: { model: modelDeploymentName },
    data_mapping: {
      query: "{{item.query}}",
      response: "{{item.response}}",
    },
  },
  {
    type: "azure_ai_evaluator",
    name: "f1",
    evaluator_name: "builtin.f1_score",
    data_mapping: {
      response: "{{item.response}}",
      ground_truth: "{{item.ground_truth}}",
    },
  },
];

curl --request POST \
  --url "https://${ACCOUNT}.services.ai.azure.com/api/projects/${PROJECT}/openai/v1/evals" \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --data '{
    "name": "dataset-evaluation",
    "data_source_config": {
      "type": "custom",
      "item_schema": {
        "type": "object",
        "properties": {
          "query": { "type": "string" },
          "response": { "type": "string" },
          "ground_truth": { "type": "string" }
        },
        "required": ["query", "response", "ground_truth"]
      }
    },
    "testing_criteria": [
      {
        "type": "azure_ai_evaluator",
        "name": "coherence",
        "evaluator_name": "builtin.coherence",
        "initialization_parameters": {"model": "gpt-5-mini"},
        "data_mapping": {
          "query": "{{item.query}}",
          "response": "{{item.response}}"
        }
      },
      {
        "type": "azure_ai_evaluator",
        "name": "violence",
        "evaluator_name": "builtin.violence",
        "initialization_parameters": {"model": "gpt-5-mini"},
        "data_mapping": {
          "query": "{{item.query}}",
          "response": "{{item.response}}"
        }
      },
      {
        "type": "azure_ai_evaluator",
        "name": "f1",
        "evaluator_name": "builtin.f1_score",
        "data_mapping": {
          "response": "{{item.response}}",
          "ground_truth": "{{item.ground_truth}}"
        }
      }
    ]
  }'

Auswertung erstellen und ausführen

Erstellen Sie die Auswertung, und starten Sie dann eine Ausführung für Ihr hochgeladenes Dataset. Die Ausführung führt jeden Evaluator für jede Zeile im Dataset aus.

# Create the evaluation
eval_object = openai_client.evals.create(
    name="dataset-evaluation",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)

# Create a run using the uploaded dataset
eval_run = openai_client.evals.runs.create(
    eval_id=eval_object.id,
    name="dataset-run",
    data_source=CreateEvalJSONLRunDataSourceParam(
        type="jsonl",
        source=SourceFileID(
            type="file_id",
            id=data_id,
        ),
    ),
)

// Create the evaluation
const evalObject = await openaiClient.evals.create({
  name: "dataset-evaluation",
  data_source_config: dataSourceConfig,
  testing_criteria: testingCriteria,
});

// Create a run using the uploaded dataset
const evalRun = await openaiClient.evals.runs.create(evalObject.id, {
  name: "dataset-run",
  data_source: {
    type: "jsonl",
    source: {
      type: "file_id",
      id: dataId,
    },
  },
});

# Step 1: Create the evaluation
EVAL_ID=$(curl --silent --request POST \
  --url "https://${ACCOUNT}.services.ai.azure.com/api/projects/${PROJECT}/openai/v1/evals" \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --data '{
    "name": "dataset-evaluation",
    "data_source_config": {
      "type": "custom",
      "item_schema": {
        "type": "object",
        "properties": {
          "query": { "type": "string" },
          "response": { "type": "string" },
          "ground_truth": { "type": "string" }
        },
        "required": ["query", "response", "ground_truth"]
      }
    },
    "testing_criteria": [
      {
        "type": "azure_ai_evaluator",
        "name": "coherence",
        "evaluator_name": "builtin.coherence",
        "initialization_parameters": { "model": "gpt-5-mini" },
        "data_mapping": {
          "query": "{{item.query}}",
          "response": "{{item.response}}"
        }
      },
      {
        "type": "azure_ai_evaluator",
        "name": "violence",
        "evaluator_name": "builtin.violence",
        "initialization_parameters": { "model": "gpt-5-mini" },
        "data_mapping": {
          "query": "{{item.query}}",
          "response": "{{item.response}}"
        }
      },
      {
        "type": "azure_ai_evaluator",
        "name": "f1",
        "evaluator_name": "builtin.f1_score",
        "data_mapping": {
          "response": "{{item.response}}",
          "ground_truth": "{{item.ground_truth}}"
        }
      }
    ]
  }' | jq -r '.id')

# Step 2: Create a run against your dataset
curl --request POST \
  --url "https://${ACCOUNT}.services.ai.azure.com/api/projects/${PROJECT}/openai/v1/evals/${EVAL_ID}/runs" \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --data '{
    "name": "dataset-run",
    "data_source": {
      "type": "jsonl",
      "source": {
        "type": "file_id",
        "id": "YOUR_DATASET_ID"
      }
    }
  }'

Ein vollständiges, ausführbares Beispiel finden Sie auf GitHub unter sample_evaluations_builtin_with_dataset_id.py. Informationen zum Abfragen des Abschlussstatus und zum Interpretieren der Ergebnisse finden Sie unter Abrufen von Cloudauswertungsergebnissen.

Auswerten eines CSV-Datasets

Bewerten von vorkompilierten Antworten in einer CSV-Datei mithilfe des csv Datenquellentyps. Dieses Szenario funktioniert auf die gleiche Weise wie die Datasetauswertung , akzeptiert jedoch CSV-Dateien anstelle von JSONL. Verwenden Sie CSV, wenn Ihre Daten bereits im Tabellenkalkulationsformat vorliegen.

Tipp

Bevor Sie beginnen, schließen Sie die Client-Einrichtung ab und bereiten Sie Eingabedaten vor.

Vorbereiten einer CSV-Datei

Erstellen Sie eine CSV-Datei, deren Spaltenüberschriften den Feldern entsprechen, die Ihre Bewerter benötigen. Jede Zeile stellt einen Testfall dar.

query,response,context,ground_truth
What is cloud computing?,Cloud computing delivers computing services over the internet.,Cloud computing is a technology for on-demand resource delivery.,Cloud computing is the delivery of computing services including servers storage and databases over the internet.
What is machine learning?,Machine learning is a subset of AI that learns from data.,Machine learning is a branch of artificial intelligence.,Machine learning is a type of AI that enables computers to learn from data without being explicitly programmed.
Explain neural networks.,Neural networks are computing systems inspired by biological neural networks.,Neural networks are used in deep learning.,Neural networks are a set of algorithms modeled after the human brain designed to recognize patterns.

Hochladen und Ausführen

Laden Sie die CSV-Datei als Dataset hoch. Erstellen Sie dann eine Auswertung mithilfe des csv Datenquellentyps. Die Schemadefinition und die Evaluatorkonfiguration sind identisch mit JSONL-Auswertungen. Der einzige Unterschied ist das "type": "csv" in der Datenquelle.

# Upload the CSV file
data_id = project_client.datasets.upload_file(
    name="eval-csv-data",
    version="1",
    file_path="./evaluation_data.csv",
).id

# Define the schema matching your CSV columns
data_source_config = DataSourceConfigCustom(
    type="custom",
    item_schema={
        "type": "object",
        "properties": {
            "query": {"type": "string"},
            "response": {"type": "string"},
            "context": {"type": "string"},
            "ground_truth": {"type": "string"},
        },
        "required": [],
    },
    include_sample_schema=True,
)

# Define evaluators with data mappings to CSV columns
testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
        initialization_parameters={"model": model_deployment_name},
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="violence",
        evaluator_name="builtin.violence",
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
        initialization_parameters={"model": model_deployment_name},
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="f1",
        evaluator_name="builtin.f1_score",
    ),
]

# Create the evaluation
eval_object = openai_client.evals.create(
    name="CSV evaluation with built-in evaluators",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)

# Create a run using the CSV data source type
eval_run = openai_client.evals.runs.create(
    eval_id=eval_object.id,
    name="csv-evaluation-run",
    data_source={
        "type": "csv",
        "source": {
            "type": "file_id",
            "id": data_id,
        },
    },
)

Nächste Schritte

Informationen zum Abfragen des Abschlussstatus und zum Interpretieren der Ergebnisse finden Sie unter Abrufen von Cloudauswertungsergebnissen.
Ein vollständig lauffähiges Beispiel finden Sie auf GitHub unter sample_evaluations_builtin_with_csv.py.

Feedback

War diese Seite hilfreich?

Last updated on 2026-08-27

Datensätze in der Cloud auswerten

Voraussetzungen

Vorbereiten von Eingabedaten

Hochladen eines Datasets (empfohlen)

Daten inline bereitstellen

Unterstützung von Quelltypen nach Szenario

JSONL-Datensatz auswerten

Definieren des Datenschemas und der Auswerter

Auswertung erstellen und ausführen

Auswerten eines CSV-Datasets

Vorbereiten einer CSV-Datei

Hochladen und Ausführen

Nächste Schritte

Feedback

Zusätzliche Ressourcen