Introdução à avaliação de nuvem com o SDK do Microsoft Foundry

Use avaliações de nuvem para testar aplicativos de IA generativos em escala sem gerenciar a computação local. Este artigo configura o cliente SDK compartilhado e ajuda você a escolher um fluxo de trabalho para pré-implantação ou avaliação de produção.

Pré-requisitos

Um projeto do Foundry.
Uma implantação do OpenAI do Azure com um modelo GPT que ofereça suporte à conclusão de chat, como gpt-5-mini.
A função Usuário do Foundry no projeto Foundry.

Importante

As funções RBAC do Foundry foram renomeadas recentemente. Foundry User, Foundry Owner, Foundry Account Owner e Foundry Project Manager eram anteriormente chamados de Usuário do Azure AI, Proprietário do Azure AI, Proprietário da conta do Azure AI e Gerente de Projeto do Azure AI. Você ainda pode ver os nomes anteriores em alguns lugares enquanto essa mudança de nome está sendo implementada. Os IDs das funções e as permissões principais não são alterados com a mudança de nome.
Para todos os requisitos de função de avaliação, consulte Configurar permissões para fluxos de trabalho de avaliação.
Opcionalmente, sua própria conta de armazenamento para dados de avaliação.

Alguns recursos de avaliação têm restrições regionais. Examine as regiões com suporte antes de começar.

Configurar o cliente do SDK

Instale o SDK para seu idioma. Defina estas variáveis de ambiente compartilhado:

AZURE_AI_PROJECT_ENDPOINT: o ponto de extremidade do projeto do Foundry, por exemplo, https://<account_name>.services.ai.azure.com/api/projects/<project_name>.
AZURE_AI_MODEL_DEPLOYMENT_NAME: a implantação de modelo usada por avaliadores assistidos por IA.
DATASET_NAME e DATASET_VERSION: valores opcionais para conjuntos de dados reutilizáveis.

Autentique com DefaultAzureCredential, crie o cliente do projeto e obtenha o cliente OpenAI usado pela API de avaliação.

pip install "azure-ai-projects>=2.2.0"

import os
from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient
from azure.ai.projects.models import TestingCriterionAzureAIEvaluator
from openai.types.eval_create_params import DataSourceConfigCustom
from openai.types.evals.create_eval_jsonl_run_data_source_param import (
    CreateEvalJSONLRunDataSourceParam,
    SourceFileContent,
    SourceFileContentContent,
    SourceFileID,
)

endpoint = os.environ["AZURE_AI_PROJECT_ENDPOINT"]
model_deployment_name = os.environ.get(
    "AZURE_AI_MODEL_DEPLOYMENT_NAME", ""
)
dataset_name = os.environ.get("DATASET_NAME", "")
dataset_version = os.environ.get("DATASET_VERSION", "1")

project_client = AIProjectClient(
    endpoint=endpoint,
    credential=DefaultAzureCredential(),
)
openai_client = project_client.get_openai_client()

Referência: AIProjectClient, DefaultAzureCredential

dotnet add package Azure.AI.Projects --prerelease
dotnet add package Azure.Identity

using System.ClientModel;
using System.Collections.Generic;
using System.Text.Json;
using Azure.AI.Extensions.OpenAI;
using Azure.AI.Projects;
using Azure.Identity;
using OpenAI.Evals;
using OpenAI.Responses;

#pragma warning disable OPENAI001

static string GetString(ClientResult result, string propertyName)
{
  using JsonDocument document = JsonDocument.Parse(
    result.GetRawResponse().Content.ToMemory());
  return document.RootElement.GetProperty(propertyName).GetString()
    ?? throw new InvalidOperationException(
      $"The response doesn't contain {propertyName}.");
}

var projectEndpoint = Environment.GetEnvironmentVariable(
  "AZURE_AI_PROJECT_ENDPOINT")
  ?? throw new InvalidOperationException(
    "AZURE_AI_PROJECT_ENDPOINT isn't set.");
var modelDeploymentName = Environment.GetEnvironmentVariable(
  "AZURE_AI_MODEL_DEPLOYMENT_NAME")
  ?? throw new InvalidOperationException(
    "AZURE_AI_MODEL_DEPLOYMENT_NAME isn't set.");
var datasetName = Environment.GetEnvironmentVariable("DATASET_NAME")
  ?? "evaluation-data";
var datasetVersion = Environment.GetEnvironmentVariable("DATASET_VERSION")
  ?? "1";

AIProjectClient projectClient = new(
  endpoint: new Uri(projectEndpoint),
  tokenProvider: new DefaultAzureCredential());
EvaluationClient evaluationClient = projectClient.ProjectOpenAIClient
  .GetEvaluationClient();

Referência: AIProjectClient, DefaultAzureCredentiale EvaluationClient

npm install @azure/ai-projects @azure/identity dotenv

import { AIProjectClient } from "@azure/ai-projects";
import { DefaultAzureCredential } from "@azure/identity";
import "dotenv/config";

const projectEndpoint = process.env["AZURE_AI_PROJECT_ENDPOINT"] || "";
const modelDeploymentName =
  process.env["AZURE_AI_MODEL_DEPLOYMENT_NAME"] || "";
const datasetName = process.env["DATASET_NAME"] || "";
const datasetVersion = process.env["DATASET_VERSION"] || "1";

const projectClient = new AIProjectClient(
  projectEndpoint,
  new DefaultAzureCredential(),
);
const openaiClient = projectClient.getOpenAIClient();

Referência: classe AIProjectClient

Para usar um modelo conectado por meio de conexões de administrador como um destino, modelo de juiz ou simulador de conversa, consulte Usar modelos conectados a administradores em avaliações de nuvem.

Entender o fluxo de trabalho de avaliação

Uma avaliação de nuvem tem três etapas:

Defina a forma de dados e os avaliadores que a pontuam.
Crie a avaliação com o cliente de avaliação.
Inicie uma execução, consulte até que ela seja concluída e recupere os resultados com pontuação.

Os resultados da avaliação de nuvem são armazenados em seu projeto do Foundry. Você pode recuperá-los por meio do SDK, revisá-los no portal ou roteá-los para o Application Insights quando ele estiver conectado.

Escolher avaliadores

Os avaliadores se associam a campos em seus dados por meio de mapeamentos de coluna. Os fluxos de trabalho do conjunto de dados expõem os campos de item, enquanto os fluxos de trabalho gerados por destino também expõem a saída do modelo ou do agente por meio do esquema de exemplo.

Examine os avaliadores internos e os avaliadores personalizados antes de configurar os critérios de teste.

Escolha o ponto de partida

Unidade de avaliação	Ponto de partida	Workflow
Turno individual	Você tem dados de teste em JSONL ou CSV que contêm uma consulta e uma resposta.	Avaliar conjuntos de dados de resposta de consulta
Turno individual	Você tem consultas e deseja que um modelo ou agente gere respostas.	Avaliar respostas de modelo e agente
Turno individual	Você armazenou respostas ou rastreamentos de interações individuais com um modelo ou agente implantado.	Avaliar interações de modelo e agente implantados
Turno individual	Você precisa gerar consultas sintéticas.	Gerar consultas sintéticas
Conversa completa	Você tem um conjunto de dados de conversas completas.	Avaliar conjuntos de dados de conversa
Conversa completa	Você tem rastreamentos que capturam conversas completas com um modelo ou agente implantado.	Avaliar o modelo implantado e as conversas do agente
Conversa completa	Você precisa gerar e avaliar conversas simuladas do agente.	Simular conversas do agente
Qualquer unidade de avaliação	Você precisa sondar, interpretar, cancelar ou solucionar problemas de uma execução.	Obter resultados de avaliação

Para testes de segurança adversariais, use a equipe vermelha de IA. Para criar um conjunto de dados autônomo, consulte Gerar um conjunto de dados de avaliação sintética.

Comentários

Esta página foi útil?

Última atualização em 2026-09-30