Usar modelos conectados a administradores em avaliações de nuvem

Modelos conectados a administradores são modelos hospedados por trás de um gateway de IA empresarial, como Gerenciamento de API do Azure ou um gateway de modelo de IA não Azure, que um administrador conecta ao seu projeto do Foundry. Você pode usar um modelo conectado a administradores para cenários de avaliação de nuvem que aceitam uma implantação de modelo.

A Foundry resolve o ponto de extremidade de conexão e a autenticação, incluindo chave de API, identidade gerenciada ou autenticação do OAuth 2.0. Sua solicitação de avaliação simplesmente faz referência à conexão e à implantação, e o serviço gerencia a resolução e a autenticação do ponto de extremidade do gateway.

Pré-requisitos

• Um projeto do Foundry.
• função de usuário do Foundry no projeto Foundry.
• Para todos os requisitos de função de avaliação, consulte Configurar permissões para fluxos de trabalho de avaliação.
• Um administrador criou uma conexão de gateway que não seja de modelo de IA do ou do API Management do Azure no seu recurso do Foundry e adicionou o modelo na guia Gerenciar>Detalhes do recurso>Modelos conectados de administração. Para obter instruções de configuração, consulte Traga o seu Próprio Modelo para o Serviço de Agente do Foundry.
• O nome da conexão e o nome da implantação de um modelo que dá suporte à API de Conclusões de Chat da OpenAI.

Referenciar um modelo conectado de administração

Use o seguinte formato em qualquer lugar em que um cenário de avaliação com suporte aceite uma implantação de modelo:

<connection-name>/<deployment-name>

A tabela a seguir mostra superfícies de avaliação comuns e o campo que aceita a referência:

Usar um modelo conectado de administração como um modelo de juiz avaliador

Defina initialization_parameters.model quando você configurar um avaliador assistido por IA. Este exemplo usa o modelo conectado ao administrador como o juiz do avaliador de coerência:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/my-model-name"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

string adminConnectedModel = "my-apim-connection/gpt-4o";

object[] testingCriteria =
[
    new
    {
        type = "azure_ai_evaluator",
        name = "coherence",
        evaluator_name = "builtin.coherence",
        initialization_parameters = new { model = adminConnectedModel },
        data_mapping = new
        {
            query = "{{item.query}}",
            response = "{{item.response}}"
        }
    }
];

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referência: TestingCriterionAzureAIEvaluator (Python)
• Referência: API openai evals (testing_criteria, todos os idiomas)

Usar um modelo conectado ao administrador como destino

Defina target.model para enviar cada entrada de avaliação para o modelo conectado ao administrador:

admin_connected_model = "my-apim-connection/my-model-name"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

string adminConnectedModel = "my-apim-connection/gpt-4o";

object target = new
{
    type = "azure_ai_model",
    model = adminConnectedModel,
    sampling_params = new
    {
        top_p = 1.0f,
        max_completion_tokens = 2048
    }
};

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Referência: API openai evals (data_source.target, todos os idiomas)

Use este destino com o fluxo de avaliação de destino do modelo descrito em Executar avaliações na nuvem.

Usar outros cenários de avaliação

Outros cenários baseados em modelos em Executar avaliações na nuvem usando o SDK do Microsoft Foundry funcionam de forma semelhante com modelos conectados pelo administrador. Sempre que o cenário aceitar uma implantação de modelo compatível, substitua o nome da implantação por <connection-name>/<deployment-name>. Por exemplo, a simulação de conversa aceita essa referência em model_configuration.model.

Mantenha o endpoint do projeto Foundry inalterado e não adicione o endpoint nem as credenciais do gateway à solicitação de avaliação. Foundry recupera esses valores da conexão de modelo conectada ao administrador.

Conteúdo relacionado

• Executar avaliações na nuvem usando o SDK do Microsoft Foundry
• Traga seu próprio modelo para o Serviço de Agente do Foundry