Usar modelos conectados a administradores em avaliações de nuvem

Modelos conectados a administradores são modelos hospedados por trás de um gateway de IA empresarial, como Gerenciamento de API do Azure ou um gateway de modelo de IA não Azure, que um administrador conecta ao seu projeto do Foundry. Você pode usar um modelo conectado a administradores para cenários de avaliação de nuvem que aceitam uma implantação de modelo.

A Foundry resolve o ponto de extremidade de conexão e a autenticação, incluindo chave de API, identidade gerenciada ou autenticação do OAuth 2.0. Sua solicitação de avaliação faz referência à conexão e à implantação, não ao ponto de extremidade do gateway nem às suas credenciais.

Pré-requisitos

• Um projeto do Foundry.
• função de usuário do Foundry no projeto Foundry.
• Um administrador criou uma conexão de gateway de modelo de IA do Gerenciamento de API do Azure ou de um provedor que não seja Azure no seu recurso do Foundry e adicionou o modelo na aba Gerenciar>Detalhes do recurso>. Para obter instruções de configuração, consulte Traga seu próprio modelo para o Serviço de Agente do Foundry.
• O nome da conexão e o nome da implantação de um modelo que dá suporte à API de Conclusões de Chat do OpenAI.

Referenciar um modelo conectado a administradores

Use o seguinte formato em qualquer lugar em que um cenário de avaliação com suporte aceite uma implantação de modelo:

<connection-name>/<deployment-name>

A tabela a seguir mostra superfícies de avaliação comuns e o campo que aceita a referência:

Usar um modelo conectado a administrador como um modelo de juiz avaliador

Defina initialization_parameters.model quando você configurar um avaliador assistido por IA. Este exemplo usa o modelo conectado ao administrador como o juiz do avaliador de coerência:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referência: TestingCriterionAzureAIEvaluator (Python)
• Referência: API openai evals (testing_criteria, ambos os idiomas)

Usar um modelo conectado ao administrador como destino

Defina target.model para enviar cada entrada de avaliação para o modelo conectado ao administrador:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Referência: API openai evals (data_source.target, ambos os idiomas)

Use este destino com o fluxo de avaliação de destino do modelo descrito em Executar avaliações na nuvem.

Usar outros cenários de avaliação

Outros cenários baseados em modelos em Executar avaliações na nuvem usando o SDK do Microsoft Foundry funcionam de forma semelhante com modelos conectados pelo administrador. Sempre que o cenário aceitar uma implantação de modelo compatível, substitua o nome da implantação por <connection-name>/<deployment-name>. Por exemplo, a simulação de conversa aceita essa referência em item_generation_params.model.

Mantenha o endpoint do projeto Foundry inalterado e não adicione o endpoint nem as credenciais do gateway à solicitação de avaliação. Foundry recupera esses valores da conexão de modelo conectada ao administrador.

Conteúdo relacionado

• Executar avaliações na nuvem usando o SDK do Microsoft Foundry
• Traga seu próprio modelo para o Serviço do Foundry Agent