Utilizar modelos ligados ao administrador em avaliações na cloud

Modelos ligados ao administrador são modelos alojados atrás de um gateway de IA empresarial, como o API Management do Azure ou um gateway de modelos de IA não Azure, que um administrador liga ao seu projeto Foundry. Pode usar um modelo ligado ao administrador para cenários de avaliação cloud que aceitem uma implementação de modelo.

O Foundry resolve o ponto de extremidade da ligação e a autenticação, incluindo chave de API, identidade gerida ou autenticação OAuth 2.0. O seu pedido de avaliação refere-se à ligação e implementação, não ao endpoint do gateway ou às suas credenciais.

Pré-requisitos

• Um projeto da Foundry.
• Papel de utilizador da Foundry no projeto Foundry.
• Um administrador criou uma ligação de gateway de modelo do API Management do Azure ou de modelo de IA não Azure no seu recurso do Foundry e adicionou o modelo no separador Gerir>Detalhes do recurso>Modelos ligados pelo administrador. Para obter instruções de configuração, consulte Traga o seu próprio modelo para o Serviço de Agente do Foundry.
• O nome da ligação e o nome de implementação de um modelo que suporta a API OpenAI Chat Completions.

Referência a um modelo ligado ao administrador

Use o seguinte formato em qualquer lugar onde um cenário de avaliação suportado aceite uma implementação de modelo:

<connection-name>/<deployment-name>

A tabela seguinte mostra superfícies de avaliação comuns e o campo que aceita a referência:

Usar um modelo ligado à administração como modelo avaliador de juiz

Define initialization_parameters.model quando configuras um avaliador assistido por IA. Este exemplo utiliza o modelo admin-connected como juiz do avaliador de coerência:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referência: TestingCriterionAzureAIEvaluator (Python)
• Referência: OpenAI Evals API (testing_criteria, ambas as línguas)

Use um modelo ligado ao administrador como alvo

Definir target.model para enviar cada entrada de avaliação para o modelo ligado ao administrador:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Referência: OpenAI Evals API (data_source.target, ambas as línguas)

Use este alvo com o fluxo de avaliação do alvo do modelo descrito em Executar avaliações na nuvem.

Utilizar outros cenários de avaliação

Outros cenários baseados em modelos em Executar avaliações na cloud com o SDK do Microsoft Foundry funcionam de forma semelhante aos modelos ligados por administradores. Sempre que o cenário aceite uma implementação de modelo suportada, substitua o nome da implementação por <connection-name>/<deployment-name>. Por exemplo, a simulação de conversa aceita esta referência em item_generation_params.model.

Mantenha o endpoint do projeto Foundry inalterado, e não adicione o endpoint do gateway nem as credenciais ao pedido de avaliação. O Foundry resolve esses valores a partir da ligação do modelo ligado ao administrador.

Conteúdo relacionado

• Execute avaliações na cloud usando o Microsoft Foundry SDK
• Traga o seu próprio modelo para o Foundry Agent Service