Met beheerders verbonden modellen gebruiken in cloudevaluaties

Door beheerders verbonden modellen zijn modellen die worden gehost achter een AI-gateway voor ondernemingen, zoals Azure API Management of een niet-Azure AI-modelgateway, die een beheerder verbindt met uw Foundry-project. U kunt een model met beheerdersconnector gebruiken voor cloudevaluatiescenario's die een modelimplementatie accepteren.

Foundry lost het verbindingseindpunt en de verificatie op, waaronder API-sleutel, beheerde identiteit of OAuth 2.0-verificatie. Uw evaluatieaanvraag verwijst naar de verbinding en implementatie, niet naar het gateway-eindpunt of de bijbehorende referenties.

Prerequisites

• Een Gieterij-project.
• Foundry User-rol in het Foundry-project.
• Een beheerder heeft een Azure API Management-verbinding of een gatewayverbinding voor niet-Azure AI-modellen gemaakt voor uw Foundry-resource en het model toegevoegd op het tabblad Beheren>Resourcedetails>. Zie Bring your own model to Foundry Agent Service voor configuratie-instructies.
• De verbindingsnaam en implementatienaam voor een model dat ondersteuning biedt voor de OpenAI Chat Completions-API.

Verwijzen naar een model dat is verbonden met een beheerder

Gebruik de volgende indeling waar een ondersteund evaluatiescenario een modelimplementatie accepteert:

<connection-name>/<deployment-name>

In de volgende tabel ziet u algemene evaluatieoppervlakken en het veld dat de verwijzing accepteert:

Een model dat is verbonden met een beheerder gebruiken als evaluatiemodel

Stel initialization_parameters.model in wanneer u een AI-ondersteunde evaluator configureert. In dit voorbeeld wordt het model met beheerders verbonden als rechter gebruikt voor de coherentie-evaluator:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referentie: TestingCriterionAzureAIEvaluator (Python)
• Naslaginformatie: OpenAI Evals-API (testing_criteriabeide talen)

Een model dat is verbonden met een beheerder gebruiken als doel

Stel target.model deze in om elke evaluatie-invoer te verzenden naar het model dat is verbonden met de beheerder:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Naslaginformatie: OpenAI Evals-API (data_source.targetbeide talen)

Gebruik dit doel met de stroom voor evaluatie van modeldoelen die is beschreven in Evaluaties uitvoeren in de cloud.

Andere evaluatiescenario's gebruiken

Andere op modellen gebaseerde scenario's in Evaluaties in de cloud uitvoeren met behulp van de Microsoft Foundry SDK werken op vergelijkbare wijze met door beheerders verbonden modellen. Waar het scenario ook een ondersteunde modelimplementatie accepteert, vervangt u de implementatienaam door <connection-name>/<deployment-name>. Gesprekssimulatie accepteert bijvoorbeeld deze verwijzing in item_generation_params.model.

Houd het Foundry-projecteindpunt ongewijzigd en voeg het gateway-eindpunt of de referenties niet toe aan de evaluatieaanvraag. Foundry lost deze waarden op vanuit de verbinding met het door de beheerder verbonden model.

Verwante onderwerpen

• Evaluaties uitvoeren in de cloud met behulp van de Microsoft Foundry SDK
• Gebruik uw eigen model in Foundry Agent Service