Usare modelli connessi all'amministratore nelle valutazioni cloud

I modelli connessi dall'amministratore sono modelli ospitati dietro un gateway IA aziendale, ad esempio Gestione API di Azure o un gateway per modelli di IA non Azure, che un amministratore connette al progetto Foundry. È possibile usare un modello connesso all'amministratore per scenari di valutazione cloud che accettano una distribuzione del modello.

Foundry risolve l'endpoint di connessione e l'autenticazione, inclusa la chiave API, l'identità gestita o l'autenticazione OAuth 2.0. La richiesta di valutazione fa riferimento alla connessione e alla distribuzione, non all'endpoint del gateway o alle relative credenziali.

Prerequisiti

• Progetto Foundry.
• Ruolo di utente Foundry nel progetto Foundry.
• Un amministratore ha creato una connessione al gateway di Gestione API di Azure o a un gateway di modelli di IA non Azure nella risorsa Foundry e ha aggiunto il modello nella scheda Gestisci>>Modelli connessi dall'amministratore. Per istruzioni sulla configurazione, vedere Bring your own model to Foundry Agent Service.
• Nome della connessione e nome della distribuzione per un modello che supporta l'API OpenAI Chat Completions.

Fare riferimento a un modello connesso all'amministratore

Usare il formato seguente ovunque uno scenario di valutazione supportato accetti una distribuzione del modello:

<connection-name>/<deployment-name>

La tabella seguente illustra le superfici di valutazione comuni e il campo che accetta il riferimento:

Usare un modello connesso all'amministratore come modello di valutazione dell'analizzatore

Impostare initialization_parameters.model quando si configura un analizzatore assistito da intelligenza artificiale. Questo esempio usa il modello connesso all'amministratore come giudice per l'analizzatore di coerenza:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Riferimento: TestingCriterionAzureAIEvaluator (Python)
• Riferimento: API OpenAI Evals (testing_criteriain entrambe le lingue)

Usare un modello connesso all'amministratore come destinazione

Impostare target.model per inviare ogni input di valutazione al modello connesso all'amministratore:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Riferimento: API OpenAI Evals (data_source.target, entrambe le lingue)

Usare questa destinazione con il flusso di valutazione della destinazione del modello descritto in Eseguire valutazioni nel cloud.

Usare altri scenari di valutazione

Altri scenari basati su modello in Eseguire valutazioni nel cloud usando Microsoft Foundry SDK funzionano in modo analogo ai modelli connessi all'amministratore. Ovunque lo scenario accetti una distribuzione di modello supportata, sostituire il nome della distribuzione con <connection-name>/<deployment-name>. Ad esempio, la simulazione della conversazione accetta questo riferimento in item_generation_params.model.

Mantenere invariato l'endpoint del progetto Foundry e non aggiungere l'endpoint del gateway o le credenziali alla richiesta di valutazione. Foundry risolve tali valori dalla connessione del modello connesso all'amministratore.

Contenuti correlati

• Eseguire valutazioni nel cloud usando Microsoft Foundry SDK
• Porta il tuo modello in Foundry Agent Service