在雲端評估中使用與管理員連結的模型

連接管理員的模型是託管於企業 AI 閘道後方的模型,例如 Azure API 管理或非 Azure 的 AI 模型閘道,管理員會將閘道連接到您的 Foundry 專案。 您可以使用連接管理員的模型來進行接受模型部署的雲端評估情境。

Foundry 解決連線端點與認證,包括 API 金鑰、管理身份或 OAuth 2.0 認證。 你的評估請求只需參照連線與部署,而服務會負責處理閘道端點的解析與身分驗證。

這很重要

系統管理員連線模型要求已連線的部署公開 OpenAI Chat 完成 API。

Note

雲端評估中的管理員連結模型支援目前仍處於預覽階段,可能不適用於所有區域。

先決條件

參考一個連接管理員的模型

在支援的評估情境接受模型部署時,請使用以下格式:

<connection-name>/<deployment-name>

下表顯示常見的評估介面以及接受該參照的欄位:

Scenario Field
AI輔助評估員(法官) initialization_parameters.model
模型目標 target.model
會話模擬 model_configuration.model

使用連接管理員的模型作為評估者評審模型

當您設定 AI 輔助評估器時,請設定 initialization_parameters.model。 此範例使用管理員連接模型作為一致性評估器的評判:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/my-model-name"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

使用與管理員連結的模型作為目標

設定 target.model 將每個評估輸入傳送至與管理員連接的模型:

admin_connected_model = "my-apim-connection/my-model-name"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

將此目標與「 在雲端執行評估」中描述的模型目標評估流程一起使用。

使用其他評估情境

在使用 Microsoft Foundry SDK 在雲端執行評估中其他以模型為基礎的情境,對於連接管理員的模型,其運作方式也類似。 當情境接受支援的模型部署時,將部署名稱替換為 <connection-name>/<deployment-name>。 例如,對話模擬會在 model_configuration.model 中接受此參照。

保持 Foundry 專案端點不變,且不要將閘道端點或憑證加入評估請求。 Foundry 會從管理員連接的模型連線中解析這些值。

Note

無法提供與管理員連結的模型來產生合成資料。