連接管理員的模型是託管於企業 AI 閘道後方的模型,例如 Azure API 管理或非 Azure 的 AI 模型閘道,管理員會將閘道連接到您的 Foundry 專案。 您可以使用連接管理員的模型來進行接受模型部署的雲端評估情境。
Foundry 解決連線端點與認證,包括 API 金鑰、管理身份或 OAuth 2.0 認證。 你的評估請求只需參照連線與部署,而服務會負責處理閘道端點的解析與身分驗證。
這很重要
系統管理員連線模型要求已連線的部署公開 OpenAI Chat 完成 API。
Note
雲端評估中的管理員連結模型支援目前仍處於預覽階段,可能不適用於所有區域。
先決條件
- Foundry 專案。
- Foundry 專案中的 Foundry 使用者角色。
- 關於所有評估角色的需求,請參閱 「設定評估工作流程權限」。
- 管理員已在您的 Foundry 資源上建立了 Azure API 管理 或非 Azure AI 模型閘道連線,並在管理>資源詳情>管理員連接模型標籤中新增該模型。關於設定說明,請參見「將您自己的模型帶到 Foundry Agent Service」。
- 支援 OpenAI 聊天完成 API 的模型的連線名稱與部署名稱。
參考一個連接管理員的模型
在支援的評估情境接受模型部署時,請使用以下格式:
<connection-name>/<deployment-name>
下表顯示常見的評估介面以及接受該參照的欄位:
| Scenario | Field |
|---|---|
| AI輔助評估員(法官) | initialization_parameters.model |
| 模型目標 | target.model |
| 會話模擬 | model_configuration.model |
使用連接管理員的模型作為評估者評審模型
當您設定 AI 輔助評估器時,請設定 initialization_parameters.model。 此範例使用管理員連接模型作為一致性評估器的評判:
from azure.ai.projects.models import TestingCriterionAzureAIEvaluator
admin_connected_model = "my-apim-connection/my-model-name"
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": admin_connected_model},
data_mapping={
"query": "{{item.query}}",
"response": "{{item.response}}",
},
),
]
- 參考資料:
TestingCriterionAzureAIEvaluator(Python) - 參考資料: OpenAI 評估 API (
testing_criteria所有語言)
使用與管理員連結的模型作為目標
設定 target.model 將每個評估輸入傳送至與管理員連接的模型:
admin_connected_model = "my-apim-connection/my-model-name"
target = {
"type": "azure_ai_model",
"model": admin_connected_model,
"sampling_params": {
"top_p": 1.0,
"max_completion_tokens": 2048,
},
}
- 參考資料: OpenAI 評估 API (
data_source.target所有語言)
將此目標與「 在雲端執行評估」中描述的模型目標評估流程一起使用。
使用其他評估情境
在使用 Microsoft Foundry SDK 在雲端執行評估中其他以模型為基礎的情境,對於連接管理員的模型,其運作方式也類似。 當情境接受支援的模型部署時,將部署名稱替換為 <connection-name>/<deployment-name>。 例如,對話模擬會在 model_configuration.model 中接受此參照。
保持 Foundry 專案端點不變,且不要將閘道端點或憑證加入評估請求。 Foundry 會從管理員連接的模型連線中解析這些值。
Note
無法提供與管理員連結的模型來產生合成資料。