Important
本文中標示為預覽的項目目前仍在預覽中。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱 Microsoft Azure 預覽版補充使用條款。
將一或多個由 Foundry 微調產生的低階適配 (LoRA) 適配器部署到相容的受控計算目標部署。 您可以部署一個適配器,測試它,然後將更多適配器連接到同一目標部署。
本文僅適用於 Foundry 中作為微調輸出的 LoRA 轉接器。 關於術語、架構、共享推論行為、生命週期、計費與限制,請參閱 受管理運算的適配器部署概覽。
Prerequisites
一個 Azure 訂閱和一個 Foundry 專案。
一個註冊的 LoRA 轉接器,透過 Foundry 微調產生,並可在專案 模型頁面上 看到。
在 Foundry 帳戶中管理部署的權限,例如 Foundry 擁有者 或 Cognitive Services Contributor 角色。 你還需要取得註冊的轉接器型號。
Important
Foundry RBAC 角色最近已重新命名。 Foundry 用戶、Foundry 擁有者、Foundry Account Owner 以及 Foundry Project Manager 先前分別被稱為 Azure AI 使用者、Azure AI 擁有者、Azure AI 帳戶擁有者及 Azure AI Project 管理者。 在更名期間,你可能還會在某些地方看到之前的名字。角色 ID 與核心權限不會因命名而改變。
帳號上必須具有 Foundry User 角色,才能使用 Microsoft Entra ID 進行推論。 請參見 受管計算存取控制。
你所在地區有相容的基礎模型和支援 LoRA 的部署範本。
目標部署的加速器系列與區域有足夠的受控運算配額。 你可以選擇現有的目標部署,或在介面卡部署時建立目標部署。
受管運算不包含內建的內容過濾功能。 部署前請檢視其 限制 及您的應用程式的安全要求。
在入口網站部署配接器
從 Foundry 微調產生的註冊 LoRA 轉接器開始。 你可以在Build>中找到轉接器,或從微調分頁開始。
一個目標部署最多支援八個介面卡部署。
1. 選擇適配器並開始部署流程
在 Foundry 入口網站中,請使用以下其中一個入口點:
- 打開 Build>Models,選擇你想部署的 LoRA 適配器,然後選擇 Deploy。 此入口直接開啟受管理的運算部署流程。
- 打開 微調 標籤,選擇已完成微調作業所產生的配接器,然後選擇 部署。 從可用的部署選項中選擇 「受管理運算 」。
2. 選擇或建立目標部署
已註冊的配接器不需要自己的運算,但需要相容的目標部署來處理請求。 在 目標部署 欄位中選取它。
- 若已有相容的 LoRA 啟用目標部署,請在 目標部署 中選擇該目標並繼續 部署該適配器。
- 若無相容部署,則在適配器部署流程中建立目標部署。
目標部署建立視窗預設已啟用 LoRA 支援。 要建立部署:
- 選擇支援 LoRA 的 部署範本。
- 檢視範本細節,包括推論執行時、模型 ID 及部署範本 ID。
- 選擇與你所選範本相符的 加速器類型,例如 H100。
- 完成目標部署設定並選擇 部署。
- 等目標部署完成配置。 這個操作可能需要數分鐘。 配置完成後,目標部署 欄位會自動填入。
欲了解更多目標部署配置與容量資訊,請參閱 「部署帶有受管理運算的開源模型」。
3. 部署轉接器
- 輸入一個介面卡部署名稱,例如
qwen-support。 使用帳號內唯一且與目標部署名稱不同的名稱。 - 檢視已選取的目標部署並選擇 部署。
- 等待配接器部署完成。 已部署的介面卡會出現在介面卡部署清單中。
介面卡部署名稱可包含1至64個字母、數字、句點、底線或連字號。 名字以字母或數字開頭。
選擇已部署的轉接器以開啟其詳細資訊。 您可以從這個頁面執行下列動作:
- 在遊樂場中開啟它。
- 將其新增到 Agent。
- 查看推論端點及認證細節。
- 查看其目標部署。
- 複製一段程式碼片段來呼叫適配器。
- 使用快速設定 Visual Studio Code。
在遊樂場打開適配器,並發送與其微調工作相關的提示。 使用配接器部署的程式碼片段,從你的應用程式中測試它。 只呼叫目標部署不會測試配接器。
4. 部署更多轉接器至同一目標部署
若要在適配器之間共用目標部署:
- 在 建置>模型 中選擇另一個相容的轉接器,然後選擇 部署。
- 給它一個不同的部署名稱,例如
qwen-finance。 - 在 目標部署中選擇相同的目標部署。
- 選擇 部署 並等待部署完成。
- 打開目標部署的詳細資料,確認兩個介面卡部署都被列出。
此配置為多 LoRA 部署。 每個介面卡都有自己的部署名稱,但兩者共用目標部署的計算與推論端點。
測試帶有 Chat Completions 的轉接器
當適配器部署達到Succeeded佈建狀態後,發送一個要求到 OpenAI 相容的聊天補全路由。 從入口網站中的適配器部署詳細資料複製帳戶端點。 對於 Microsoft Entra ID 認證,請取得 https://ai.azure.com/.default 範圍的存取權杖。
設定 model 為介面卡部署名稱,而非目標部署名稱。 服務利用此值選擇適配器,並在內部解析其目標部署。
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
回覆會遵循聊天補全回覆的結構描述,並在model中傳回所選適配器部署名稱。 若要測試多 LoRA 範例中的第二個適配器,請將model變更為qwen-finance,並發送其微調工作的提示。 這個請求不需要 api-version 查詢參數。
使用 REST 部署與管理介面卡
使用 REST 來使用 API 版本 2026-09-15-preview 建立和管理介面卡部署。
透過提供其註冊來源模型 ID 與目標部署名稱來建立介面卡部署。 在授權標頭中使用 Azure Resource Manager 的存取權杖;請參見 使用 REST 管理 Azure 資源。
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
Content-Type: application/json
{
"properties": {
"sourceModelId": "azureai://accounts/{accountName}/projects/{projectName}/models/{modelName}/versions/{version}",
"targetDeploymentName": "{targetDeploymentName}"
}
}
部署是非同步的。 輪詢在 Azure-AsyncOperation 中回傳的 URL,並遵守 retry-after,直到操作成功或失敗為止。 在測試轉接器之前,請先確認properties.provisioningState處於Succeeded狀態。
檢查介接器部署的狀態:
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
列出連接到目標部署的適配器:
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments?api-version=2026-09-15-preview&$filter=properties%2FtargetDeploymentName%20eq%20%27{targetDeploymentName}%27
Authorization: ******
回覆經過分頁;依循nextLink,直到它不存在為止。
刪除介面卡部署:
DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
刪除也可以是非同步的。 對於202回覆,請依循作業網址 URL,直到刪除完成。
204回覆不需要進一步輪詢。
管理與清理部署
按每個適配器的部署名稱管理適配器。 若要將介面卡移至其他相容的目標部署,請在保持相同 targetDeploymentName 的前提下更新 sourceModelId。 先等待更新成功後,再依賴新的目標部署。
你無法更改現有介面卡部署的來源模型版本。 若要部署新的微調版本,請建立一個名稱不同的新介面卡部署,或刪除並重建現有部署。
當您不再需要提供此部署時,請刪除一個適配器部署。 請參閱使用 REST 部署及管理適配器中的 REST 刪除要求。
刪除配接器部署並不會刪除其註冊的模型版本或目標部署。 其他適配器仍使用共用運算資源。
刪除你為此練習建立的目標部署前,先移除所有附加的介面卡部署。 如果你加了選用的 qwen-finance 轉接器,也請將其移除。 不要刪除其他應用程式仍需的共用目標部署。
在刪除註冊的配接器模型版本前,先移除使用該版本的配接器部署。
透過目標部署縮放共用運算資源。 容量變動會影響其適配器共用的運算資源。
疑難排解
重試前請檢查介面卡註冊、基礎型號相容性及部署狀態。
| 徵兆 | 要檢查的事項 |
|---|---|
| 適配器未在模型中列出 | 確認轉接器已註冊在所選專案中。 光是完成訓練是不夠的。 |
| 無法部署轉接器 | 確認該轉接器是否被註冊為 Foundry 微調工作的輸出。 此流程僅支援透過 Foundry 微調產生的轉接器。 |
| 在目標部署中未顯示任何部署 | 在適配器部署流程中建立相容的支援 LoRA 的目標部署。 |
| 沒有相容的範本 | 確認該模型和地區是否有支援 LoRA 的範本。 沒有 LoRA 支援的範本無法託管適配器。 |
| 目標部署建立因配額錯誤而失敗 | 檢查加速器家族、區域和實例數量。 如有需要,請求受管理的運算配額。 |
| 適配器與基本模型不符 | 比較用於微調的確切基本模型及其所使用的版本與已部署的基本模型。 |
| 適配器超出範本限制 | 檢查介面卡數量、LoRA rank 及記憶體需求,是否符合所選範本的支援限制。 |
| 回應看起來像是基礎模型 | 確認介接器部署已完成,且你測試的是介接器本身,而不只是目標部署。 請使用轉接器的 Portal 代碼片段。 |
| 原始模型版本無法更新 | 建立新的介面卡部署,或刪除並重新建立現有的介面卡部署。 現有部署的來源模型版本是固定的。 |
相關內容
了解更多關於適配器部署、目標部署、共享運算及其他微調模型部署選項: