Important
本文中標示為預覽的項目目前仍在預覽中。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱 Microsoft Azure 預覽版補充使用條款。
配接器部署會在 Microsoft Foundry 中相容的受控計算目標部署上提供低秩適應(LoRA)配接器。 適配器部署不需要額外的運算。 它們共用基礎模型部署提供的運算資源,該基礎模型部署稱為目標部署。 雖然適配器部署不需要額外的運算,但它們會附帶自己的部署名稱,讓您能透過 Foundry 帳戶的推論端點路由推論要求。
多個相容的介接器可以共用一個目標部署。 這種組態稱為多 LoRA 服務。
本文僅適用於 Foundry 中作為微調輸出的 LoRA 轉接器。 你還不能自行匯入介面卡。
LoRA 轉接器如何專門化基礎模型
低秩適應是一種微調技術,透過訓練一小組額外參數,而非更新基底模型中的每個參數。 產生的 LoRA 適配器是一組輕量級的經學習得到的變更,可針對工作或網域專門化模型。
LoRA 轉接器無法自行運行。 在推論時,服務執行時會將適配器與相容的基底模型結合起來。 確切的基礎模型和版本很重要,因為轉接器學習到的變更會套用於該模型的架構和權重。
介面卡部署中的資源
適配器服務會使用相關模型和部署資源。 每個資源都有獨立的職責。
| 期間 | Meaning |
|---|---|
| 基礎模型 | 用於建立適配器的底層模型與版本。 目標部署必須執行相容的基礎模型及版本。 |
| 已註冊的 LoRA 適配器 | 從 Foundry 微調輸出建立的模型資產 註冊會讓適配器在建置 > 模型中可用,但不提供運算或讓適配器可供呼叫。 |
| 部署範本 | 一個有名稱且有版本化的資產,定義模型的執行方式,包括服務執行時與加速器設定。 對於 Adapter Serving,請選擇支援 LoRA 的範本。 |
| 目標部署 | 一個受管理的運算部署,透過使用 LoRA 啟用的部署範本,執行相容的基礎模型。 它擁有其轉接器共享的加速器、容量、副本和推論端點。 |
| 適配器部署 | 一個註冊的 LoRA 介面卡版本與一個目標部署之間的部署連線。 它有自己的部署名稱,但不會配置獨立的運算、容量、副本或端點。 |
| 多重 LoRA 部署 | 兩個或以上相容的配接器部署,且使用相同的目標部署。 每個介面卡保留自己的部署名稱與專用行為,同時共享目標部署的基礎設施。 |
例如,名為 qwen-prod 的目標部署可承載名為 qwen-support 和 qwen-finance 的介面卡部署。 兩個介面卡都使用由 qwen-prod 提供的基礎模型、運算及端點。 它們各自的部署名稱會標示應用程式所選擇的微調行為。
多重 LoRA 分享的運作方式
目標部署是共用服務基礎架構。 其部署範本決定執行時是否支援 LoRA,並定義加速器類型、模型實例及其他執行時設定。
附加一個 adapter 並不會建立另一個模型實例,也不會增加目標部署的容量。 目標上的每個適配器共用相同的服務容量。 縮放目標部署會變更基礎模型及所有連接適配器的可用容量。
推論如何選擇轉接器
配接器必須完成配置,才能處理請求。 成功的部署會回報一個Succeeded佈建狀態。
假設qwen-prod是基礎模型的目標部署,且qwen-support和qwen-finance是其適配器部署。 向 Foundry 帳號的 /openai/v1/chat/completions 端點發送請求。 設定 model 為你想呼叫的部署名稱:
model 數值 |
所選行為 |
|---|---|
qwen-support |
搭配支援適配器的基礎模型。 |
qwen-finance |
搭配財務適配器的基礎模型。 |
以下要求會選取支援適配器。 從入口網站中的適配器部署詳細資料複製帳戶端點。 對於 Microsoft Entra ID 驗證,請取得https://ai.azure.com/.default範圍的存取權杖。
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
若要叫用財務適配器,請將model變更為qwen-finance,並使用對其工作的提示。 服務會內部解析適配器的目標部署。
有關驗證與測試的說明,請參閱測試一個帶有聊天完成的適配器。
相容性與容量需求
Foundry 在提供介面卡前會先驗證介面卡與目標部署。 配置必須符合以下要求:
- 轉接器是 Foundry 微調工作的註冊輸出。
- 目標部署會執行相容的基礎模型及版本。
- 目標使用支援 LoRA 的部署範本。
- 該介面卡在範本支援的介面卡數量、LoRA 階數及可用記憶體範圍內。
- 目標擁有足夠的受控運算配額及容量,可滿足其加速器系列及區域的需求。
轉接器生命週期與相依關係
一個 adapter 部署與其註冊的 LoRA adapter 是不同的資源。 以下規則說明部署變更如何影響介面卡與目標部署。
現有的適配器部署參考的是已註冊 LoRA 適配器的固定版本,而非基礎模型。 若要提供不同版本的介面卡,請建立新的介面卡部署,或刪除並重建現有部署。
你可以透過更新目標部署名稱,將同一個介面卡來源移到另一個相容的目標部署。 等更新成功後再將請求路由到新目標。
刪除配接器部署並不會刪除其註冊的模型版本或目標部署。 而且這不會影響共用目標的其他轉接器。
在刪除註冊的介面卡模型版本或目標部署前,先移除相依的介面卡部署。 這種排序可防止介面卡部署參照已不存在的來源或目標。
計費、配額與限制
目標部署是依每個加速器按小時計費。 管理式運算配額依訂閱、加速器家族及部署範圍(全球或由帳戶位置推算的美國/歐盟資料區)來追蹤,與 Azure 虛擬機器配額分開。 更多資訊請參閱 「受管理的計算計費與配額」。
轉接器部署沒有單獨的定價。 計費適用於目標部署的運算資源。
關於介面卡數量限制,請參閱 在入口網站中部署介面卡。
有關目前的受控運算費率,請參閱 Azure 價格計算器。
下一步
在相容的目標部署上部署並測試一個或多個註冊的 LoRA 配接器。