本文將逐步介紹將開源模型部署到Microsoft Foundry中管理運算的端對端工作流程。
在本文中,您將學會如何:
- 在型號目錄中選擇一個型號
- 選擇部署範本
- 請使用 Foundry 入口網站或 Python SDK 部署模型
- 使用 OpenAI SDK 進行推論
- 擴展並監控部署
- 要求更多配額
有關 Foundry 中受管式運算部署的概覽,包括模型實例、部署範本、執行時、加速器系列、計費方式及目前限制,請參閱〈Microsoft Foundry 中的受管運算〉。
Prerequisites
有效的 Azure 訂用帳戶。 要建立一個帳號,請參考 Create your Azure free account。
訂閱中的一個資源群組,你可以在那裡建立資源。
一個Microsoft Foundry 帳號(認知服務帳號類型
AIServices)以及一個 Foundry 專案。 要建立一個,請參見 「建立鑄造廠專案」。下列 Azure 角色指派位於 Foundry 帳戶範圍內:
- 認知服務貢獻者 (或 Foundry 擁有者 / Foundry 帳戶擁有者)— 必須建立、更新及刪除受管理的運算部署。 請參閱 Microsoft Foundry 的角色型存取控制 — 受控計算控制平面作業。
- Foundry User — 需要此角色才能從 Playground、SDK 或 REST 使用 Microsoft Entra ID 呼叫部署。
您計畫部署的加速器家族(A100、H100、H200 或 MI300X)及您計畫使用的部署範圍(全域或資料區)的核准 管理計算配額 。 管理計算配額與 Azure VM 配額是分開的。 請參閱本文末尾 的「請求更多配額 」。
SDK 與 CLI 範例的本地工具:
pip install "azure-mgmt-cognitiveservices==15.0.0b2" azure-identity openai requests az loginAzure CLI 2.60或更高。
Note
內建的 Azure AI 內容安全 篩選器並不包含在受管理的運算資料路徑中。 如果你需要請求層級或回應層級的過濾,請直接從應用程式呼叫 Azure AI 內容安全 APIS。
在目錄中選擇一款型號
受控計算會從 Foundry 模型目錄中的 Hugging Face Collection 部署模型,並由 azure-huggingface 登錄提供服務。
關於 Hugging Face 模型在你專案中的可用性及 Hugging Face 專屬的部署指引,請參閱 Microsoft Foundry 中的 Hugging Face 模型。
- 登入 Microsoft Foundry。 確定 新鑄造廠 的開關是開啟的。 以下步驟適用於 Foundry(新)。
- 選擇您的訂閱與 Foundry 資源。
- 瀏覽至建置>目錄>模型目錄。
- 請依 收藏篩選目錄。 選擇 Hugging Face。 你也可以用其他篩選器縮小你想部署的模型範圍(例如選擇像 Qwen 這樣的模型族群),或依照模式或任務來篩選。 你也可以用型號名稱搜尋。
- 選擇一張模型卡(例如
nvidia-nemotron-3-nano-30b-a3b-fp8)以開啟其詳細資訊。
模型卡顯示上游授權、模式、支援任務,以及為模型發布的部署範本。 如果你打算透過 Python SDK 或 REST 部署,而不是使用入口網站精靈,部署呼叫時需要輸入三個值。 您可以在 Foundry 入口網站找到以下數值:
型號識別碼:該模型的完整合格登記資產識別碼。 可於型錄中的 型號卡 (從型號詳情欄複製)取得。 範例:
azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2部署範本 ID:識別模型的執行時、加速器族與數量,以及上下文長度。 可在你於模型卡上選取Deploy時開啟的部署精靈中使用。 選擇一個範本,並從精靈複製部署範本 ID。 範例:
azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latestNote
模型 ID 與部署範本 ID 必須相容;每個範本都會列出它所支援的模型版本。 入口網站精靈只會顯示你選擇模型的相容範本。 如果您使用程式碼部署,請確認兩個參考都會解析為
azure-huggingface登錄中的有效登錄資產。欲了解更多部署範本,請參閱「管理計算概覽」文章中的 部署範本 。
加速器類型:例如、
H100_80GB、A100_80GB、H200_141GB或MI300_192GB。 會顯示在部署精靈中各範本的旁邊。
部署模型
在模型卡上選擇 部署 以開啟部署精靈。
請指定一個 部署名稱。 部署名稱是您的應用程式在進行推論時傳入
model欄位的名稱——請選擇一個穩定且便於應用程式使用的名稱(例如nemotron-3-nano-30b)。部署精靈會預先選擇部署類型(全域管理運算)。 選擇 「資料區管理運算」,以將處理內容保留在根據您的 Foundry 帳戶區域判定的受支援美國或歐盟資料區內。 除了選擇這種部署類型外,沒有其他獨立的區域選擇器。
選擇符合你工作負載的 部署範本 。 例如,H100 單加速器範本,成本最低且上下文長度適中;若提示超過單一加速器上下文限制,則可選擇雙加速器範本。
選擇加速
H100_80GB,例如 。將 模型實例 設定為(
1或如果你測量過工作負載,則設定更高)。 模型實例 會決定受控運算資源的規模,並且是部署 SKU 上的capacity值。 每個實例會消耗模板定義的加速器數量;例如,一個模板指定每個實例使用一個 H100,容量為 2,則共用兩個 H100 加速器。Tip
先從第一次部署開始
capacity: 1,然後在測量工作負載後再擴充容量。 欲了解如何提升容量,請參閱「管理與擴展部署」。 關於實例計數與快取/路由概念,以協助做出該決策,請參閱 「受管理運算上的生產工作負載」。勾選核取方塊以確認部署費用。
請選擇 部署。 配置通常需要 10 到 15 分鐘。
驗證部署
當模型已在 Foundry 端點後方上線時,部署詳細資料頁面會從 Creating 更新為 Succeeded。 您可以查看部署的詳細資訊,包括配置狀態、部署類型,以及您在建立部署時所做的其他選擇。
傳送測試要求
部署準備好後,在 Foundry Playground 進行互動測試。
- 選取 Playground 分頁,從部署詳細資料頁面切換至該分頁。
- 發送一個提示來測試部署。
監控部署情況
受管理的運算部署會在與其他 Foundry 部署相同的 Azure 監視器 表面上發出指標。 如需完整的指標參考及如何將成本歸因於部署的資訊,請參閱《管理式運算監控概念》。
刪除部署
刪除部署後,系統會釋放已分配的加速器資源,並立即停止計費。 若要刪除部署:
- 在 Foundry 入口網站中,選擇 建構>模型 以查看你的部署。
- 選取部署名稱旁邊的選項按鈕。
- 在右側窗格中,選取 [刪除]。
要求更多配額
管理計算配額會依訂閱、加速器類型及優惠範圍(Global 或 DataZone,DataZone 的範圍識別碼為 US 或 EU)追蹤,且與 Azure VM 配額分開。 現有的 Azure VM 配額無法套用到受管理的運算部署。
如需申請更多配額:
- 在右上角的導覽中選擇 「管理 」,然後在左側窗格選擇 「配額 」。
- 選取「受管理運算」標籤。下表列出依加速器類型及優惠範圍(全球或資料區美國/歐盟)分組的目前配置。
- 請在右上角選擇 「請求配額 」。
- 在申請表單中,選擇加速器系列(A100、H100、H200 或 MI300X)、部署範圍(全球或資料區 US/EU),以及所要求的配額。 提交申請。
已核准的配額變更最多可能需要 15 分鐘才會生效。 請重新整理 配額 頁面以驗證更新後的分配。 欲了解更多配額概念,請參閱 資源配額管理與增加。
請使用以下 Python 腳本部署模型。 請將佔位符替換成你自己的訂閱 ID、資源群組、Foundry 帳號名稱和部署名稱。
部署 SKU 名稱控制部署範圍: GlobalManagedCompute 用於最廣泛的加速器容量,或 DataZoneManagedCompute 將處理範圍維持在您的 Foundry 帳戶區域所支援的美國或歐盟資料區域內。 沒有獨立的區域選擇器——美國或歐盟區域由帳號所屬地區決定。
Tip
先從第一次部署開始 capacity: 1 ,然後在測量工作負載後再擴充容量。 欲了解如何提升容量,請參閱「管理與擴展部署」。 關於實例計數與快取/路由概念,以協助做出該決策,請參閱 「受管理運算上的生產工作負載」。
from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
SUBSCRIPTION_ID = "<your-subscription-id>"
RESOURCE_GROUP = "<your-resource-group>"
ACCOUNT_NAME = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"
MODEL = "azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2"
TEMPLATE = "azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latest"
client = CognitiveServicesManagementClient(
DefaultAzureCredential(), SUBSCRIPTION_ID
)
deployment = client.managed_compute_deployments.begin_create_or_update(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name=DEPLOYMENT_NAME,
resource={
"sku": {"name": "GlobalManagedCompute", "capacity": 1}, # use "DataZoneManagedCompute" for a US/EU data-zone deployment
"properties": {
"model": MODEL,
"deploymentTemplate": TEMPLATE,
"acceleratorType": "H100_80GB",
"versionUpgradeOption": "OnceNewDefaultVersionAvailable",
},
},
).result() # blocks until terminal state (~10–15 min)
print(f"State: {deployment.properties.provisioning_state}")
print(f"ID: {deployment.id}")
驗證部署
建立部署後,請先確認其運作正常,再將流量導向該部署。
d = client.managed_compute_deployments.get(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name=DEPLOYMENT_NAME,
)
print(f"State: {d.properties.provisioning_state}") # expect: Succeeded
print(f"Model: {d.properties.model}")
print(f"Template: {d.properties.deployment_template}")
print(f"Accelerator: {d.properties.accelerator_type}")
print(f"Capacity: {d.sku.capacity}")
尋找:
-
provisioningState: Succeeded代表部署已啟動。 -
acceleratorType與你要求的金額相符。 -
sku.capacity與你要求的實例數量相符。
如果 provisioningState 是 Failed,請參見 故障排除。
傳送測試要求
受管理的運算部署可透過統一的 Foundry 端點存取:
https://<account>.services.ai.azure.com/openai/v1/
model請求主體中的欄位會取用你指定的部署名稱,而不是型號 ID。
from azure.identity import DefaultAzureCredential, get_bearer_token_provider
from openai import OpenAI
ACCOUNT_NAME = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"
token_provider = get_bearer_token_provider(
DefaultAzureCredential(),
"https://cognitiveservices.azure.com/.default",
)
client = OpenAI(
base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
api_key="placeholder", # required by OpenAI SDK; overridden by Authorization header
default_headers={"Authorization": f"Bearer {token_provider()}"},
)
resp = client.chat.completions.create(
model=DEPLOYMENT_NAME,
messages=[{"role": "user", "content": "What is the capital of France?"}],
)
print(resp.choices[0].message.content)
使用 Microsoft Entra ID 呼叫部署需要在 Foundry 帳號上啟用 Azure AI User 角色。
管理與擴展部署
由於受管理的運算部署是以模型為中心,部署的規模是透過改變模型實例數量來進行,而非透過節點大小來擴展。 例如,請參閱管理運算上的生產工作負載,了解與容量規劃相關的執行個體、加速器、快取和路由概念。
變更容量
d = client.managed_compute_deployments.get(
RESOURCE_GROUP, ACCOUNT_NAME, DEPLOYMENT_NAME
)
d.sku.capacity = 3
client.managed_compute_deployments.begin_create_or_update(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name=DEPLOYMENT_NAME,
resource=d,
).result()
取得執行階段和模型更新
在部署時將 versionUpgradeOption 設為 OnceNewDefaultVersionAvailable,可讓該部署在 Microsoft 發布新的預設模型和執行階段版本時自動採用它們。 執行時修補程式與 CVE 修正會自動套用於即時客戶部署;你不會重新部署模型來接收它們。
監控部署情況
受管理的運算部署會在與其他 Foundry 部署相同的 Azure 監視器 表面上發出指標。 如需完整指標參考及如何將成本歸因於部署,請參閱《管理式運算監控概念》。
刪除部署
刪除部署後,系統會釋放已分配的加速器資源,並立即停止計費。 若要刪除部署:
client.managed_compute_deployments.begin_delete(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name=DEPLOYMENT_NAME,
).result()
存取控制摘要
| Action | 最低角色 |
|---|---|
| 建立、更新或刪除一個受管理的運算部署 | Foundry 帳戶上的 Cognitive Services Contributor (或 Foundry Owner / Foundry Account Owner) |
| 讀取部署或列出部署 | 認知服務使用者、Foundry 使用者、Foundry 專案經理,或上述任何角色 |
| 用 Microsoft Entra ID 呼叫部署 | Foundry 帳戶上的 Foundry User |
| 用 API 金鑰呼叫部署 | 帳號金鑰(通話本身不需要 Azure 角色;金鑰擷取需要讀取權限) |
關於完整的Azure資源提供者操作清單、角色到權限矩陣,以及與標準部署的比較,請參見 Microsoft Foundry 的 角色基礎存取控制 — 受管理的計算控制平面操作。
Troubleshooting
provisioningState: Failed
確認所請求的加速器家族已核准部署範圍(全球範圍,或資料區範圍——美國或歐盟——源自帳戶位置)的配額,且所選部署範本列出該加速器家族。 模型與部署範本不匹配,例如為不同模型版本發布的範本,是常見原因。 確認兩個參考都會解析為 azure-huggingface 登錄中的有效登錄資產。
建立時出現 "Quota exceeded"
Foundry 帳戶的管理運算配額不足以滿足所要求的加速器類型與部署範圍。 請求更多配額。 Azure VM 配額不適用於受管理運算。
該地區的「容量不足」
該區域未回報所需加速器家族的容量。 試試不同的家族(例如部署在 MI300X 而不是 H100)、選擇每個實例加速器較少的模板,或鎖定不同區域。 像 MI300X 這類較大記憶體系列通常能容納無法放進 A100 的型號。
來自 /openai/v1/ 路由的 404
如果對 https://<account>.services.ai.azure.com/openai/v1/chat/completions 發出的聊天完成要求傳回 404,請確認:
- 請求主體中的部署名稱與你建立的部署名稱相符。
- 部署的
provisioningState為Succeeded。 - 模型的執行階段會公開對話補全。 某些執行階段 (例如用於內嵌的 TEI) 不會公開對話補全路由;請改用模型卡上記錄的路由。
部署停留在 Creating 超過 20 分鐘
有些較大型模型需要比一般10至15分鐘更長的時間。 如果 20 分鐘後 provisioningState 仍為 Creating,請查看 Foundry 入口網站中的部署詳細資料頁面,確認是否有作業狀態訊息,並確認基礎區域未發生劣化。 如果部署停留在 Creating 超過 30 分鐘且沒有操作訊息,請將其刪除後再重試。 佈建在部署名稱上具有等冪性。