僅適用於:Foundry(經典)入口。 這篇文章無法在新的 Foundry 入口網站中提供。
了解更多關於新入口網站的資訊。
註
本文中的連結可能會開啟新版 Microsoft Foundry 文件的內容,而非您目前正在瀏覽的 Foundry(經典版)文件。
重要
本文中標示為預覽的項目目前仍在預覽中。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱Microsoft Azure預覽補充使用條款。
在本文中,您將學習如何將 Microsoft Foundry 模型部署為無伺服器 API 部署。 在模型目錄中的某些模型可部署作為無伺服器 API 部署。 這種部署方式提供了一種方式,讓模型能以 API 形式使用,而不必將模型託管在訂閱上,同時維持組織所需的企業安全與合規性。 這個部署選項不需要訂閱配額。
雖然部署無伺服器 API 是部署 Foundry 模型的一種選項,但我們建議您將 Foundry 模型部署至 Foundry 資源。
註
我們建議您將 Microsoft Foundry 模型部署至 Foundry 資源,讓您能透過單一端點,使用相同的認證與架構,在資源中處理部署以產生推論。 該端點遵循所有 Foundry 模型皆支援的 Azure AI 模型推論 API。 欲了解如何將 Foundry 模型部署至 Foundry 資源,請參閱 「新增與配置模型至 Foundry Models」。
先決條件
一個有有效付款方式的 Azure 訂閱。 免費或試用的 Azure 訂閱無法使用。 如果你沒有Azure訂閱,請建立一個付費Azure帳號開始。
如果還沒有,就 建立一個中心型專案。
請確保在 Foundry 入口網站關閉「 將模型部署到 Foundry 資源 (預覽)」功能。 啟用此功能時,入口網站將無法提供無伺服器 API 部署。
Foundry Models 來自合作夥伴和社群需要 Azure Marketplace 的存取權限,而由 Azure 銷售的 Foundry Models 則沒有這項要求。 確保你擁有訂閱 Azure Marketplace 模型服務所需的權限。
Azure 角色基礎存取控制(Azure RBAC)用於授權 Foundry 入口網站中的操作權限。 要執行本文中的步驟,你的使用者帳號必須在資源群組中被分配為 Azure AI 開發者角色。 欲了解更多權限資訊,請參閱 Foundry 入口網站的角色基礎存取控制。
- 你可以使用任何相容的網頁瀏覽器來瀏覽 Foundry。
在型號目錄中找到你的型號
- 登入 Microsoft Foundry。 確定 新鑄造廠 的切換開關是關閉的。 這些步驟指的是Foundry(經典版)。
- 如果您還未進入您的專案,請選擇它。
- 從左側窗格選擇 型號目錄 。
選取您要部署的模型卡片。 在本文中,你選擇的是 DeepSeek-R1 型號。
選擇「 使用此模型 」以開啟 無伺服器 API 部署 視窗,您可以查看 「定價與條款 」標籤。
在部署精靈中,請命名部署名稱。 內容篩選(預覽)選項預設已啟用。 保持服務預設設定,偵測有害內容,如仇恨、自我傷害、性及暴力內容。 欲了解更多內容過濾資訊,請參閱 Foundry 入口網站的內容過濾。
將模型部署到無伺服器 API 上
在這個區段,你會為你的模型建立一個端點。
在部署嚮導中,選擇 部署。 等部署準備好後,系統會導向你到部署頁面。
要查看部署到您專案的端點,請在左側窗格的「我的資產」區塊中選擇模型 + 端點。
建立端點會使用金鑰認證來進行授權。 要取得與特定端點相關的金鑰,請依照以下步驟操作:
選擇部署,並記錄端點的目標 URI 與金鑰。
利用這些憑證呼叫部署並產生預測。
如果你需要從其他專案或樞紐處理此部署,或計畫使用 Prompt flow 來建構智慧應用程式,你需要建立與無伺服器 API 部署的連線。 若想了解如何在新專案或中樞上配置現有的無伺服器 API 部署,請參閱 如何從不同專案或提示流程中使用已部署的無伺服器 API 。
提示
如果您在與該部署相同的專案或中樞中使用提示流程,仍然需要建立連線。
使用無伺服器 API 部署
在 Azure Machine Learning 和 Foundry 中部署的無伺服器 API 模型支援 Azure AI 模型推論 API,該 API 為基礎模型提供了一套共通的能力,開發者可利用這些工具以統一且一致的方式從多元模型中獲取預測。
閱讀更多關於 此 API 的功能 ,以及如何 在建置應用程式時使用它。
刪除端點與訂閱
提示
因為你可以在 Microsoft Foundry 入口網站中自訂左側窗格,所以你可能會看到與這些步驟中顯示的不同物品。 如果你找不到你想要的,選擇 ⋯⋯更多選項 在左側窗格底部。
你可以刪除模型訂閱和端點。 刪除模型訂閱會使任何相關的端點變得 不健康 且無法使用。
要刪除無伺服器 API 部署:
- 前往 Foundry。
- 移至您的專案。
- 在 「我的資產 」區塊中,選擇 模型 + 端點。
- 打開你想刪除的部署。
- 選擇 刪除。
若要刪除相關的模型訂閱:
- 請前往Azure入口網站
- 導覽到該專案所屬的資源群組。
- 在 類型 篩選器中,選擇 SaaS。
- 選擇你想刪除的訂閱。
- 選擇 刪除。
要使用 Foundry,請安裝
Azure CLI 以及 Azure Machine Learning 的ml 擴充功能。 az extension add -n ml如果你已經安裝了擴充功能,請確保安裝的是最新版本。
az extension update -n ml安裝擴充功能後,請設定:
az account set --subscription <subscription> az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
在型號目錄中找到你的型號
- 登入 Microsoft Foundry。 確定 新鑄造廠 的切換開關是關閉的。 這些步驟指的是Foundry(經典版)。
- 如果您還未進入您的專案,請選擇它。
- 從左側窗格選擇 型號目錄 。
本文本節的步驟以 DeepSeek-R1 模型為例。 步驟相同,無論你使用的是 Azure 銷售的 Foundry Models,還是合作夥伴和社群提供的 Foundry Models。 例如,如果你選擇部署 Cohere-command-r-08-2024 模型,你可以將程式碼片段中的模型憑證替換成 Cohere 的憑證。
將模型部署到無伺服器 API 上
在這個區段,你會為你的模型建立一個端點。 端點名稱為 DeepSeek-R1-qwerty。
建立無伺服器端點。
endpoint.yml
name: DeepSeek-R1-qwerty model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1使用 endpoint.yml 檔案建立端點:
az ml serverless-endpoint create -f endpoint.yml你隨時都能看到已部署到專案的端點:
az ml serverless-endpoint list建立端點會使用金鑰認證來進行授權。 請依照以下步驟取得與特定端點相關的金鑰。
az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty如果你需要從其他專案或樞紐處理此部署,或計畫使用 Prompt flow 來建構智慧應用程式,你需要建立與無伺服器 API 部署的連線。 若想了解如何在新專案或中樞上配置現有的無伺服器 API 部署,請參閱 如何從不同專案或提示流程中使用已部署的無伺服器 API 。
提示
如果您在與該部署相同的專案或中樞中使用提示流程,仍然需要建立連線。
使用無伺服器 API 部署
在 Azure Machine Learning 和 Foundry 中部署的無伺服器 API 模型支援 Azure AI 模型推論 API,該 API 為基礎模型提供了一套共通的能力,開發者可利用這些工具以統一且一致的方式從多元模型中獲取預測。
閱讀更多關於 此 API 的功能 ,以及如何 在建置應用程式時使用它。
刪除端點與訂閱
你可以刪除模型訂閱和端點。 刪除模型訂閱會使任何相關的端點變得 不健康 且無法使用。
要刪除無伺服器 API 部署:
az ml serverless-endpoint delete \
--name "DeepSeek-R1-qwerty"
若要刪除相關的模型訂閱:
az ml marketplace-subscription delete \
--name "DeepSeek-R1"
要使用 Foundry,請安裝 Azure Machine Learning SDK for Python。
pip install -U azure-ai-ml安裝完成後,匯入必要的命名空間並建立與專案相關的客戶端:
from azure.ai.ml import MLClient from azure.identity import InteractiveBrowserCredential from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint client = MLClient( credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"), subscription_id="<subscription-id>", resource_group_name="<resource-group>", workspace_name="<project-name>", )
在型號目錄中找到你的型號
- 登入 Microsoft Foundry。 確定 新鑄造廠 的切換開關是關閉的。 這些步驟指的是Foundry(經典版)。
- 如果您還未進入您的專案,請選擇它。
- 從左側窗格選擇 型號目錄 。
本文本節的步驟以 DeepSeek-R1 模型為例。 步驟相同,無論你使用的是 Azure 銷售的 Foundry Models,還是合作夥伴和社群提供的 Foundry Models。 例如,如果你選擇部署 Cohere-command-r-08-2024 模型,你可以將程式碼片段中的模型憑證替換成 Cohere 的憑證。
將模型部署到無伺服器 API 上
在這個區段,你會為你的模型建立一個端點。 端點名稱為 DeepSeek-R1-qwerty。
建立無伺服器端點。
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()你隨時都能看到已部署到專案的端點:
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()建立端點會使用金鑰認證來進行授權。 請依照以下步驟取得與特定端點相關的金鑰。
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name) print(endpoint_keys.primary_key) print(endpoint_keys.secondary_key)如果你需要從其他專案或樞紐處理此部署,或計畫使用 Prompt flow 來建構智慧應用程式,你需要建立與無伺服器 API 部署的連線。 若想了解如何在新專案或中樞上配置現有的無伺服器 API 部署,請參閱 如何從不同專案或提示流程中使用已部署的無伺服器 API 。
提示
如果您在與該部署相同的專案或中樞中使用提示流程,仍然需要建立連線。
使用無伺服器 API 部署
在 Azure Machine Learning 和 Foundry 中部署的無伺服器 API 模型支援 Azure AI 模型推論 API,該 API 為基礎模型提供了一套共通的能力,開發者可利用這些工具以統一且一致的方式從多元模型中獲取預測。
閱讀更多關於 此 API 的功能 ,以及如何 在建置應用程式時使用它。
刪除端點與訂閱
你可以刪除模型訂閱和端點。 刪除模型訂閱會使任何相關的端點變得 不健康 且無法使用。
client.serverless_endpoints.begin_delete(endpoint_name).wait()
若要刪除相關的模型訂閱:
client.marketplace_subscriptions.begin_delete(subscription_name).wait()
要使用 Foundry,請依照 Azure CLI 的說明安裝Azure CLI。
請依照你的設定設定以下環境變數:
RESOURCE_GROUP="serverless-models-dev" LOCATION="eastus2"
在型號目錄中找到你的型號
- 登入 Microsoft Foundry。 確定 新鑄造廠 的切換開關是關閉的。 這些步驟指的是Foundry(經典版)。
- 如果您還未進入您的專案,請選擇它。
- 從左側窗格選擇 型號目錄 。
本文本節的步驟以 DeepSeek-R1 模型為例。 步驟相同,無論你使用的是 Azure 銷售的 Foundry Models,還是合作夥伴和社群提供的 Foundry Models。 例如,如果你選擇部署 Cohere-command-r-08-2024 模型,你可以將程式碼片段中的模型憑證替換成 Cohere 的憑證。
將模型部署到無伺服器 API 上
在這個區段,你會為你的模型建立一個端點。 端點名稱為 myserverless-text-1234ss。
建立無伺服器端點。 請使用以下範本建立端點:
serverless-endpoint.bicep
param projectName string = 'my-project' param endpointName string = 'myserverless-text-1234ss' param location string = resourceGroup().location param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1' var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1)) // Replace period character which is used in some model names (and is not valid in the subscription name) var sanitizedModelName = replace(modelName, '.', '') var subscriptionName = '${sanitizedModelName}-subscription' resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = { name: '${projectName}/${endpointName}' location: location sku: { name: 'Consumption' } properties: { modelSettings: { modelId: modelId } } dependsOn: [ projectName_subscription ] } output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri請按照以下方式建立部署:
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep你隨時都能看到已部署到專案的端點:
你可以使用資源管理工具來查詢這些資源。 以下程式碼使用 Azure CLI:
az resource list \ --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"建立端點會使用金鑰認證來進行授權。 透過使用 REST API 查詢這些資訊,取得與該端點相關的金鑰。
如果你需要從其他專案或樞紐處理此部署,或計畫使用 Prompt flow 來建構智慧應用程式,你需要建立與無伺服器 API 部署的連線。 若想了解如何在新專案或中樞上配置現有的無伺服器 API 部署,請參閱 如何從不同專案或提示流程中使用已部署的無伺服器 API 。
提示
如果您在與該部署相同的專案或中樞中使用提示流程,仍然需要建立連線。
使用無伺服器 API 部署
在 Azure Machine Learning 和 Foundry 中部署的無伺服器 API 模型支援 Azure AI 模型推論 API,該 API 為基礎模型提供了一套共通的能力,開發者可利用這些工具以統一且一致的方式從多元模型中獲取預測。
閱讀更多關於 此 API 的功能 ,以及如何 在建置應用程式時使用它。
刪除端點與訂閱
你可以刪除模型訂閱和端點。 刪除模型訂閱會使任何相關的端點變得 不健康 且無法使用。
你可以使用資源管理工具來管理資源。 以下程式碼使用 Azure CLI:
az resource delete --name <resource-name>
作為無伺服器 API 部署的 Foundry 模型的成本與配額考量
配額是按照每個部署來管理的。 每次部署的速率限制為每分鐘 200,000 個令牌,以及每分鐘 1,000 個 API 請求。 此外,我們目前每個專案限制每個模型部署一次。 如果目前的速率限制不夠滿足你的情境,請聯絡 Microsoft Azure 支援。
您可以在 無伺服器 API 部署 視窗的 定價與條款 索引標籤中,找到 Azure 銷售的模型 的定價資訊。
模型來自合作夥伴及社群 透過 Azure Marketplace 提供,並與 Foundry 整合使用。 在部署或微調這些模型時,你可以找到 Azure Marketplace 的定價資訊。 每當專案訂閱 Azure Marketplace 的某項優惠時,都會建立一個新的資源來追蹤其消費相關的成本。 同一資源用於追蹤與推理與微調相關的成本;不過,也有多個儀表可獨立追蹤每個情境。 欲了解更多如何追蹤成本的資訊,請參閱監控透過Azure Marketplace提供的模型成本。
訂閱模型產品所需的權限
Azure 角色基礎存取控制(Azure RBAC)用於授權 Foundry 入口網站中的操作權限。 要執行本文中的步驟,您的用戶帳號必須在 Azure 訂閱中被指派為 Owner、Contributor或Azure AI 開發者 角色。 或者,你的帳號可以被指派一個自訂角色,該角色擁有以下權限:
在 Azure 訂用帳戶上 - 以為工作區訂閱 Azure Marketplace 供應項目的權限,需針對每個供應項目為每個工作區執行一次:
Microsoft.MarketplaceOrdering/agreements/offers/plans/readMicrosoft.MarketplaceOrdering/agreements/offers/plans/sign/actionMicrosoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/readMicrosoft.Marketplace/offerTypes/publishers/offers/plans/agreements/readMicrosoft.SaaS/register/action
關於資源群組——建立並使用 SaaS 資源:
Microsoft.SaaS/resources/readMicrosoft.SaaS/resources/write
在工作區上 - 以部署端點 (Azure Machine Learning 資料科學家角色已經包含這些權限):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
欲了解更多權限資訊,請參閱 Foundry 入口網站的角色基礎存取控制。