Microsoft Foundry 模型的部署類型

當您在 Microsoft Foundry 中部署模型時，您可以選擇一種部署類型，該類型會決定：

• 你的資料處理地點（全球、資料區域或 Azure 地理）
• 付款方式 （按代幣付費還是預留容量）
• 效能特性 （延遲變異、吞吐量限制）

這些部署類型適用於 無伺服器 API 部署選項。 使用 管理運算 的開源和自訂模型則不使用這些類型。 關於選項的差異，請參閱 Microsoft Foundry 模型的部署概覽。

該服務提供三大類： 標準 （按代幣付費）、 provisioned （保留容量）及 批次 （折扣非同步處理）。 也提供 開發者 類型以進行微調模型評估。 在標準與配置類別中，您可以根據合規需求選擇全球、資料區域或地理基礎處理。

從全球標準開始

對於大多數工作負載，請先從 全域標準 開始。 它會在新車型上市時率先推出，價格最低，且覆蓋區域最廣。 只有在有特定理由時，例如資料駐留、保留吞吐量或非同步批次處理，才可切換到其他部署類型。

新的部署類型會依固定順序開放：全球、資料區、地理區。 基於地理位置的部署類型通常最後抵達，沒有保證可用日期，且依賴於舊型號退役後空出的容量。 有關權威上市順序，請參見 型號發佈與可用性。

部署類型比較

即時模型讓你可以在不建立部署的情況下執行推論，所以它們不是部署類型。 欲立即試用模型，請參閱 「即時存取模型」。

SLA 保證會依部署類型而異。 配置型態提供保證吞吐量與較低延遲變異。 標準型提供盡力而為的服務。 開發者部署不包含 SLA。 詳情請參閱 Azure OpenAI 服務 的 Azure SLA。

選擇合適的部署類型

請參考以下表格快速推薦，然後根據以下標準進行細化。

依資料駐留需求

• 無限制：使用全域標準或全域配置
• 歐盟、美國或亞太資料區：使用資料區標準或資料區在該區域內的區域內提供資料區
• Azure 地理區域：使用標準或區域佈建

關於每個資料區的具體區域，請參見資料區部署。

依工作量模式

• 快速啟動、原型製作或嘗試新模型：使用 即時存取（預覽）（ 無需部署）
• 變動、突發流量：使用標準或全域標準（按代幣付費）
• 穩定的高流量：使用配置型態（保留容量）
• 大型批次工作（非時間敏感）：使用全域批次或資料區批次（節省50% 成本）
• 微調模型評估：使用開發者（無 SLA，最低成本）

依照延遲需求

• 需要低延遲變化：使用預配置型別
• 延遲變異可接受：使用標準型別
• 評估微調模型：使用 developer（無 SLA;不適用於延遲敏感的工作負載）。

資料處理地點

標準部署與配置部署皆提供三種資料處理選項：全球、資料區域及 Azure 地理。 全域標準是大多數工作負載的常見起點。

全球部署

全球部署使用 Azure 的全球基礎設施，動態地將流量路由至可用資料中心。 全球部署提供最高的初始吞吐量限制與最廣泛的模型可用性。

對於高負載工作，你可能會遇到延遲變化增加。 如果你需要更低的延遲變異，請使用配置型部署類型。

全球部署優先獲得新模型與新功能。

資料區部署

對於 全球 部署類型，服務可在模型部署的任何地理區域處理提示與回應。 對於 資料區 部署類型，服務僅在指定的資料區內處理提示與回應：

• 美國：該服務可在美國境內任何地方處理資料。
• 歐盟：該服務處理 Azure 歐盟資料邊界內的資料。
• 亞太區：該服務在亞太地區處理資料。

歐盟資料區遵循 Azure 歐盟資料邊界，該邊界可涵蓋歐洲自由貿易聯盟（EFTA）國家及地區，如挪威、瑞士，以及歐盟成員國。 亞太資料區涵蓋多個亞太地區。 Microsoft 可在事先通知的情況下，為任一資料區新增區域，以提升容量與可用性。 有關目前各區域的詳細分布，請參閱 Azure 銷售的 Foundry Models 中「按部署類型分區的模型區域可用性」章節。

全球標準

• SKU 名稱在代碼中： GlobalStandard

全球標準部署利用 Azure 的全球基礎設施，動態路由流量至可用資料中心。 此部署類型提供最高的預設配額，並免除跨多資源負載平衡的需求。

擁有高且穩定音量的客戶可能會遇到較大的延遲變異。 門檻是依模型設定的。 如需進一步了解，請參閱 配額頁面。 對於需要較低延遲變異且工作負載龐大的應用，請考慮配置處理吞吐量。

全域標準支援要求層級處理層。 可使用 彈性處理 以降低成本、容忍延遲的工作負載，或使用 優先處理 以按使用量付費的方式加快回應速度。

全域配置

• SKU 名稱在代碼中： GlobalProvisionedManaged

全球配置部署利用 Azure 的全球基礎設施，動態路由流量至可用資料中心。 此部署類型提供預留的模型處理容量以實現可預測的吞吐量，結合了全域路由與保證容量。

配置吞吐量是指購買固定數量的配置吞吐量單元（PTU），以保證特定處理能力。 此部署類型提供比全球標準更低且更穩定的延遲。 欲了解更多，請參閱 「配置吞吐量概念」。

全球批次

• SKU 名稱在代碼中： GlobalBatch

Global Batch 處理大規模且大量處理的任務。 你可以處理非同步請求群組，並有獨立配額和 24 小時目標周轉，成本 比 Global Standard 低 50%。 批次處理不是一次只傳送一個請求，而是在單一檔案中傳送大量請求。 全域批次要求另有加入佇列的權杖配額，這可避免任何線上工作負載中斷。

常見使用情境：

• 大規模資料處理：並行分析資料集。
• 內容產生：建立大量文字，例如產品描述或文章。
• 文件審查與摘要：處理並摘要冗長的文件。
• 客戶支援自動化：同時處理大量查詢。
• 資料擷取與分析：從大量非結構化資料中擷取並分析資訊。
• 自然語言處理（NLP）任務：對大型資料集進行情感分析或翻譯。

資料區標準

• SKU 名稱在代碼中： DataZoneStandard

資料區標準部署會動態將流量路由至Microsoft定義的資料區（美國、歐盟或亞太區）內的資料中心。 此部署類型提供比基於地理的部署類型更高的預設配額，同時將資料保持在指定區域內。

擁有高且穩定音量的客戶可能會遇到較大的延遲變異。 門檻是依模型設定的。 欲了解更多，請參閱 配額與限制頁面。 對於需要低延遲變動性且大量工作負載，可以考慮預配置部署類型。

Data Zone Standard 支援優先處理，以加快回應速度，採用隨用付費制。 欲了解更多，請參閱 Foundry 模型的優先處理。

資料區配置

• SKU 名稱在代碼中： DataZoneProvisionedManaged

資料區配置部署會在 Microsoft 指定的資料區（美國、歐盟或亞太區）內動態路由流量，同時提供保留的模型處理能力。 此部署類型結合了資料區域合規性與高且可預測的吞吐量。

資料區域批次

• SKU 名稱在代碼中： DataZoneBatch

資料區批次部署提供與 全域批次相同的功能，包括 50% 成本節省及 24 小時周轉。 流量僅導向 Microsoft 定義的資料區域內的資料中心（美國、歐盟或亞太區）。

標準

• SKU 名稱在代碼中： Standard

標準部署採用按代幣付費計費。 你只為你消費的東西付費。 各地區可用的模型和吞吐量可能受限。

標準部署適合低至中等工作負載且爆發性高。 擁有高且穩定音量的客戶可能會遇到較大的延遲變異。

區域佈建

• SKU 名稱在代碼中： ProvisionedManaged

區域配置部署允許你指定部署所需的吞吐量。 服務接著會分配所需的模型處理容量，並確保其已準備就緒。 吞吐量是以配置吞吐量單元（PTUs）來定義，這是一種標準化的方式來表示你的部署吞吐量。 每對型號對部署所需的 PTU 數量不同，且每個 PTU 提供的吞吐量也不同。 最低 PTU 要求因型號而異。 關於目前的最低限度與可用容量，請參見 配置吞吐量概念。

開發者（用於微調模型）

• SKU 名稱在代碼中： DeveloperTier

開發者部署類型僅設計用於微調模型評估。 它提供成本效益高的客製化模型測試，但不包含資料駐留保證或服務等級協議（SLA）。 開發者部署有固定的 24 小時有效期，過期後會自動刪除。 想了解更多關於使用開發者部署類型的資訊，請參閱 微調指南。

部署問題故障排除

建立或使用部署時常見的問題：

關於部署類型的配額限制，請參見 Foundry 模型配額與限制。

限制部署類型，使用 Azure 原則

Azure 原則 協助執行組織標準並大規模評估合規性。 透過其合規儀表板，您可以評估整體環境狀態，並深入分析每項資源、每項政策的細節。 Azure 原則 也支援對現有資源進行批量修復，以及對新資源自動進行修復。 了解更多關於 Foundry Tools 的Azure 原則及具體內建控制項。

請使用以下政策來停用特定 Foundry 部署類型的存取權限。 請將 GlobalStandard 替換為你想限制的部署類型的 SKU 名稱。

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

相關內容

• 在 Foundry 入口網站部署 Microsoft Foundry 模型
• 建立並部署Azure OpenAI in Microsoft Foundry Models 資源
• Azure 銷售的 Foundry 模型
• 依部署類型建模區域可用性
• Microsoft 鑄造廠模型配額與限制
• 配置吞吐量概念
• 全域批次處理
• Azure OpenAI 服務 的價格
• Foundry Models 的資料隱私與安全性
• 高可用性與災難復原