成本控制是 Microsoft Foundry 中的一項政策,用來追蹤您所選擇的專案、模型部署、代理程式或託管代理程式會話的支出或代幣使用情況。 當使用量達到您設定的門檻時,成本控制會發送警示或封鎖新請求。 成本控制會在請求執行時計算使用量,因此能在超支反映到帳單前採取行動。
平台管理員與 FinOps 實務人員會利用成本控制來跨團隊設定預算。 Project 負責人和開發者會用這些來限制自己的支出,並檢查適用於他們專案的限制。
Important
Foundry 的成本控制目前處於公開預覽階段,並受 Microsoft Azure 預覽版補充使用條款的約束。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。
成本控制的運作方式
每個成本控制都結合了預算、所適用的使用量、重置期間以及門檻動作。
| Part | 它所定義的是什麼 | Example |
|---|---|---|
| 預算 | 以美元計算的消費金額,或是若干代幣。 | 每月代幣數量上限 10M 。 |
| 適用對象 | 計入預算的使用量:Foundry 資源或專案中的所有使用量,或您透過篩選條件選取的部分,例如一個專案或幾個代理程式。 | 所有代理人都在同一個專案中。 |
| 預算分配 | 所有匹配的使用量是否共用一個預算,還是每個Project、代理人或會話各自擁有自己的預算。 | 每位代理人都能拿到全額。 |
| 重置期間 | 計量使用量重新開始計算的頻率:每日、每週或每月。 | 每月。 |
| 日期 | 成本控制何時開始與結束。 你輸入當地時區的日期,Foundry 會將你輸入的日期以 UTC 儲存。 | 從今天開始,到6月30日結束。 |
| 閾值動作 | 當使用量達到某個門檻時會發生什麼事:發送警示,或封鎖使用。 | 在 80% 時發送警示,並在 100% 封鎖使用。 |
當有請求到達時,Foundry 會檢查適用於該請求的成本控制措施。 如果其中一項達到 封鎖使用 門檻,該請求就會被封鎖。 否則,請求會執行,其使用量會計入每個匹配的成本控制。
- 被封鎖的請求會回傳帶有標頭
x-ms-budget-cause: budget_exceeded的 HTTP 狀態碼429,並顯示以「預算超出成本控制」開頭的錯誤訊息。 當代理程式串流回應時,錯誤會以事件形式出現在串流中。 詳細資訊請參閱「 當請求被封鎖時回應」。 - 超過門檻的請求仍可完成,因此使用可能略高於門檻。
- 被封鎖的請求會在下一次重置、提高預算或移除成本控制後再次成功。
- 成本控制的變更會在 15 分鐘內生效。
沒有閾值動作的成本控制,可以在 Application Insights 中追蹤使用情況,而不影響請求。 在設定限制之前,先用這個設定來監控支出。
Foundry 資源的成本控制項使用量會記錄在一個應用程式洞察資源中,該資源可在建立成本控制時於 使用資料 中選取。 這是 Foundry 資源的共用設定,所以更改它會影響該資源的所有成本控制。 Foundry Project 管理員可以看到它,但只有 Foundry 資源的管理員才能變更它。 警示和封鎖並不依賴它。 你需要它來查看每個成本控制距其限制還有多近。
成本控制如何為使用量定價
成本控制必須在成本到達 Azure 成本管理 前數小時即時運作。 因此 Foundry 會為每個成本控制保留自己的累計:
- Tokens 預算會計算每個匹配請求的代幣數量。
- 支出預算會依據你協商價格的快照為這些權杖計價,而對於沒有協商價格的模型則會依零售價計價。 協商價格是您 Azure 合約中的價格,例如 Enterprise Agreement 或 Microsoft 客戶合約。 若要查看這些價格,請參閱「檢視並下載您組織的 Azure 定價」。
在公開預覽期間,這個累計總額不會與您的帳單對帳。 你的帳單可能會套用快照沒有的定價,例如分級定價,通常會降低你所支付的費用。 所以成本控制的總額通常會略高於你實際計費的成本,而成本控制會較早達到門檻。 這個差異可能會在長時間的重置期間(例如一個月)內逐漸擴大。
利用成本控制作為當請求執行時的護欄,並利用成本頁面和 Azure 成本管理 來追蹤與核對你的支出。
Tip
若要在硬性限制前採取行動,請將 封鎖用量 閾值與較早的 傳送警示 閾值配對,例如在 80% 時傳送警示,並在 100% 時封鎖。
在哪裡建立成本控制
您可以在 Foundry 資源或 Project 上建立成本控制。 業主決定你在哪裡管理成本控制,以及它能涵蓋哪些使用方式。
| Owner | 在 Foundry 入口網站的哪裡 | 適用於 | 通常由…使用 |
|---|---|---|---|
| 鑄造資源 | 管理>費用>成本控制 | 資源或您透過篩選器選取的專案、模型部署、代理程式或工作階段中的所有使用量。 | 平台管理員與跨團隊設定預算的 FinOps 實務人員。 |
| 計畫 | 監控>專案中的成本控制 | 該專案中的使用情況。 你可以透過篩選條件來縮小範圍,例如特定代理程式。 成本控制則保留在 Project 中。 | Project 負責人與自行管理支出的開發者。 |
專案的「成本控制」標籤也會列出適用於該專案的 Foundry 資源成本控制,且為唯讀。 在 Project 的 「監控」>成本分頁上,Project 預算資訊卡會顯示整個 Project 最接近上限的支出預算。 這個預算可以是專案的成本控制,也可以是套用至該專案的 Foundry 資源成本控制。 資源範圍的預算、篩選到模型部署的預算,以及代幣預算不會被用作專案預算,卡片會分別計算每個代理或每個會話的預算。
您需要的角色取決於擁有者:
| 任務 | 鑄造資源的成本控制 | Project 的成本控制 |
|---|---|---|
| 檢視 | 所有鑄造廠角色與讀者 | 所有鑄造廠角色與讀者 |
| 建立、編輯和刪除 | 鑄造廠帳戶擁有者、鑄造廠擁有者、擁有者,以及貢獻者 | Foundry 帳戶擁有者、Foundry 擁有者、Foundry Project Manager、擁有者及貢獻者 |
Important
Foundry RBAC 角色最近已重新命名。 Foundry 用戶、Foundry 擁有者、Foundry Account Owner 以及 Foundry Project Manager 先前分別被稱為 Azure AI 使用者、Azure AI 擁有者、Azure AI 帳戶擁有者及 Azure AI Project 管理者。 在更名期間,你可能還會在某些地方看到之前的名字。角色 ID 與核心權限不會因命名而改變。
有關這些角色背後的權限,請參閱 「成本資料和成本控制的權限」。
成本控制可適用於哪些方面
成本控制涵蓋其 Foundry 資源或 Project 的所有使用。 若要縮小範圍,請在「適用於何處?」下新增篩選條件。 當您新增多個篩選條件時,只有在使用量與所有篩選條件相符時才計算。
| 篩選 | 哪些因素計入預算 |
|---|---|
| Project | 您所選擇專案中的使用情況。 可在 Foundry 資源的成本控制中使用。 |
| 部署 | 針對您所選擇的模型部署所發出的請求,包括代理程式所發出的請求。 |
| Agent | 您所選擇的代理人所提出的請求。 在 Foundry 資源的成本控制上,首先加入一個Project篩選器,並選取一個 Project。 |
| 工作階段 | 依 ID 列出的託管代理程式工作階段使用量,上限 20 個。 |
接著在「 預算應該如何分配?」下選擇如何分配預算:
| Option | 使用量的計算方式 |
|---|---|
| 單一預算涵蓋所有事務 | 所有匹配的使用量都會計入一個總數。 |
| 每個代理程式、工作階段或 Project 的預算 | 每個代理人、會議或 Project 都能獲得全額。 Project 可在 Foundry 資源的成本控制中使用。 每個會話的預算只適用於託管代理程式,停止並恢復會話不會重置其使用量。 |
若要涵蓋多個專案中的代理程式,請為每個專案建立一項成本控制,或改為依專案篩選。
預算類型
| 預算類型 | 它衡量的是什麼 | 需知事項 |
|---|---|---|
| 支出 | 以美元計算的相符請求支出。 | 依請求執行次數計價。 如需詳細資訊,請參閱 「成本控管如何為用量計價」。 |
| 代幣 | 相符請求會消耗的權杖。 | 計算 所有代幣類型,或 僅計算特定類型:輸入、輸出或兩者皆可。 請以 K、M、B 或 T 的簡寫輸入限制,例如 10M 為 10,000,000 個代幣。 |
建立成本控制後,你無法更改其預算類型或所計入的代幣類型。 若要衡量不同的東西,就建立新的成本控制。
閾值動作
閾值動作定義了當使用量接近預算時所發生的事。 每個動作都可以新增一次。
| Action | 會發生什麼事 | 用它來做 |
|---|---|---|
| 發送警示 | 通知會透過您所選擇的 Azure 事件方格 主題傳送。 要求會繼續。 | 提前提醒車主,例如在 80%時。 |
| 封鎖使用 | 當使用量達到門檻值時,成本控制所涵蓋的新請求會遭到封鎖。 | 在達到硬性上限時停止支出。 |
將每個門檻設定為預算的百分比、50%、75%、80%、90%或 100%,或以預算單位金額、美元或代幣表示。 封鎖使用門檻一開始是預算的 100%,且您可以將其調低。 傳送警示的門檻必須等於或低於封鎖使用門檻值。
當您以 「傳送警示 」動作儲存成本控制時,Foundry 會建立與 Foundry 資源中事件網格主題的共用連線。 主題必須使用 CloudEvents v1.0 輸入結構,並允許基於金鑰的驗證。 若要通知他人,請訂閱主題,例如訂閱 Azure Logic Apps 工作流程、Azure Functions 或 webhook。 當使用量達到或超過門檻時,每一個計入成本控制的請求都會發送另一個警示事件,因此請在自動化中移除重複事件。 關於事件格式,請參閱 「接收警示」。
成本控制狀態
成本控制清單會在 「狀態」 欄位顯示每個成本控制的狀態。 大多數狀態來自於 Application Insights 中的使用。 這個使用量是估計值,可能會比強制執行延遲幾分鐘,因此這些狀態會被標記為Estimated。
| 州/省 | Meaning |
|---|---|
| 已排程 | 開始日期在未來。 成本控制從該日起開始計算使用量。 |
| 進展順利 | 使用量低於 Near threshold 點。 |
| 接近門檻 | 使用量達到最低 的「發送警示 」門檻,若成本控制未發送警示,則達到預算的 80%。 |
| 已達到上限 | 使用量達到預算或 封鎖使用量 門檻。 如果成本控制系統封鎖,則它所涵蓋的新請求會被封鎖,直到下一次重置。 如果沒有封鎖,該狀態就會被標記為 超支,請求會持續進行。 |
| 已過期 | 結束日期已經過了。 成本控制不再計算使用量或執行其閾值動作。 |
| 現役 | 成本控制已生效,但無法讀取其使用情況,因此使用狀況顯示「 使用狀況未知」。 此狀態並不代表請求被封鎖。 |
| 需要設定 | 成本控制目前還沒涵蓋任何使用量,所以不會追蹤任何內容。 |
如果使用量顯示「需要權限」或「使用量無法使用」,表示您無法讀取使用量資料,或者尚未設定 Application Insights。 有關解決方法,請參閱「成本控制疑難排解」。
當多項成本控制措施適用時
一個請求可以算入多個成本控制。 例如,資源範圍的支出預算與專案自身的代幣上限,都可以同時涵蓋同一個代理程式。 Foundry 會分別評估每個成本控制,若其中任何一項阻擋請求,則會封鎖該請求。 實務上,最嚴格的成本控制決定請求是否執行。
此預覽版支援哪些項目
| Area | Support |
|---|---|
| 型號 | GPT 模型,例如 gpt-5.4-mini,以及 OpenAI o-series 模型。 其他供應商的模型,例如 Claude 和 DeepSeek,在此預覽中不被支援。 新釋出的 GPT 模型會在價格公開後(通常在發布後約一週)透過成本控制獲得支援。 在那之前, 支出 預算不會計算其使用量,且該使用量不會在後續加算。 代幣 預算照常將其計入。 |
| 模型路由器 | 此預覽版中尚未完全支援。 模型路由器的成本會將自身費用與其為每次請求選擇的型號費用合併計算,因此成本控制可能不會將模型路由器的全部使用量計入其中。 |
| Agents | 提示代理與託管代理程式,包括託管代理程式工作階段。 |
| 部署類型 | 配置吞吐量(PTU)部署不計入。 |
| 地區 | 所有區域,適用於 Foundry 在該區域內計費的模型。 |
| 計入項目 | 模型代幣,以及在模型代幣上的支出。 代理工具費用(如網頁搜尋及託管代理計算)不計入。 |
| 哪些對象會被計入 | 此預覽版不提供每位使用者或 Microsoft Entra 群組的預算。 若要讓團隊擁有各自獨立的預算,可以為每個代理程式或每個 Project 設定預算,或讓每個團隊擁有自己的模型部署。 |
Limitations
- 在公開預覽期間,成本控制的支出是未與您的帳單對帳的估算。 要對帳支出,請使用 Azure 成本管理。
- 若要查看每個成本控制的使用情況,必須為 Foundry 資源設定 Application Insights,且您需要讀取其資料。 發送警示 和 封鎖使用 即使沒有它也能運作。
- 在 Foundry 資源的成本控制中,Agent 篩選器涵蓋單一專案中的 Agent。
- 變更最多需 15 分鐘才會生效,因此在此期間請求可能會超過新的或調降後的限制。
- 如果 Foundry 無法及時將請求與其成本控制進行核對,該請求就會自動執行。
- 在建立成本控制之後,你無法更改其名稱或預算類型。 在 Foundry 入口網站裡,代幣類型也被鎖定。 更改預算共享方式或重置期間,會重設使用次數計數。
- 每一項成本控制都有結束日期。 要讓其中一個持續運作,請在到期前編輯其結束日期。
- 專案的成本控制會將聊天完成的請求計入專案,但不會封鎖它們。 Foundry 資源預設專案的成本控制也會計算發送到該資源端點的請求,但不會阻擋它們。 要阻擋這些請求,請在 Foundry 資源上使用成本控制。
- 有自己成本控制的Project無法刪除。 請先刪除專案的成本控制項。
- 使用 REST API,一次建立一個成本控制。 在同一時間對同一 Foundry 資源建立成本控制的請求,可能會因
409而失敗。 詳細資訊請參閱 「以程式方式建立成本控制」。
將成本控制與其他管理支出的方式進行比較
Foundry 提供多種可協同運作的控制項。 每一個限制的東西都不同。
| 控制 | 限制內容 | 可以封鎖請求 | 細粒度 | 所用資料 | 您在哪裡設定它 |
|---|---|---|---|---|---|
| 鑄造廠成本控制(預覽) | 每個重置期間的花費或代幣 | Yes | 資源、專案、模型部署、代理程式或工作階段 | 請求執行時的使用量,並依您議定價格的快照計費 | Foundry 入口網站或 REST API。 請參閱 建立與管理成本控制。 |
| Azure 成本管理 預算 | 各期間的成本 | No. 預算會發送警示,而行動群組也可以啟動您自己的自動化流程。 | 訂閱、資源群組、資源或計費範圍 | 費用:使用後 8 至 24 小時 | Azure 入口網站。 請參閱 「建立與管理預算」。 |
| Quota | 部署吞吐量,以每分鐘令牌數或配置吞吐量單位計算 | 超出速率限制的請求會被限速 | 訂閱、地區與模型 | 即時 | Foundry 入口網站。 請參閱 管理配額。 |
| AI 閘道權杖限制 | 每分鐘代幣數,以及專案在模型部署中可使用的每期間代幣總配額 | Yes. 超過 TPM 限制的請求會傳回 429,而超過配額的請求會傳回 403。 |
Project 與模型部署 | 即時 | Foundry 入口網站。 請參閱 強制執行代幣限制。 |
| Azure 原則 | 人們可以部署哪些模型與部署類型 | 阻擋部署,而非 API 要求 | 資源配置 | 不適用 | Azure 入口網站。 請參閱內建模型部署原則。 |
將這些控制項一起使用。 配額可保護容量,成本控制可限制跨專案、代理程式與模型的支出,Azure 成本管理 預算會針對您所有 Azure 服務的成本發出警示,而 AI 閘道代幣限制則會限制每個專案在模型部署上可使用的代幣數量。
使用成本控制搭配 AI 閘道或 Azure API 管理
如果您的應用程式透過 AI 閘道或 Azure API 管理 呼叫 Foundry,成本控制仍然適用。 Foundry 會在通過閘道後檢查它們:
- 請求必須通過閘道的限制以及涵蓋它的所有成本控制。 閘道拒絕的請求永遠不會送達 Foundry,因此不計入成本控制。
- 成本控制會依 Foundry 所見的專案、模型部署、代理程式或工作階段進行計數請求。 只有閘道知道的設定,例如呼叫應用程式或使用者,不會影響成本控制。
- 要找出哪層拒絕了請求,請檢查回應。 成本控制區塊具有
x-ms-budget-cause: budget_exceeded標頭。 閘道權杖限制在沒有該標頭的情況下,會回傳每分鐘權杖數為429或權杖配額為403。 當代理程式串流回應時,成本控制區塊會以錯誤事件的形式出現在串流中。 詳細資訊請參閱「 當請求被封鎖時回應」。
使用閘道控制每個應用程式或每位使用者的令牌限制,以及 Foundry 專案、模型部署與代理程式的支出預算控制。
相關內容
- 若要設定您的第一個預算,請參閱「建立與管理成本控制(預覽)」。
- 若要在一處查看所有成本功能,請參閱 Microsoft Foundry 中的成本與 FinOps。
- 若要授與使用者成本控制的存取權,請參閱 成本資料和成本控制的權限。