重要
本文中標示為(預覽)的項目目前正處於公開預覽階段。 此預覽版未簽訂服務水準協議,且不建議用於生產工作負載。 某些功能可能不被支援或功能受限。 欲了解更多資訊,請參閱Microsoft Azure預覽補充使用條款。
本文說明如何利用 Azure 監視器 的指標與日誌,追蹤 Foundry 模型部署的可用性、效能與使用情況。 Azure 監視器 會自動收集並彙整 Foundry Models 部署中的指標與日誌,讓你能查看即時效能資料並設定問題警示。
先決條件
要在 Foundry 模型中使用監控功能來部署模型,您需要以下條件:
-
提示
如果你正在使用無伺服器 API 端點,並且想利用本文中說明的監控功能, 請將無伺服器 API 端點遷移到 Foundry Models。
至少有一個模型部署。
要查看指標:至少使用者需要具有在資源上的 監控讀取角色。
要配置診斷設置:使用者需要資源上的 監控貢獻者 角色(或等效角色)。
指標
Azure 監視器 會自動從 Foundry 模型收集指標。 不需要設定。 這些指標包括:
- 儲存在 Azure 監視器 時間序列指標資料庫中。
- 輕量化且能支援近即時警報。
- 用來追蹤資源隨時間的表現。
查看指標
Azure 監視器 指標可用多種工具查詢,包括:
鑄造廠入口
你可以在 Foundry 入口網站查看指標。 要查看,請依照以下步驟操作:
前往 鑄造廠入口。
在側邊欄選單的 「我的資產」 中,選擇 模型與端點,然後選擇您想查看指標的部署名稱。
選擇「 指標 」標籤。
你可以取得常見指標的概覽,這些指標可能對你有興趣。 如需成本相關指標,請選擇Azure 成本管理連結,該連結可於Azure入口網站的成本分析區塊中取得詳細的消費後成本指標。
Azure 入口網站中的成本資料顯示模型消費後的實際費用,包括 Foundry 內的其他 AI 資源。 欲了解完整的 AI 資源清單,請參見 「使用可自訂的 API 與模型建構」。 從帳單事件到可在 Azure 入口網站成本分析中查看,大約有五小時的延遲。
重要
Azure 成本管理連結在Azure入口網站內提供直接連結,讓使用者能取得部署AI模型的詳細成本指標。 此深度連結整合至 Azure 成本分析服務檢視,提供透明且可行的模型層級成本洞察。
深度連結導引使用者至 Azure 入口網站的成本分析視圖,提供一鍵體驗,查看各資源部署情況,包括輸入/輸出令牌成本/消耗。 要查看成本資料,Azure帳戶至少需要read權限。 關於如何分配成本管理資料存取權的資訊,請參見 「分配資料存取權」。
你可以使用 Azure 監視器 metrics explorer 查看和分析指標,進一步切片與篩選你的模型部署指標。
截圖,顯示在 Azure 監視器.
指標探索器
Metrics Explorer 是 Azure 入口網站中的一個工具,讓你能查看並分析 Azure 資源的指標。 若需更多資訊,請參閱使用 Azure 監視器 指標瀏覽器分析指標。
要使用 Azure 監視器,請遵循以下步驟:
前往Azure入口。
在搜尋框中輸入並選擇「監控」。
在側邊欄選單中選擇 指標 。
在 選擇範圍時,選擇你想監控的資源。 你可以選擇一個資源,或選擇資源群組或訂閱。 如果是這樣,請確保你選擇了 Resource types 作為 Foundry Tools。
指標瀏覽器會出現。 選擇你想探索的 指標 。 以下範例顯示對該資源中模型部署所提出的請求數量。
重要
Azure OpenAI 類別中的指標包含資源中Azure OpenAI 模型的指標。 Models 類別包含資源中所有可用的模型,包括 OpenAI、Deepseek 和 Phi Azure。 我們建議你改用這套新的指標。 你可以根據需要加入任意數量的指標,無論是在同一張圖表上,還是新圖表。
如果需要,你可以依照任何可用的維度來篩選指標。
將特定指標依照不同維度來拆解是很有用的。 以下範例展示了如何透過「 新增拆分」選項,依模型分解對資源的請求數量:
你可以隨時儲存儀表板,避免每次都必須重新設定。
其他工具
允許更複雜視覺化的工具包括:
- Workbooks:可在Azure入口網站自訂的報告。 工作簿可以包含文字、指標和日誌查詢。
- Grafana:一款在營運儀表板上表現出色的開放平台工具。 你可以用 Grafana 建立包含多個來源資料的儀表板,除了 Azure 監視器 以外。
- Power BI:一項商業分析服務,提供跨多元資料來源的互動式視覺化。 你可以設定 Power BI 自動匯入 Azure 監視器 的日誌資料,以利用這些視覺化功能。
指標參考
以下指標類別可供使用:
模型 - 要求
| 公制 | 內部名稱 | 單位 | 聚合 | 尺寸 |
|---|---|---|---|---|
|
模型可用性率 可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。 |
ModelAvailabilityRate |
百分比 | 最低、最高、平均 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
|
模型請求 在一段時間內呼叫模型推論 API 的次數。 |
ModelRequests |
計數 | 總和 |
ApiName, OperationName, Region, , StreamTypeModelDeploymentNameModelNameModelVersionStatusCode |
型號 - 延遲
| 公制 | 內部名稱 | 單位 | 聚合 | 尺寸 |
|---|---|---|---|---|
|
回應時間 串流請求的建議延遲(回應速度)指標。 適用於 PTU 及 PTU 管理 的部署。 計算為使用者發送提示後,第一個回應出現所需的時間,依據 API 閘道所測量。 隨著提示字元大小增加及/或快取命中大小減少,該數字會上升。 此指標為近似值,因為測量延遲取決於多項因素,包括同時通話與整體工作負載模式。 它沒有考慮到客戶端與 API 端點之間的延遲。 請參考你自己的日誌,以獲得最佳的延遲追蹤。 |
TimeToResponse |
毫秒 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, , StreamTypeModelDeploymentNameModelNameModelVersionStatusCode |
|
標記間的標準化時間 對於串流請求;模型代幣生成率,以毫秒為單位。 適用於 PTU 及 PTU 管理 的部署。 |
NormalizedTimeBetweenTokens |
毫秒 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
型號 - 使用情況
| 公制 | 內部名稱 | 單位 | 聚合 | 尺寸 |
|---|---|---|---|---|
|
輸入標記 模型上處理(輸入)的提示標記數量。 適用於PTU、由PTU管理的部署及標準部署。 |
InputTokens |
計數 | 總和 |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
|
輸出標記 模型產生的代幣數量(輸出)。 適用於PTU、由PTU管理的部署及標準部署。 |
OutputTokens |
計數 | 總和 |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
|
總代幣 模型上處理的推理標記數量。 計算方式為提示代幣(輸入)加上產生代幣(輸出)。 適用於PTU、由PTU管理的部署及標準部署。 |
TotalTokens |
計數 | 總和 |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
|
代幣快取匹配率 命中快取的提示詞百分比。 適用於PTU及由PTU管理之部署。 |
TokensCacheMatchRate |
百分比 | 平均 |
Region, ModelDeploymentName, , ModelNameModelVersion |
|
預配置利用 配置管理部署的利用率百分比,計算為(消耗的 PTU 數量 / 部署的 PTUs)x 100。 當利用率大於或等於 100%時,通話會被限速,並回傳錯誤代碼 429。 |
ProvisionedUtilization |
百分比 | 平均 |
Region, ModelDeploymentName, , ModelNameModelVersion |
|
已配置且已消耗的令牌 總代幣減去一段時間內的快取的代幣。 適用於PTU及由PTU管理之部署。 |
ProvisionedConsumedTokens |
計數 | 總和 |
Region, ModelDeploymentName, , ModelNameModelVersion |
|
音訊輸入標記 模型上處理(輸入)的音頻提示標記數量。 適用於PTU管理模型部署。 |
AudioInputTokens |
計數 | 總和 |
Region, ModelDeploymentName, , ModelNameModelVersion |
|
音訊輸出標記 模型中生成(輸出)的音頻提示標記數量。 適用於PTU管理模型部署。 |
AudioOutputTokens |
計數 | 總和 |
Region, ModelDeploymentName, , ModelNameModelVersion |
日誌
資源日誌提供關於 Azure 資源執行操作的洞察。 日誌會自動產生,但你必須將它們路由到Azure 監視器日誌,才能透過配置診斷設定來儲存或查詢。 日誌依類別分類。 當你建立診斷設定時,會指定要收集哪些日誌類別。
以下為鑄造模型的日誌類別:
| 分類 | 描述 |
|---|---|
| 請求回應 | 每個推論請求與回應的日誌,包括狀態碼與延遲。 |
| 追蹤 | 詳細的追蹤日誌用於除錯模型推論呼叫。 |
| 審計 | 管理操作,如部署、設定變更及存取控制事件。 |
如需了解更多可用日誌類別的資訊,請參閱 Azure 監視器 資源日誌分類。
設定診斷設定
所有指標都可以在 Azure 監視器 裡用診斷設定匯出。 若要使用 Azure 監視器 Log Analytics 查詢來分析日誌和指標資料,您可以為 Foundry 工具資源配置診斷設置選項。 對每個資源執行此操作。
要設定 Foundry 資源的診斷設定選項:
前往 Azure 入口網站 找到你的 Foundry 資源。
在側邊欄選單的 「監控 」選項中,選擇 診斷設定。
選擇 新增診斷設定。
輸入診斷設定的名稱。
在 「日誌」中,選擇你想收集的 日誌類別 (例如, RequestResponseLogs)。
在 Metrics 中,選擇 AllMetrics 以匯出 metrics。
在目的地詳情中,選擇Sent to Log Analytics workspace,並在訂閱中選擇工作區。
選擇 儲存。
註
在 Log Analytics 工作區收集資料是有成本的,所以只收集每個服務需要的分類。 資源日誌的資料量在不同服務間差異很大。
使用 KQL 查詢日誌
在你configure diagnostic settings 將指標傳送給Log Analytics後,你可以使用 Kusto 查詢語言(KQL)查詢並分析日誌資料。
要查詢指標,請依照以下步驟操作:
前往Azure入口。
找到你想查詢的 Foundry 資源。
在側邊欄選單的 監控 中,選擇 日誌。 如果視窗中顯示查詢選項,請關閉該視窗。
新的查詢分頁會自動出現。 選擇 取樣模式 下拉選單,並選擇 KQL 模式。
要檢視 Azure 指標,請輸入自訂查詢或複製貼上以下查詢:
AzureMetrics | take 100 | project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName選擇 執行
註
當你在資源選單中選擇 Monitoring>Logs時,Log Analytics 會開啟,查詢範圍設為目前資源。 可見的日誌查詢只包含該特定資源的資料。 若要執行包含其他資源資料或其他Azure服務資料的查詢,請從Azure入口網站的
Azure 監視器<> 選單中選擇 Logs 。 欲了解更多資訊,請參閱 Log 查詢範圍及時間範圍,Azure 監視器 Log Analytics。
故障排除
| 問題 | 可能原因 | 解決方法 |
|---|---|---|
| 指標未出現在指標總覽中 | 資源類型過濾器可能設定不正確。 | 確保 資源類型 在範圍選擇器中設定為 Foundry Tools 。 |
| 在 Log Analytics 中沒有日誌資料 | 診斷設定還沒設定好,或者資料還沒到。 | 配置診斷設定,等待最多 15 分鐘才能看到資料顯示。 |
| 指標顯示為零值 | 模型部署可能在選定的時間範圍內未接收流量。 | 在指標總覽中調整時間範圍,或確認部署是否收到請求。 |
| Microsoft 成本管理 中無法顯示成本資料 | 缺少授權或帳單延遲。 | 確保你至少有讀取Azure帳戶的權限。 成本資料可能需要長達五小時才能出現。 |
| 模型呼叫時的 429 錯誤 | 配置利用率為100%或以上。 | 檢查 配置利用 率指標,並擴大 PTU 數量,或減少請求量。 |