監控 Microsoft Foundry(預覽版)中的代理程式與模型操作

若要查看 Azure 訂閱中的代理程式與模型執行頻率及穩定性,請前往 Microsoft Foundry 入口網站中的「管理>營運」。 「操作」頁面會顯示您所選擇範圍與日期範圍的代理程式執行、模型請求、工具呼叫、標記、錯誤及延遲。 它也會將每個號碼背後的經紀人與模特兒排名。

平台管理員與操作員會利用 Operations 來找出變更因素,例如某個執行次數跳轉的代理程式、錯誤較多的模型,或是執行較慢的代理程式。 頁面上沒有顯示費用。 欲查看使用成本,請參閱「 在 Foundry 入口網站檢視訂閱成本」。 若要同時查看活動、成本與政策違規,請從 Fleet 開始。 如需更多資訊,請參閱 「監控您的代理程式艦隊」。

Important

Foundry 入口網站的操作目前處於公開預覽階段,並受 Microsoft Azure 預覽補充使用條款的約束。 此預覽版未簽訂服務等級協議,Microsoft 不建議用於生產工作負載。 某些功能可能不被支援或功能受限。

Prerequisites

  • 包含至少一個 Foundry 資源與專案且有代理程式或模型使用情形的 Azure 訂閱。

  • 讀取範圍內資源的使用指標(Microsoft.Insights/metrics/read)權限。 所有 Foundry 角色、監控讀取器與讀取器都包含此功能。

  • 選用:查看 代理人品質指標,專案中的定期評估。 請參閱 「建立定期評估」。

    關於每個頁面背後的權限,請參閱 「成本資料與成本控制的權限」。 若要指派角色,請參閱使用 Azure 入口網站指派 Azure 角色。

Important

Foundry RBAC 角色最近已重新命名。 Foundry 用戶、Foundry 擁有者、Foundry Account Owner 以及 Foundry Project Manager 先前分別被稱為 Azure AI 使用者、Azure AI 擁有者、Azure AI 帳戶擁有者及 Azure AI Project 管理者。 在更名期間,你可能還會在某些地方看到之前的名字。角色 ID 與核心權限不會因命名而改變。

開啟「操作」頁面

  1. 登入 Microsoft Foundry。 確定 新鑄造廠 的開關是開啟的。 以下步驟適用於 Foundry(新)。
  2. 在右上角的導覽中選擇 「管理 」。
  3. 在左側窗格中,選取 「操作」。 您也可以在車隊頁面選擇「檢視操作」,以保留您在那裡選擇的日期範圍。
  4. 在 「訂閱」中,選擇您想要檢視的訂閱。 您也可以在資源群組中選擇資源群組,並在 Project 中選擇專案,以便只查看其中一部分。
  5. 選擇日期範圍: 最後一天、 7D、 1M 或 3M。 若要設定自訂日期,請選取日期範圍選擇器。 自訂範圍可長達三個月。

閱讀摘要

摘要卡片顯示所選範圍與日期範圍的四個總數。 每個總數都會顯示與前一個相同長度期間相比的變化。 自訂範圍不會顯示比較。

Total 計數內容
代理程式執行 由代理程式啟動的執行。
模型請求 對模型部署的請求,包括代理程式所發出的模型呼叫。
工具調用 是代理程式發出的工具調用。
總代幣數 來自代理程式及直接模型呼叫的令牌。

摘要旁的圖表顯示了隨時間變化的指標,涵蓋總額及每項資產。

  1. 選取一個分頁:

    • 呼叫:代理執行、模型請求或工具呼叫。 若要選擇要檢視哪個指標,請使用圖表標題下方的下拉選單。
    • 代幣:代幣的使用。
    • 錯誤:錯誤事件。
    • 延遲:代理程式執行延遲。
  2. 要查看某個數值,請將滑鼠移到圖表中的某個點上。 圖例顯示總額及每項資產。

  3. 若要放大圖表,請選取右上角的全螢幕按鈕。

找出改變背後的代理人與模型

圖表下方的三個清單會針對所選範圍和日期範圍,將資產排名:

  • 最高調用次數:召用次數最多的代理人與模型,以及與前一期間相比的變化數。
  • 錯誤事件最高:錯誤事件最多的代理程式與模型,以及錯誤率與事件數量。
  • 最高的代理程式執行延遲:執行時間最長的代理程式,以秒為單位。

若要比較每個資產,請使用 帶有調用的資產:

  1. 捲動至 「帶有調用的資產」。
  2. 選擇「 代理人 」或 「模型」。
  3. 檢視每個資產的呼叫、代幣使用情況、錯誤與延遲。
  4. 若要調查資產,請選取其名稱。

檢查 Agent 品質

代理人品質指標 顯示來自反覆評估的品質趨勢。 它會保持空白,直到範圍內的專案有定期評估。 若要設定,請選擇 「開啟專案監視器」。 有關步驟,請參閱 建立重複評估。

將使用量與成本連結起來

作業 顯示的是使用情況,而非成本。 使用量會在幾分鐘內顯示,而其成本則會在 8 到 24 小時後顯示在 成本 頁面上。 要查詢使用量變動的成本:

  1. 注意使用情況變更的代理程式或模型,以及範圍與日期範圍。
  2. 在左側窗格中,選取 費用。 選取相同的範圍和日期範圍。
  3. 比較 最高支出資產,以及依 代理人 或 型號分組的成本表。 如果變更是近期的,費用到帳後再檢查一次。 欲了解更多資訊,請參閱「 在 Foundry 入口網站檢視訂閱費用」。

Troubleshoot

徵兆 原因 修正
頁面顯示「您需要監控讀取器權限才能檢視這些指標。」 您沒有權限查看此範圍內的使用量指標。 請向管理員申請 Foundry 角色,或訂閱上的 Monitoring Reader,然後重新整理頁面。
在包含許多資源的範圍中,總計看起來比預期低。 你無法讀取範圍中某些資源的指標,因此總數只涵蓋你能存取的資源。 縮小範圍,或要求管理員在訂用帳戶上授與 Monitoring Reader。
客服品質指標 為空。 範圍內沒有任何專案具有定期評估。 選擇「開啟專案監視器」,並建立定期評估。
圖表和清單都是空白的。 在範圍與日期範圍內,沒有使用任何代理程式或模型。 選擇較長的日期範圍或不同的範疇。