本文說明如何使用 Azure Databricks UI 中的原生計算計量工具來收集密鑰硬體和 Spark 計量。 計量 UI 適用於所有用途和作業計算。
計量幾乎即時可用,通常延遲不到一分鐘。 計量會儲存在 Azure Databricks 管理的記憶體中,而不是儲存在客戶的記憶體中。
筆記本和作業的無伺服器運算採用查詢洞察,而非使用指標用戶界面。 如需無伺服器計算計量的詳細資訊,請參閱 檢視查詢深入解析。
存取計算度量 UI
若要檢視計算計量 UI:
- 按一下側邊欄中的 [計算]。
- 點擊您想查看指標的計算資源。
- 按一下度量索引標籤。
所有節點的硬體指標預設都會顯示。 若要檢視 Spark 計量,請單擊標示為 [硬體 ] 的下拉功能表,然後選取 [Spark]。 如果實例已啟用 GPU,您也可以選取 GPU 。
依時間週期篩選計量
您可以使用日期選擇器篩選來選取時間範圍,以檢視歷程計量。 計量會每分鐘收集一次,因此您可以依過去 30 天內的任何一天、小時或分鐘範圍進行篩選。 按兩下行事歷圖示,從預先定義的數據範圍中選取,或按下文字框內來定義自訂值。
注意
圖表中顯示的時間間隔會根據您檢視的時間長度進行調整。 根據您目前檢視的時間間隔,大部分計量都是平均值。
您也可以按一下 [重新整理] 按鈕來取得最新的指標。
在節點層級檢視計量
預設情況下,指標頁面會顯示叢集內所有節點(包括驅動程式)在該期間內的平均指標。
你可以點擊「 所有節點」 下拉選單,並選擇你想查看的節點,來查看各個節點的指標。 GPU 計量僅適用於個別節點層級。 個別節點無法使用 Spark 計量。
為了協助識別叢集內的異常節點,你也可以在同一頁面查看所有個別節點的指標。 要進入此檢視,請點選「 所有節點」 下拉選單,選擇 「依節點」,然後選擇你想查看的指標子類別。
下載圖表資料
若要匯出單一圖表的資料,請點擊圖表右上角的溢出選單(⋯),然後選擇下載 CSV 或下載 Excel。 匯出時每個時間戳記包含一列,對應圖表上顯示的每個指標,與目前顯示的類別、節點及時間範圍相符。
除 依節點 視圖外,所有圖表均可下載。
硬體指標圖表
下列硬體計量圖表可在計算計量 UI 中檢視:
-
CPU 使用率與活躍節點數:折線圖顯示該計算在每個時間戳記下的活躍節點數量。 條狀圖顯示 CPU 在每種模式下所花費的時間百分比,依據總 CPU 秒數成本計算。 以下是被追蹤的模式:
-
guest:如果你正在執行虛擬機,這些虛擬機所使用的 CPU -
iowait:等待 I/O 的時間 -
idle:CPU 閒置的時間 -
irq:中斷請求所花費的時間 -
nice:nice 值為正的程序所使用的時間,意即優先順序低於其他任務 -
softirq:軟體中斷請求所花費的時間 -
steal:如果你是虛擬機,其他虛擬機從你的 CPU「偷走」的時間 -
system:在核心中所花費的時間 -
user:在使用者空間所花費的時間
-
-
容器記憶體使用量:Spark 容器所消耗的記憶體,對所有相關節點平均計算。 包含不可回收記憶體的平均值(
Container memory used)、作業系統檔案頁面快取(Container memory file cache)、以及設定的記憶體限制(Container memory limit)。 - JVM 堆積使用量:JVM 堆積記憶體使用量,對所有相關節點平均計算。 包含實際堆積使用量、堆積容量及配置的最大堆積上限的平均值。
- 網路接收與傳輸: 每個裝置透過網路接收與傳輸的位元組數。
- 可用檔案系統空間:每個掛載點的檔案系統可用空間,以位元組為單位。
Spark 計量圖表
下列 Spark 計量圖表可在計算計量 UI 中檢視:
- 伺服器負載分布:這些圖塊顯示計算資源中每個節點過去一分鐘的 CPU 使用率。 每個圖塊都是可點擊連結到該節點的指標頁面。
- 目前進行中的任務:任何特定時間執行的任務總數。
- 失敗任務總數:執行器中失敗的任務總數。
- 已完成任務總數:執行器中已完成任務的總數。
- 任務總數:執行器中所有任務(執行中、失敗及已完成)的總數。
-
總洗牌讀取:洗牌讀取資料的總大小,以位元組為單位。
Shuffle read指的是階段開始時所有執行器序列化讀取資料的總和。 -
總洗牌寫入: 洗牌寫入資料的總大小,以位元組為單位。
Shuffle Write是所有執行器在傳送前(通常在階段結束時)所寫入序列化資料的總和。 - 總任務持續時間:JVM 在執行執行器上執行任務所花費的總時間,以秒為單位。
GPU 計量圖表
注意
GPU 計量僅適用於 Databricks Runtime ML 13.3 和更新版本。
下列 GPU 計量圖表可在計算計量 UI 中檢視:
- 伺服器負載分布:此圖表顯示過去一分鐘內各節點的 CPU 使用率。
- Per-GPU 解碼器使用率:GPU 解碼器使用率的百分比。
- Per-GPU 編碼器使用率:GPU 編碼器使用率的百分比。
- 每個 GPU 的幀緩衝區記憶體使用量(位元組):以位元組為單位的幀緩衝區記憶體使用量。
- Per-GPU 記憶體 I/O 使用率:GPU 記憶體 I/O 使用率的百分比。
- Per-GPU 使用率:GPU 使用率的百分比。
疑難排解
如果您在一段時間內看到不完整或遺漏的計量,可能是下列其中一個問題:
- Databricks 服務中斷,負責查詢和儲存計量。
- 用戶端的網路問題。
- 計算資源處於或曾處於不健康狀態。