總結

已完成

監控、故障排除與優化工作負載,確保您的 Azure Databricks 環境能穩定運行,同時控制成本。 在本單元中,你探索了叢集 消耗監控 (包含指標)、自動終止與預算,利用矩陣檢視與修復運行功能進行 Lakeflow Jobs 故障排除 ,透過 Spark UI 與計算指標進行 Spark 工作診斷 ,以及透過調查快取、偏移、溢出與洗牌問題來 優化效能 。

了解如何讀取叢集指標並設定自動終止,可以防止閒置資源推高成本,而自動擴展則能自動調整工作者數量以符合工作負載需求。 system.billing.usage 表格讓您能直接查詢用電數據,支援跨團隊與專案的成本歸屬與費用退還。

當工作失敗時,工作介面提供工具快速識別失敗原因——從矩陣檢視顯示各執行任務模式,到只重新執行失敗任務及其依賴項目的修復執行功能。 針對 Spark 效能問題, DAG 視覺化、 Spark UI 指標與 查詢設定檔 能幫助您精準找出因資料偏斜、記憶體溢出或過度洗牌操作所造成的瓶頸。

透過 Azure Log Analytics 集中管理日誌,將故障排除從被動調查轉變為系統性分析。 跨 DatabricksClusters、 DatabricksJobs、 及 DatabricksUnityCatalog 資料表的 KQL 查詢提供平台運作的可視化,而警示則在需要注意的狀況時主動通知您。 應用這些監控與優化實務,維持 Azure Databricks 中效能良好且具成本效益的資料工程解決方案。