監控、排除故障並優化 Azure Databricks 中的工作負載

  • 模組
  • 9 單位
中級
資料工程師
Azure Databricks

監控與優化對於在 Azure Databricks 中運行可靠且具成本效益的資料工作負載至關重要。 本模組探討叢集消耗指標、Lakeflow Jobs 故障排除、Spark 工作診斷、快取效能優化、偏移、溢出與洗牌問題，以及日誌串流至 Azure Log Analytics。

學習目標

在本模組結束時，您將能夠：

  • 使用指標、自動終止及預算來監控和管理叢集資源使用情況
  • 使用作業 UI 和修復執行功能，疑難排解和修復失敗的 Lakeflow 作業
  • 使用 Spark UI 與計算指標診斷 Spark 工作失敗與資源瓶頸
  • 調查並解決快取、資料扭曲、記憶體溢寫及隨機顯示效能問題
  • 從 Azure Databricks 實作日誌串流到 Azure Log Analytics 以進行集中監控

必要條件

必須完成下列必要條件：

  • Azure Databricks 工作空間與叢集的基本知識
  • 對 Apache Spark 概念與筆記本開發的熟悉度
  • 具備資料工程基礎的經驗
  • 對Azure入口網站導航的認識
開始