使用Spark UI診斷成本和效能問題

當管線或查詢運行時間比預期更長或花費更高時,單靠程式碼往往很難看出原因。 Spark 介面顯示叢集實際執行了什麼:哪些工作執行了、每個階段花了多久時間、傳輸了多少資料,以及任務失敗的地方。 本指南說明了 Spark UI 中的模式類型,並說明每個模式類型接下來該閱讀哪一頁。 如果你不熟悉驅動程式、工作者、執行者、階段和任務的概念,請在開始前先複習 Spark 架構。

何時使用本指南

當在叢集上執行的工作負載出現以下任何症狀時,請使用本指南:

  • 工作、管道或查詢所花費的時間比預期或過去更長。
  • 一個工作負載的成本比預期還要高,就其處理的資料量而言。
  • 作業或執行器失敗,錯誤訊息無法指出原因。

使用本指南

先從工作時間軸開始。 時間軸顯示工作量的整體形態,每個模式都會連結到診斷該模式的頁面。 請點擊每頁末尾的連結,繼續閱讀本指南。 要診斷工作負載緩慢,請依序遵循以下步驟:

  1. 使用作業時程表來識別主要問題
  2. 查看最長的階段
  3. 尋找扭曲或溢出
  4. 判斷最長階段是否為 I/O 系結
  5. 尋找緩慢階段運行時間 的其他原因

如果工作時間軸顯示失敗的任務、工作間距過長或許多小工作,跳過剩下的步驟,並點選時間軸頁面上的連結找到該模式的頁面。

如何開啟 Spark UI

  1. 瀏覽至叢集的頁面:

    瀏覽至運算

  2. 單擊 [Spark UI] :

    導航至 SparkUI

下一步

接著,檢視活動時間表,以了解你的管線或查詢。 請參閱 工作時程表。