當管線或查詢運行時間比預期更長或花費更高時,單靠程式碼往往很難看出原因。 Spark 介面顯示叢集實際執行了什麼:哪些工作執行了、每個階段花了多久時間、傳輸了多少資料,以及任務失敗的地方。 本指南說明了 Spark UI 中的模式類型,並說明每個模式類型接下來該閱讀哪一頁。 如果你不熟悉驅動程式、工作者、執行者、階段和任務的概念,請在開始前先複習 Spark 架構。
何時使用本指南
當在叢集上執行的工作負載出現以下任何症狀時,請使用本指南:
- 工作、管道或查詢所花費的時間比預期或過去更長。
- 一個工作負載的成本比預期還要高,就其處理的資料量而言。
- 作業或執行器失敗,錯誤訊息無法指出原因。
使用本指南
先從工作時間軸開始。 時間軸顯示工作量的整體形態,每個模式都會連結到診斷該模式的頁面。 請點擊每頁末尾的連結,繼續閱讀本指南。 要診斷工作負載緩慢,請依序遵循以下步驟:
如果工作時間軸顯示失敗的任務、工作間距過長或許多小工作,跳過剩下的步驟,並點選時間軸頁面上的連結找到該模式的頁面。
如何開啟 Spark UI
瀏覽至叢集的頁面:
單擊 [Spark UI] :
下一步
接著,檢視活動時間表,以了解你的管線或查詢。 請參閱 工作時程表。