Apache Sparkのジョブ定義を監視してください

Sparkジョブ定義項目のインライン監視を用いて、以下のことを追跡できます:

  • 実行中のSparkジョブ定義の進捗と状況を監視してください。
  • 過去のSparkジョブ定義実行の状況と期間を確認できます。

この情報は、ワークスペース内の 「最近の実行 」コンテキストメニューから取得するか、モニターペインのSparkジョブ定義アクティビティを閲覧することで取得できます。

スパークジョブ定義インライン監視

Sparkジョブ定義のインライン監視機能により、Sparkジョブ定義の提出や実行状況をリアルタイムで確認できます。 また、Sparkジョブ定義の過去の実行や設定を閲覧でき、 Sparkアプリケーションの詳細 ページに移動して詳細を見ることもできます。

Sparkジョブ定義のインライン監視を示すスクリーンショットです。

ワークスペース内のSparkジョブ定義アイテムビュー

ワークスペースのホームページにある「 最近の実行 」コンテキストメニューから、特定のSparkジョブ定義項目に関連するジョブランにアクセスできます。

ワークスペース上のSparkジョブ定義項目ビューのスクリーンショットです。

Sparkジョブの定義はMonitorパネルで実行されます

Sparkジョブ定義に関連するすべてのSparkアプリケーションを見るには、 モニターのペインにアクセスしてください。 Item Type列をソートまたはフィルタリングして、Sparkジョブ定義に関連するすべての実行活動を表示します。

スパークジョブの定義がモニターペインで実行されているスクリーンショットです。

Apache Sparkアプリケーションの詳細を確認した後の次のステップは、ノートブックセルの下にあるSparkジョブの進行状況を確認することです。 参照できます