Apache Spark 容量の消費を監視する

この記事の目的は、管理する容量のアクティビティを監視する管理者のためのガイダンスを提供することです。 Microsoft Fabric Capacity Metricsアプリで利用可能なApache Spark容量消費レポートを活用することで、管理者はlakehouse、ノートブック、Apache Sparkジョブ定義などのアイテムの請求可能なSpark容量消費量についての洞察を得ることができます。 一部の Spark 容量消費アクティビティは、アプリでは報告されません。

報告される Spark 容量消費

レイクハウス、ノートブック、および Spark ジョブ定義からの次の操作は、課金可能なアクティビティとして扱われます。

工程名 品目 説明
レイクハウスの操作 レイクハウス レイクハウス エクスプローラーのユーザー プレビュー テーブル。
レイクハウスのテーブル読み込み レイクハウス ユーザーはLakehouseエクスプローラーでDeltaテーブルを読み込みます。
ノートブックの実行 Notebook ノートブックはユーザーによって手動で実行されます。
ノートブック HC の実行 Notebook ノートブックはコンカレンシーの高い Apache Spark セッションで実行されます。
ノートブックのスケジュールされた実行 Notebook ノートブックは、ノートブックのスケジュールされたイベントによってトリガーされます。
ノートブックのパイプライン実行 Notebook ノートブックは、パイプラインによってトリガーされて実行されます。
ノートブックの VS Code 実行 Notebook ノートブックは VS Code で実行されます。
Spark ジョブの実行 Spark ジョブ定義 Spark バッチ ジョブは、ユーザーの送信によって開始されます。
Spark ジョブのスケジュールされた実行 Spark ジョブ定義 バッチ ジョブは、ノートブックのスケジュールされたイベントによってトリガーされて実行されます。
Spark ジョブのパイプラインの実行 Spark ジョブ定義 バッチ ジョブは、パイプラインによってトリガーされて実行されます。
Spark ジョブの VS Code 実行 Spark ジョブ定義 VS Code から送信された Spark ジョブ定義。

報告されない Spark 容量消費

一部の Spark 容量消費アクティビティは、メトリック アプリでは報告されません。 これらのアクティビティには、ライブラリ管理用のシステム Spark ジョブと、Spark ライブ プールまたはライブ セッション用の特定のシステム Spark ジョブが含まれます。

  • ライブラリ管理 - ワークスペース レベルのライブラリ管理に関連付けられている容量消費は、メトリック アプリでは報告されません。

  • システム Spark ジョブ - ノートブック、Spark ジョブ定義、またはレイクハウスに関連付けられていない Spark 容量消費は、容量レポートに含まれません。

容量消費レポート

Spark 関連のすべての操作は、バックグラウンド操作として分類されます。 Spark からの容量消費は、ノートブック、Spark ジョブ定義、またはレイクハウスの下に表示され、操作名と項目によって集計されます。

項目レポートを示すスクリーンショット。

バックグラウンド操作レポート

バックグラウンド操作は、特定の タイムポイントに対して表示されます。 レポートの表では、各行はユーザー操作を示します。 [User](ユーザー) 列を確認して、特定の操作を実行したユーザーを特定します。 特定の操作についてさらに情報が必要な場合は、その操作IDを使ってFabricの監視ハブで検索できます。

バックグラウンド操作レポートを示すスクリーンショット。