Fabric Data Factory でパイプラインの実行を監視する

この記事では、パイプラインの実行状況を監視する方法について説明します。 状況を確認する必要がある場合でも、特定のトラブルシューティングを行う必要がある場合でも、進行状況を追跡し、問題を早期に特定し、ワークフローをスムーズに実行し続けることができます。 監視は、問題を早期にキャッチし、ワークフローを追跡するのに役立ちます。

パイプライン実行をモニタリングする

1. パイプラインの実行を監視するには、ワークスペース内のパイプラインにカーソルを合わせます。 パイプライン名の右側に [ その他のオプション ](...) ボタンが表示されます。

   

2. その 他のオプション (...) を選択して、オプションの一覧を表示します。 次に、[実行履歴の表示] を選択します。 このアクションにより、画面の右側にフライアウトが開き、最近のすべての実行と実行状態が表示されます。

   

   

3. 前のスクリーンショットから [監視する] を選択して、詳細を表示し、結果をフィルター処理します。 フィルターを使用して、いくつかの条件に基づいて特定のパイプラインの実行を検索します。

   

4. パイプラインの実行のいずれかを選択して、詳細情報を表示します。 パイプラインの外観を表示し、パイプラインの実行に失敗した場合は、実行 ID やエラーなどのその他のプロパティを表示できます。

   

5. パイプラインで 2,000 を超えるアクティビティ実行がある場合は、[ さらに読み込む ] を選択すると、同じ監視ページにさらに結果が表示されます。

   

   

6. [フィルター] を使用してアクティビティの状態でフィルター処理するか、列オプションを使用して監視ビューに表示される列を変更します。

   

   

   [キーワードでフィルター処理してください] ボックスを使用して、アクティビティ名、アクティビティの種類、またはアクティビティの実行 ID を検索することもできます。

   

   

7. 監視データをエクスポートするには、[ CSV にエクスポート] を選択します。

   

8. パイプラインの実行 の入力 と 出力の詳細を確認するには、 アクティビティの実行で関連する行の右側にある入力または出力リンクを選択します。

9. [ パイプラインの更新] を選択して、この画面からパイプラインに変更を加えます。 このアクションにより、パイプライン キャンバスに戻ります。

10. [ 再実行] を選択してパイプラインを再実行します。 パイプライン全体を再実行するか、失敗したアクティビティからのみ再実行することを選択します。

    

11. パフォーマンスの詳細を表示するには、アクティビティの実行の一覧から アクティビティを選択します。 パフォーマンスの詳細ウィンドウが開きます。

    

    詳細については、「 期間の内訳 」と 「詳細」を参照してください。

    

ガントチャートビュー

ガント ビューでは、パイプラインの実行を時間の経過と同時に追跡するための明確で視覚的な方法が提供されます。 各実行は、パイプライン名でグループ化されたバーとして表示され、バーの長さは実行にかかった時間を示します。 このビューを使用して、パターンを特定し、期間を比較し、遅延、重複、または異常を一目で特定します。

バーの長さは、パイプラインの実行時間を表します。 バーを選択して詳細を表示できます。

パイプラインのワークスペース監視

ワークスペースの監視では、パイプラインを含む、ワークスペース内のすべての項目に対してログ レベルの可視性が提供されます。

1. ワークスペースの監視を有効にするには、Fabric ワークスペースのワークスペース設定に移動し、[監視] を選択します。

2. 監視イベントハウスを追加し、 ログ ワークスペース アクティビティを有効にします。 Fabricは、ログを格納するために、ワークスペース内の eventhouse 内に Kusto クエリ言語 (KQL) データベースを作成します。

   

3. Fabric が作成した KQL データベースに移動します。 監視設定の [監視データベース ] リンクから、またはワークスペース内で直接見つけることができます。

   

4. KQL データベース内の ItemJobEventLogs テーブルは、ワークスペースで発生するパイプライン レベルのイベント (L1 監視とも呼ばれます) をキャプチャします。 ログには、パイプライン名、実行状態、タイムスタンプ、システム診断が含まれます。

   

監視イベントハウスで KQL クエリを使用して、次の分析を行います。

• 成功と失敗の傾向
• パフォーマンス メトリック
• トラブルシューティングのエラーの詳細

容量使用率の監視

容量管理者Fabric、Microsoft Fabric容量メトリック アプリを使用して容量リソースを表示できます。 このアプリは、容量が有効なワークスペースで消費される CPU 使用率、処理時間、メモリ パイプライン、データフロー、その他の項目の量を示します。 これを使用して、オーバーロードの原因、ピーク時の需要時間、および最も多くのリソースを消費する項目を特定します。

関連コンテンツ

• パイプライン用オペレーションエージェント
• クイック スタート: データをコピーする最初のパイプラインを作成する
• クイックスタート: 初めての Dataflow Gen2 を作成してデータの取得と変換を行う