データの読み込みと変換、データ品質チェックの適用、ターゲット テーブルへの結果の書き込みによって、Lakeflow パイプラインを構築します。 次のトピックでは、パイプラインの構築と実行に関連するタスクについて説明します。
パイプラインの背後にある宣言的な概念(データセット、フロー、パイプライングラフ)を学びたい方は、「 パイプラインの概念」を参照してください。 詳細なチュートリアルについては、「 チュートリアル: 変更データ キャプチャを使用して ETL パイプラインを構築する」を参照してください。
| トピック | 説明 |
|---|---|
| Lakeflow パイプライン エディターでの開発 | パイプライン グラフ、データ プレビュー、選択的実行を使用して、エディターでパイプラインを作成、実行、デバッグします。 |
| パイプライン開発に Genie Code を使用する | エディタ内のGenie Codeで、単一のプロンプトからパイプラインコードを生成、編集、デバッグできます。 |
| ID と特権を管理する | パイプラインを実行する ID と、パイプラインとその出力を作成、実行、更新、および表示できるユーザーを制御します。 |
| データの読み込み | クラウド オブジェクト ストレージとストリーミング メッセージ バスからパイプラインにデータを取り込みます。 |
| データの変換 | 変換、結合、集計を適用して、派生データセットを構築します。 |
| ストリーミング テーブルの完全更新 | すべてのソース データを再処理して、ストリーミング テーブルを再構築します。 |
| データ品質 | 期待どおりにレコードを検証し、レコードが失敗したときの動作を制御します。 |
| データセットを書き込む | Apache Kafka や Azure Event Hubs などのシンクにパイプラインの結果を書き込み、フローを使用してストリーミング ターゲットに書き込みます。 |