まとめ

このモジュールでは、 Unity カタログにデータを読み込むための Azure Databricks で使用できる包括的なデータ インジェスト手法のセットについて説明しました。 マネージド コネクタからカスタム ノートブック コードまで、宣言型 SQL コマンドからリアルタイム ストリーミングまで、各アプローチは特定のデータ パターンと組織の要件に対応します。

Lakeflow Connect で、組み込みの変更データ キャプチャと SCD サポートを備えたマネージド コネクタを提供することで、エンタープライズ ソースからのインジェストを簡略化する方法について学習しました。 DataFrames と Spark Structured Streaming API を使用して ノートブックベースのインジェスト を調べて、インジェスト ロジックを完全に制御しました。 やCOPY INTOなどの CREATE TABLE AS SELECTが、ファイルベースのバッチ読み込みの宣言型オプションを自動ファイル追跡と共に提供する方法を発見しました。

増分処理では、AUTO CDC API を使用して CDC フロー を実装し、挿入、更新、および削除をターゲット テーブルに効率的に適用しました。 Kafka と Event Hubs からのイベントを正確に 1 回の保証でリアルタイムで処理するように Spark 構造化ストリーミング を構成しました。 自動ローダーを設定して、スキーマ推論と進化機能を使用して新しいファイルを自動的に検出して取り込みます。 最後に、 Lakeflow パイプライン を使用して、自動オーケストレーションとエラー処理を使用してエンドツーエンドのインジェスト ワークフローを調整しました。

組織のデータ パイプラインを構築するときは、各ソース システムの特性に最も適したインジェスト方法を検討します。 一般的なエンタープライズ ソースで使用できる場合は、マネージド コネクタを使用します。 複雑な変換やカスタムロジックが必要なソースには、ノートブックを選択してください。 自動スキーマ処理を使用して、ファイル ベースのストリーミングに自動ローダーを適用します。 組み込みの信頼性機能を活用するために、Lakeflow パイプラインを使用して取り込みフローをオーケストレーションします。 これらの手法を使用すると、高品質のデータを効率的かつ確実に Lakehouse に配信する堅牢なインジェスト パイプラインを構築できます。