イントロダクション

データ エンジニアは、さまざまなソースから効率的かつ確実に統合された分析プラットフォームにデータを取得するという基本的な課題に直面しています。 組織がクラウド ストレージ内のバッチ ファイル、Kafka からのストリーミング イベント、運用データベースからのトランザクション データのいずれを使用する場合でも、データの品質とガバナンスを維持しながら各シナリオを処理するインジェスト方法が必要です。 Azure Databricks の Unity カタログは、この統合アプローチの基盤を提供し、取り込まれたすべてのデータに対して一元的なガバナンスを提供します。

Azure Databricks には、特定のデータ パターンと要件に合わせて最適化された複数のインジェスト手法が用意されています。 Lakeflow Connect には、SQL Server や Salesforce などの一般的なエンタープライズ ソース用のマネージド コネクタが用意されており、カスタム抽出コードは不要です。 ノートブックを 使用すると、Python、SQL、または Scala を使用してインジェスト ロジックを完全に制御できます。 やCOPY INTOなどの CREATE TABLE AS SELECTは、ファイル ベースのインジェストに対する宣言型アプローチを提供します。 リアルタイム ワークロードの場合、 Spark Structured Streaming と Auto Loader は、データが到着した時点で継続的に処理され、正確に 1 回の処理が保証されます。

各手法を適用するタイミングを理解することで、組織に合わせてスケーリングする堅牢なデータ パイプラインを構築できます。 エンタープライズ データ ソース用にマネージド コネクタを構成する方法、カスタム インジェスト シナリオ用のノートブック コードを記述する方法、ファイル ベースのバッチ読み込みに SQL コマンドを使用する方法、変更データ キャプチャ フィードを段階的に処理する方法、Kafka や Event Hubs などのメッセージ バスからデータをストリーム配信する方法、自動ファイル検出用に Auto Loader を構成する方法、Lakeflow パイプラインを使用してインジェスト ワークフローを調整する方法について説明します。

このモジュールを終了すると、任意のデータ ソースに対して適切なインジェスト アプローチを選択して実装し、適切なガバナンスと最適なパフォーマンスで Unity カタログ テーブルにデータを配置できるようになります。