Lakeflow Connect には、マネージド インジェスト パイプラインを最適化するためのパターンと手法が用意されています。 これらのパターンを使用して、取り込まれるデータの制御、パイプラインの更新の管理、高度な動作の構成を行います。
このセクションの一般的なパターンは、すべてのコネクタでサポートされているわけではありません。
| トピック | Description |
|---|---|
| 列の選択 | インジェスト中に特定の列を選択または除外して、データ量を減らし、パフォーマンスを向上させます。 |
| 連続モード | CDCの統合パイプラインを常時オンストリームとして運用し、低遅延で取り込みます。 |
| デルタ テーブルのプロパティ | パイプライン仕様を通じて、型の拡張などの Delta Lake テーブル プロパティを宛先テーブルに設定します。 |
| 完全更新 | ソース システムからデータを強制的に完全に再読み込みします。 |
| 液体クラスタリング | 変換先テーブルで液体クラスタリングを有効にして、データ レイアウトを最適化し、クエリのパフォーマンスを向上させます。 |
| 履歴の追跡 | 緩やかに変化するディメンション (SCD) タイプ 2 を使用して、データの履歴変更を追跡します。 |
| コストを監視する | システム テーブルを使用してパイプラインコストを追跡し、使用パターンを監視します。 |
| 複数の宛先パイプライン | 1 つのソースから複数の宛先テーブルまたはカタログにデータを取り込みます。 |
| パイプラインのメンテナンス | パイプラインの更新、一時停止、およびトラブルシューティングのワークフローを管理します。 |
| パイプラインのタグ付け | リソース編成、所有権の追跡、コスト属性にパイプライン タグを適用します。 |
| 行のフィルタリング | SQL に似た条件を使用して、インジェスト中に行をフィルター処理します。 |
| スマートクロージャー | トリガーされた統合 CDC パイプライン更新がソースに追い付いた後に自動的に停止し、コストを削減し、更新ランタイムを境界付けする方法について説明します。 |
| 別名で実行 の識別情報を構成する | パイプラインの実行時に使用されるアイデンティティの権限を構成します。 |
| ソース データ リネージ | ソース テーブルが Unity カタログのエンドツーエンドの系列ビューに表示されるように、取り込まれたデータのソース テーブル系列を追跡します。 |
| コピー先テーブルに名前を付けます | 宛先テーブルに名前を付ける 既定では、変換先テーブルには、対応するソース テーブルの名前が指定されます。 ただし、同じスキーマで同じソース オブジェクトを 2 回取り込む場合は、変換先テーブルに名前を付けると便利です。 マネージド コネクタは、同じ宛先スキーマ内の重複するテーブル名をサポートしていません。 宛先テーブルに名前を付けて、組織の名前付け規則に合わせてテーブルを配置することもできます。 |
| TLS サーバー証明書の検証 | データベース コネクタ パイプラインの TLS 証明書検証を構成して、ソース データベース サーバーの ID を確認し、中間者 (PITM) 攻撃を防ぎます。 |