Lakeflow Designer にデータを取り込む

Azure Databricksを介してアクセスできる任意のデータを、Lakeflow Designer のビジュアル データ準備に取り込むことができます。

Designer のすべてのデータ インジェストは 、Source 演算子で始まります。 ソース オペレーターの構成ウィンドウを開くと、次のオプションがあります。

既存のテーブルを参照する

[ 既存のものを参照 ] をクリックしてアセット セレクターを開き、Unity カタログでテーブルとボリュームを参照します。 データが既にAzure Databricksされている場合は、このオプションを使用します。

Unity カタログ メトリック ビューをソースとして選択することもできます。 メトリック ビューを選択すると、含めるディメンションとメジャーが選択され、デザイナーによって集計クエリが生成されます。

外部データベース接続の作成

未設定の ソース オペレーターで「 外部データベース接続を作成 」を選択して外部データベースに接続します。 Designer は Unity カタログの接続と外部カタログを作成してから、テーブルを選択できるようにそのカタログを開きます。

新しいUnity Catalog接続を作成するには、Unity Catalogメタストアの CREATE CONNECTION および CREATE CATALOG 権限が必要です。

Designerは以下の接続タイプをサポートしています:

  • Amazon Redshift
  • Azure Synapse
  • Databricks
  • Google ビッグクエリ（Google BigQuery）
  • MySQL
  • Oracle
  • PostgreSQL
  • Salesforce Data Cloud
  • Salesforce Data Cloud のファイル共有
  • Snowflake
  • SQL Server
  • Teradata

デザイナーでデータ ソースを直接使用できない場合は、 Lakeflow Connect でマネージド コネクタを確認します。 Lakeflow Connect では、SaaS アプリケーション (Salesforce、Workday、HubSpot など)、データベース、クラウド ストレージ、ストリーミング ソースからのインジェストがサポートされています。 Lakeflow Connect を使用して Unity カタログ テーブルにデータを取り込んだ後は、デザイナーでソースとして使用できます。

フォルダーまたはボリュームを取り込む

Source オペレーターは、個々のファイルではなく、Unity カタログ ボリュームまたはフォルダー パス全体をターゲットにすることができます。 Designer は、フォルダー内のファイルから形式を検出し、それらを 1 つのテーブルに読み込みます。

  • CSV、JSON、Excel、Parquet などの構造化ファイル形式の場合、Designer はすべてのファイルを読み取り、行を 1 つのテーブルに結合します。
  • PDF などのドキュメント ファイルの場合、デザイナーは各ファイルを 1 つの行として読み取るので、ファイルごとに 1 行を取得します。

ファイルをドラッグ＆ドロップします

ワークスペースファイルブラウザやローカルデバイスからキャンバスにファイルをドラッグすると、自動的に ソース オペレーターが作成されます。 ローカルファイルの場合、Designerはオペレーターが読み取れるようにUnity Catalogのボリュームにコピーをアップロードします。

注

Excel ファイルをドラッグ アンド ドロップするには、Excelファイル形式のサポートを有効にする必要があります。 「Excel ファイルの読み取りとストリーム配信」を参照してください。

ファイルからテーブルを作成する

[ソース構成] ウィンドウで [ファイルからテーブルを作成を選択してローカル CSV またはExcel ファイルをアップロードし、そこから Unity カタログ テーブルを作成します。 このオプションは、データをボリュームに格納するのではなく、マネージド テーブルとして保持する場合に使用します。 さらに、大量のデータの場合は、最適なパフォーマンスが提供されます。 アップロードされたファイルは、Unity カタログのボリューム ファイル サイズの制限の対象となります。 Unity カタログ ボリューム内のファイルの操作を参照してください。

Google ドライブからインポートする

Google ドライブからファイルをインポートするには:

  1. [ソースの構成] ウィンドウで、[ Google ドライブからインポート] を選択します。
  2. Google Drive にアクセスできる既存の Unity Catalog 接続を選択するか、Create connection を選択して接続を作成します。
  3. ファイルの URL を指定します。

接続要件や設定手順については、 Google Driveからファイルを取り込む方法をご覧ください。

SharePointからのインポート

SharePointからファイルをインポートするには:

  1. [ソース構成] ウィンドウで、[SharePointを選択します。
  2. 既存のUnity Catalog接続でSharePointサイトにアクセスできるものを選択するか、「接続を作成」を選択して作成してください。
  3. 直接ファイル リンクを指定します。

Warnung

正しい URL を取得するには、SharePointでファイルを右クリックし、Preview を選択し、ブラウザーのアドレス バーから URL をコピーします。 共有リンクは使用しないでください。

接続要件やセットアップ手順については、「SharePointからファイルを取り込む」をご覧ください。

追加リソース

  • 最終更新: