Data Factory for Microsoft Fabric でコピージョブを作成する方法について説明します

Data Factory のコピージョブを使用すると、パイプラインを作成しなくても、ソースからコピー先にデータを簡単に移動できます。バッチコピーと増分コピーの両方に組み込みのパターンを使用してデータ転送を設定し、1 回またはスケジュールに従ってコピーできます。この記事の手順に従って、データベースまたはストレージからデータのコピーを開始します。

ヒント

コピージョブでサポートされているすべてのコネクタの一覧をご覧ください。

データベースからデータを取り込むコピージョブを作成する

データベースからデータを移動するコピージョブを設定するには、次の手順に従います。

新しいワークスペースを作成するか、既存のワークスペースを使用します。
[ + 新しい項目] を選択し、[ ジョブのコピー ] アイコンを選択し、コピージョブに名前を付け、[ 作成] を選択します。
データのコピー元のデータベースを選択します。この例ではAzure SQL Databaseを使っていますが、「データソースを選択する」ウィンドウの上部にいくつかのオプションがあります。
Azure SQL Databaseの場合は、サーバーパスと認証情報を入力します。オンプレミスまたは仮想ネットワークゲートウェイを使用して、仮想ネットワーク環境内でデータを安全にコピーできます。他のデータベースでは接続の詳細が異なります。
コピーする テーブル と列を選択するか、データベースクエリを使用してデータのサブセットをコピーします。検索ボックスを使用して、コピーする完全なテーブルと列を特定するか、[クエリ] で [+ 新しいクエリ ] を選択してカスタムクエリを作成します。
宛先ストアを選択します。この例では、別のAzure SQL Databaseを使用しています。
(省略可能)[ 更新方法 ] を選択して、データを宛先に書き込む方法を決定します。 [マージ] を選択した場合は、各行を識別するキー列を選択します。
(省略可能) テーブルまたは列のマッピング を構成して、変換先のテーブルまたは列の名前を変更するか、データ型変換を適用します。既定では、データはソースと同じテーブル名、列名、およびデータ型でコピーされます。
コピーモードを選択します。完全なデータコピーまたは増分コピーです。この例では、 増分コピーを使用します。各テーブルの増分列を選択して、変更された行を追跡します。プレビューボタンを使用して、適切な列を見つけることができます。

注記

増分コピーモードを選択すると、コピージョブは最初にフルロードを実行し、次の実行時に増分コピーを実行します。
ジョブの概要を確認し、実行オプションを選択して 1 回またはスケジュールに従って実行し、[ 保存 + 実行] を選択します。
コピージョブはすぐに開始され、行数や各テーブルのコピー期間などの情報を含むインライン監視パネルからジョブの状態を追跡できます。詳細については、「コピージョブを監視する方法」を参照してください
スケジュールに従って実行するように設定されている場合でも、コピージョブは必要に応じていつでも実行できます。 [ 実行 ] ボタンを選択するだけで、コピージョブは前回の実行以降に変更されたデータのみをコピーします。
コピージョブは、コピーするテーブルや列の追加や削除、スケジュールの構成、詳細設定の調整など、いつでも編集できます。増分列の更新など、一部の変更によって増分コピーがリセットされ、次回の実行時に最初の完全読み込みから開始されます。

ストレージからファイルを取り込むコピージョブを作成する

ファイルストレージからデータを移動するコピージョブを設定するには、次の手順に従います。

新しいワークスペースを作成するか、既存のワークスペースを使用します。
[ + 新しい項目] を選択し、[ ジョブのコピー ] アイコンを選択し、コピージョブに名前を付け、[ 作成] を選択します。
データのコピー元のデータストアを選択します。この例では、 Azure Data Lake Storage Gen2 を使用しました。
Azure Data Lake Storage Gen2 に接続するには、 ストレージ URL と 資格情報 を入力して Azure Data Lake Storage Gen2 に接続します。他のデータストアの場合、接続の詳細は異なります。オンプレミスまたは仮想ネットワークゲートウェイを使用して、仮想ネットワーク環境内でデータを安全にコピーできます。
コピーする フォルダー または ファイル を選択します。検索ボックスを使用して、特定のファイルまたはフォルダーを検索できます。

ヒント

スキーマに依存しない (バイナリコピー) は 、スキーマを解析せずにファイルを別のデータストアにコピーします。このアプローチはコピー性能を大幅に向上させることができます。
宛先ストアを選択します。この例では、 Lakehouse を選択しました。
宛先ストレージの フォルダーパス を選択します。ソースと同じフォルダー構造を維持するには [ 階層の保持 ] を選択し、すべてのファイルを 1 つのフォルダーに配置する 場合は [階層のフラット化 ] を選択します。
コピーモードを選択します。完全なデータコピーまたは増分コピーです。この例では、 増分コピー を使用して、コピージョブが最初の実行時にすべてのファイルをコピーし、次の実行時に新規または更新されたファイルのみをコピーします。
ジョブの概要を確認し、実行オプションを選択して 1 回またはスケジュールに従って実行し、[ 保存 + 実行] を選択します。
コピージョブはすぐに開始され、各ファイルの行数やコピー時間などの情報があるインライン監視パネルからジョブのステータスを追跡できます。詳しくは、コピージョブを監視する方法をご覧ください。
スケジュールに従って実行するように設定されている場合でも、必要に応じてコピージョブを再実行できます。 [ 実行 ] ボタンを選択するだけで、コピージョブは前回の実行以降に変更されたデータのみをコピーします。
スケジュールの構成や詳細設定の調整など、コピージョブはいつでも編集できます。

コピージョブにデータソースを選択する

コピージョブのためのデータを得るには、この経験では複数のソースおよび宛先の選択オプションが提供されています。求める内容に応じて、「データ取得体験」の上部から以下を選択してください:

ホーム:

ホームページは、すべてのモジュールの概要として機能し、プロセスを迅速化してデータに近づけるためのさまざまなオプションを提供します。通常、このモジュールには既存のデータソースが含まれており、新しいデータソース、テーブル、およびアップロードファイルを使用するオプションが提供されます。ホームページから、[新しいソース]、[最近使用した (プレビュー)]、および OneLake カタログ セクションの右側にある [詳細を表示] を選択して、これらのモジュールにアクセスできます。
新作:

新しいモジュールは新しいデータソースモジュールであり、コネクタの完全な一覧から選択できます。このページでは、ページの上部にある検索バーを使用して、すべてのカテゴリのコネクタを検索できます。カテゴリ間を移動して、統合する特定のコネクタを見つけることもできます。コネクタを選択すると、接続設定ウィンドウが開き、接続プロセスが開始されます。
OneLakeカタログ:

Microsoft Fabricでは、OneLake カタログ モジュールを使用すると、アクセス権を持つ組織内のFabricデータ項目を簡単に検索、探索、および使用できます。項目とそれらを操作するためのエントリポイントに関する情報が提供されます。 OneLake カタログの詳細については、 OneLake カタログを参照してください。
Azure:

Azure モジュールを使用すると、Azure SQL Database、Azure Blob Storage、Azure Data Lake StorageなどのAzureでホストされるデータソースに接続できます。
サンプルデータ:

サンプルデータは、Fabricツールを探索したりシナリオをテストしたりするために、自分のデータソースに接続せずに利用できる準備済みデータセットを提供します。さまざまなサイズやタイプのサンプルデータセットから選択できます。
新しいFabricアイテム:

新しいFabric項目モジュールを使用すると、宛先として使用するMicrosoft Fabric項目を作成できます。このモジュールは、サポートされているMicrosoft Fabric エクスペリエンスで宛先を選択したときに表示されます。