Microsoft Fabric の Data Factory とは

Microsoft Fabric の Data Factory は、ビジネスの最も困難な課題の 1 つである、分散データを有用な分析情報に変換する際に役立ちます。

組織のデータは、データベース、ファイル、クラウド サービス、レガシ システムなど、さまざまな場所に存在します。 この多様性のせいで、ビジネス全体像を把握するのは難しいです。 Data Factory は、マルチクラウド環境やオンプレミス ゲートウェイを使用したハイブリッド セットアップなど、170 を超えるデータ ソースに接続します。 データを大規模に移動および変換し、分析と意思決定に適した形式に変換するのに役立ちます。

Microsoft Fabric のデータ統合スタックの図。

ビジネスユーザーで初めてのデータ分析戦略を構築する場合でも、複雑なワークフローを作成する開発者であれ、適切なツールが見つかります:

  • データをまとめる
  • きれいにする
  • Lakehouse または Data Warehouse での分析の準備を整える
  • データ ワークフローを自動化する

データ統合とは

データ統合は、戦略的データをまとめ、アクセスして分析できるようにするプロセスです。 これは、データドリブンの意思決定を行いたいと考えるあらゆるビジネスの重要な部分です。

データを統合する方法は多数ありますが、最も一般的な戦略の 1 つは ETL です。 ETL は、抽出、変換、読み込みの略です。 さまざまなソースから情報を取得し、分析できる形式に変換し、分析またはレポート用の共通の宛先システムに読み込みます。 ビジネスのデータ プラットフォームに ETL プロセスを実装すると、データの整合性、品質、アクセシビリティが向上します。

各フェーズの機能を次に示します。

  • 抽出: ソースからデータを読み取り、中央のストレージの場所に移動します。 ソースには、データベース、ファイル、API、Web サイトなどを指定できます。
  • 変換: データをクレンジングし、強化して、簡単に分析できる形式に変換します。 たとえば、SQL データベースからの売上データと、スキャンされた履歴の売上ドキュメントを比較できます。 データを抽出した後、各ソースからデータを変換して同じ形式にし、破損または重複を確認し、データを 1 つのデータセットに結合する必要があります。
  • 読み込み: 変換されたデータを、データ ウェアハウスやデータ レイクなどの変換先システムに書き込みます。 変換先システムでは、データに対してクエリとレポートを実行できます。

ETL または ELT?

データを扱う際には、どのように移動し変革するかが重要であり、組織ごとにニーズは異なります。 例えば、ETL(抽出、変換、負荷)やELT(抽出、負荷、変換)を考えてみましょう。 それぞれの方法には、パフォーマンス、スケーラビリティ、コストのニーズに応じて強みがあります。

ETL: データを宛先に読み込む前に変換します。 この方法は、データの移動に合わせてクリーンアップ、標準化、または充実させる必要がある場合に有効です。 たとえば、Data Factory の Dataflow Gen2 を使用して、データをウェアハウスまたは Lakehouse に読み込む前に大規模な変換を適用します。

ELT: 最初に生データを読み込み、その後、保存場所で変換します。 この方法では、Fabric の OneLake、Spark Notebook、SQL ベースのツールなどの分析エンジンの機能を使用します。 ELT は、最新のクラウド 規模のコンピューティングを使用して大規模なデータセットを処理する場合に適しています。

Fabric Data Factory では、両方がサポートされています。 次のようにすることができます。

  • データの品質と準備をすぐに行う従来の ETL パイプラインを構築する
  • ELT ワークフローを使用して、大規模な変換に統合されたコンピューティングとストレージを利用する
  • 同じソリューションで両方のアプローチを組み合わせて柔軟性を高める

Data Factory は強力なデータ統合ソリューションです

Data Factory は、データに接続し、データを移動し、変換し、データ移動と変換のタスクを 1 か所から調整します。 ビジネスに最適な戦略を決定し、Data Factory にはそれを実現するためのツールが用意されています。

データに接続する: オンプレミス、クラウド、マルチクラウド環境のいずれであっても、Data Factory はデータ ソースと宛先に接続します。 データベース、データ レイク、ファイル システム、API など、さまざまなデータ ソースがサポートされています。 サポートされているデータ ソースと変換先の完全な一覧については、 使用可能なコネクタ を参照してください。

データの移動: Data Factory には、データをソースから宛先に移動する方法や、ニーズに応じて既存のデータに簡単にアクセスできる方法がいくつか用意されています。

  • コピー ジョブ - 一括コピー、増分コピー、変更データ キャプチャ (CDC) レプリケーションなど、複数の配信スタイルをネイティブにサポートして、データ移動を簡略化するための推奨ソリューションです。 また、多様な情報源から目的地までの幅広いシナリオを直感的で使いやすい体験で柔軟に対応できます。
  • コピー アクティビティ - 広範なカスタマイズ、さまざまなソースとコピー先のサポート、パフォーマンス向上のための並列コピーの手動制御を使用して、任意の規模でデータを 1 か所から別の場所に移動します。
  • ミラーリング - Microsoft Fabric の OneLake 内に運用データベースのほぼリアルタイムのレプリカを作成して、分析とレポートを簡単にします。

シナリオに適したデータ移動方法を選択するには、 データ移動の決定ガイド を参照してください。

変換: Data Factory には、カスタム変換スクリプトまたは強力なデータフロー デザイナーに接続するためのアクティビティが用意されています。

  • パイプライン アクティビティ - Fabric ノートブック、HDInsight アクティビティ、Spark ジョブ定義、ストアド プロシージャ、SQL スクリプトなど。 これらのアクティビティを使用すると、カスタム コードまたはスクリプトを実行してデータを変換できます。
  • Dataflow Gen2 - 300 を超える変換を含むロー コード インターフェイスを使用してデータを変換します。 結合、集計、データ クレンジング、カスタム変換などを実行できます。
  • dbt ジョブ - Microsoft Fabric の dbt ジョブを使用すると、Fabric で SQL ベースのデータ変換を直接実行できます。 Fabric データ ウェアハウスの上に dbt モデルを構築、テスト、デプロイするためのシンプルなコードなしのセットアップが提供されます。

調整: Data Factory では、1 つのワークフローで複数のデータ移動、変換、およびその他のアクティビティを実行できるパイプラインを作成できます。

AI搭載のデータ統合

Data Factoryの各地にAIが登場し、より少ない労力でより多くの成果を上げる手助けをします。 Copilot for Data Factoryは、自然言語を使ってパイプラインやデータフローを設計、編集、管理できます。 プレーン英語のプロンプトを入力すると、Copilot はそれらを作業 ETL ステップに変換します。

Copilot では、既存のデータフロー クエリとパイプラインの概要も示されるので、その動作をすばやく理解できます。 エラーが発生した場合、Copilot は問題の原因を説明し、修正方法を提案します。

詳細については、 Data Factory ワークロードの Fabric の Copilot に関するページを参照してください。

開始するには何が必要ですか?

Azure Data Factoryを既に使用している場合はどうしますか?

Microsoft Fabric の Data Factory は、最も複雑なデータ統合の課題に簡単なアプローチで対処するために構築された次世代の Azure Data Factory です。

これら 2 つのサービスの主な違いについては、比較ガイドを参照して、企業に適した選択を行うことができます。

移行の準備ができたら、Azure Data FactoryとAzure Synapseパイプラインの移行ガイドに従ってください。

Fabric Data FactoryパイプラインSLAとは何ですか?

FabricのパイプラインSLAは、Azure Data FactoryのパイプラインSLAと同等です:「MicrosoftはData Factoryリソースに対する操作要求を少なくとも99.9%の確率で正常に処理することを保証しています。 また、すべての活動が予定された実行時間から4分以内に開始されることが少なくとも99.9%の確率で保証されています。 Data Factoryのサービスレベル契約(SLA)全文をお読みください。」

関連コンテンツ

詳細と Microsoft Fabric の使用を開始するには、次のガイドに従ってください。

  • Last updated on