Microsoft Fabric Data Engineeringは、ユーザーが組織が大量のデータを収集、保存、処理、分析するためのインフラやシステムの設計、構築、保守を可能にします。
Fabricは、データへのアクセスが容易で整理され、高品質であることを保証するために、さまざまなデータエンジニアリング機能を提供しています。 データ エンジニアリングのホームページにアクセスするには、ナビゲーション ウィンドウから [ワークロード ] を選択し、[ データ エンジニアリング ] タイルを選択します。 データ エンジニアリングのホームページでは、次のことができます。
Lakehouse を使用してデータを作成および管理する
レイクハウスにデータをコピーするためのパイプラインを設計する
Spark ジョブ定義を使用してバッチ/ストリーミング ジョブを Spark クラスターに送信する
Notebookを使用してデータ インジェスト、準備、変換のコードを記述する
レイクハウス
Lakehouses は、組織がさまざまなツールやフレームワークを使用してそのデータを処理および分析することで、構造化データと非構造化データを 1 つの場所に格納および管理できるデータ アーキテクチャです。 これらのツールとフレームワークには、SQL ベースのクエリと分析のほか、機械学習やその他の高度な分析手法を含めることができます。
Apache Spark ジョブ定義
Spark ジョブ定義は、Spark クラスターでジョブを実行する方法を定義する一連の手順です。 これには、入力データ ソースと出力データ ソース、変換、Spark アプリケーションの構成設定などの情報が含まれます。 Spark ジョブ定義を使用すると、バッチ/ストリーミング ジョブを Spark クラスターに送信し、lakehouse でホストされているデータにさまざまな変換ロジックを他の多くのものを適用できます。
Notebook
Notebookは対話型コンピューティング環境であり、ユーザーはライブ コード、数式、視覚化、説明テキストを含むドキュメントを作成して共有できます。 ユーザーは、Python、R、Scala など、さまざまなプログラミング言語でコードを記述して実行できます。 Notebookは、データ インジェスト、準備、分析、その他のデータ関連タスクに使用できます。
パイプライン
パイプラインは、生の形式から分析と意思決定に使用できる形式にデータを収集、処理、変換できる一連の手順です。 これらは、信頼性の高いスケーラブルで効率的な方法でデータをソースから宛先に移動する方法を提供するため、データ エンジニアリングの重要なコンポーネントです。
Fabricトライアルに登録するとData Engineeringは無料で利用できます。 Fabric容量やFabric予約容量を購入することもできます
関連コンテンツ
データエンジニアリングを始める
- 湖畔の家についてもっと知りたい方は、「Fabricの湖畔ハウスとは何か?」をご覧ください。
- 湖畔の家を始めるには、「Fabricで湖の家を作る」をご覧ください。
- Apache Spark ジョブ定義の詳細については、「Apache Spark ジョブ定義とは」を参照してください。
- Apache Spark ジョブ定義の使用を開始するには、「Fabricで Apache Spark ジョブ定義を作成する方法」を参照してください。
- Notebookの詳細については、「Notebookを作成し、を実行する」を参照してください。
- パイプライン コピー アクティビティの使用を開始するには、「コピー アクティビティを使用してデータをコピーする方法」を参照してください。