Analytics 従量課金ゾーンのコンセプト

Analytics Consumption Zone (ACZ) は、選択したエンティティ データを Azure Data Manager for Energy から Azure Data Lake Storage Gen2 アカウントにエクスポートします。 ACZ は、Azure Data Manager for Energy データをオープン Delta Parquet 形式で書き込みます。 Microsoft FabricやAzure Databricksなどのサービスでは、この形式を直接読み取ることができます。

プレビュー期間中、ACZ は開発者層インスタンスでのみ使用でき、許可リストを使用する必要があります。 分析消費ゾーンの有効化に関するページのガイダンスに従って、Microsoft担当者にお問い合わせください。

ACZ とは

ACZ はマネージド同期レイヤーです。 エンティティ データは、Azure Data Manager for Energy インスタンスから、所有しているAzure Data Lake Storage Gen2 ストレージ アカウントにエクスポートされます。 その後、そのデータを分析、レポート、機械学習ツールに接続できます。

ACZ の主な特性:

• 顧客所有のストレージ: データが格納されるData Lake Storage Gen2ストレージ アカウントを作成および管理します。 データ所在地の要件がある場合は、地域内の宛先ストレージ アカウントを選択する必要があります。
• オープン形式: Delta Parquet 形式でデータをエクスポートします。 分析エンジンでは、この形式が広くサポートされています。
• Selective sync: 同期するエンティティの種類を選択します。オプションには、カタログの種類と Wellbore Domain データ管理 Service (DDMS) の種類が含まれます。
• 履歴同期と増分同期: ACZ から既存のデータの初期スナップショットを取得します。 その後、ACZ は変更が発生したときに同期します。
• API ドリブン: REST API を使用して ACZ を完全に構成および管理します。

アーキテクチャ

次の図は、ACZ データ フローを示しています。

ACZ のしくみ

サポートされているエンティティ型

ACZ は、エネルギー エンティティ型の Azure Data Manager の 2 つのカテゴリを同期します。

ACZ インスタンスを作成するときは、次のように指定して、同期するエンティティの種類を指定します。

• catalogKinds: カタログの種類のパターンの一覧 (たとえば、 osdu:wks:master-data--Well:*)。
• wellboreDDMSKinds: Wellbore DDMS の種類パターンの一覧 (例: osdu:wks:work-product-component--WellLog:*)。

これらのパターン (ルール) は、ACZ がエクスポートし、同期を維持する Azure Data Manager for Energy のレコードを決定するフィルターとして機能します。

allCatalogSync フラグを使用する

allCatalogSync フラグは、ACZ インスタンスの作成時に指定できる省略可能なブール型パラメーターです。 trueに設定すると、データ パーティションからすべてのカタログの種類が同期されます。

主な動作:

• allCatalogSyncは、要求本文の セクションのconfigurationで指定されます。
• allCatalogSync: trueすると、ACZ はすべてのカタログの種類を自動的にエクスポートします。
• 構成内の catalogKinds 配列と wellboreDDMSKinds 配列は、カタログ データでは無視されます。
• Wellbore DDMS 一括ファイルのダウンロードは、このフラグの 影響を受けません 。 ファイルは、 wellboreDDMSKindsに明示的に一覧表示されている種類の場合にのみダウンロードされます。

構成例:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

バージョンの種類

ACZ インスタンスを作成するときは、エンティティ バージョンの処理方法を選択します。

ライフサイクルの状態

各 ACZ は、次の状態を通過します。

履歴スナップショット

新しい ACZ インスタンスを作成すると、サービスは履歴スナップショットを取得します。 このスナップショットは、構成されたエンティティの種類 (catalogKinds と wellboreDDMSKinds) に一致するすべての既存のレコードをエクスポートします。 スナップショットは次の状態で進行します。

スナップショットが完了すると、ACZ は増分モードに切り替わります。 新規および更新されたレコードをほぼリアルタイムでキャプチャします。

ACZ によるデータ変更の処理方法

ACZ は、作成、更新、および削除されたレコードを Azure Data Manager for Energy から Delta テーブルに伝達します。

• 作成と更新: レコードを作成したりデータ ブロックを変更したりすると、Azure Data Manager for Energy によって新しいバージョンが作成されます。 ACZ は変更を検出し、Delta テーブルに新しい行を書き込みます。
• メタデータのみの更新: PATCH 操作が新しいバージョンを作成せずにアクセス制御リスト、法的、またはタグを変更すると、ACZ はこの変更を検出し、既存の行でマージ アップサートを実行します。
• Soft deletes: Azure Data Manager for Energy でレコードを論理的に削除すると、ACZ は isActive フィールドを削除するのではなく、行の False に設定します。 論理削除は、監査やタイムトラベルクエリのために履歴を保持します。
• Purges: Azure Data Manager for Energy でレコードを消去すると、ACZ は Delta テーブルからレコードを完全に削除します。 行は削除され、ACZ データから回復することはできません。

データ出力形式

ACZ は、Parquet でエンコードされたファイル () を使用して DELTA_PARQUET 形式でデータを書き込みます。 Delta Lake では、アトミック性、一貫性、分離、持続性のトランザクションがサポートされます。 また、時間移動と効率的な増分読み取りもサポートされます。

Data Lake Storage Gen2 フォルダー構造

ACZ は、Data Lake Storage Gen2 ストレージ アカウント内のデータをフォルダー別に整理します。 各 ACZ インスタンスは、コンテナーの下、または指定した場合はベース パスの下に独自のフォルダーを取得します。 ACZ パーティションは、Delta Lake テーブルを種類別にカタログ化します。 DDMS エンティティの種類とレコード ID ごとに 1 つのフォルダー。

フォルダー レイアウト

重要な詳細

Delta テーブル スキーマ

Delta テーブルには、次のフィールドがあります。

制限とアクセス

プレビューの制限

認証と承認

ACZ には次のものが必要です。

• API アクセス: ACZ API を呼び出すには、 users@{data-partition-id}.dataservices.energy グループと users.datalake.ops@{data-partition-id}.dataservices.energy グループに属している必要があります。
• ストレージ アクセス: マネージド ID には、Data Lake Storage Gen2 コンテナーに対するストレージ BLOB データ共同作成者ロール (またはそれと同等のもの) が必要です。 プレビュー中は、ID の詳細をMicrosoftと共有して、ID を許可リストに追加します。
• Azure エネルギー アクセス用データ マネージャー: マネージド ID を Azure Data Manager for Energy リソースに割り当てる必要があります。

関連するコンテンツ

• Analytics Consumption Zone を有効にする
• チュートリアル: ACZ API を使用する
• ACZ データを Fabric に接続する
• ACZ データを Azure Databricks