Conceptos de la zona de consumo de Analytics

Analytics Consumption Zone (ACZ) exporta datos de entidad seleccionados de Azure Data Manager for Energy a la cuenta de Azure Data Lake Storage Gen2. ACZ almacena los datos de Azure Data Manager for Energy en formato abierto Delta Parquet. Los servicios como Microsoft Fabric y Azure Databricks pueden leer este formato directamente.

Durante la versión preliminar, ACZ solo está disponible en instancias de nivel de desarrollador y requiere el uso de listas de permitidos. Siga las instrucciones de Enable Analytics Consumption Zone (Habilitar zona de consumo de Analytics) y póngase en contacto con su representante de Microsoft.

¿Qué es ACZ?

ACZ es una capa de sincronización administrada. Exporta los datos de entidades de su instancia de Azure Data Manager for Energy a una cuenta de almacenamiento de Azure Data Lake Storage Gen2 de su propiedad. Después, puede conectar esos datos a herramientas de análisis, informes y aprendizaje automático.

Características clave de ACZ:

• Almacenamiento propiedad del cliente: cree y administre una cuenta de almacenamiento Data Lake Storage Gen2 donde van los datos. Usted es responsable de seleccionar una cuenta de almacenamiento de destino en la zona geográfica si tiene requisitos de residencia de los datos.
• Formato abierto: sus exportaciones de datos se realizan en formato Delta Parquet. Los motores de análisis admiten ampliamente este formato.
• Selective sync: elija los tipos de entidad que se van a sincronizar. Las opciones incluyen tipos de catálogo y tipos de dominio de Wellbore Administración de datos Service (DDMS).
• Sincronización histórica e incremental: obtiene una instantánea inicial de los datos existentes de ACZ. A continuación, ACZ sincroniza los cambios a medida que se producen.
• Controlado por API: puede configurar y administrar ACZ por completo a través de las API REST.

Architecture

En el diagrama siguiente se muestra el flujo de datos de ACZ.

Funcionamiento de ACZ

Tipos de entidad admitidos

ACZ sincroniza dos categorías de tipos de entidad de Azure Data Manager for Energy.

Cuando se crea una instancia de ACZ, se especifican los tipos de entidad que se van a sincronizar proporcionando:

• catalogKinds: una lista de patrones de tipo de catálogo (por ejemplo, osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: una lista de patrones de tipo DDMS de Wellbore (por ejemplo, osdu:wks:work-product-component--WellLog:*).

Estos patrones de tipo actúan como filtros que determinan qué registros de Azure Data Manager for Energy exporta y mantiene sincronizados ACZ.

Uso de la marca allCatalogSync

La allCatalogSync marca es un parámetro booleano opcional que puede especificar al crear una instancia de ACZ. Cuando se establece en true, sincroniza todos los tipos de catálogo de la partición de datos.

Comportamientos clave:

• allCatalogSync se especifica fuera de la sección configuration en el cuerpo de la solicitud.
• Cuando allCatalogSync: true, ACZ exporta todos los tipos de catálogo automáticamente.
• Las matrices catalogKinds y wellboreDDMSKinds de la configuración se ignoran en los datos de catálogo.
• Las descargas masivas de archivos DDMS de Wellbore no se ven afectadas por esta marca. Los archivos solo se descargan para los tipos enumerados explícitamente en wellboreDDMSKinds.

Configuraciones de ejemplo:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Tipos de versión

Al crear una instancia de ACZ, elija cómo controlar las versiones de entidad.

Estados de ciclo de vida

Cada ACZ pasa por estos estados:

Instantánea histórica

Al crear una nueva instancia de ACZ, el servicio toma una instantánea histórica. Esta instantánea exporta todos los registros existentes que coinciden con los tipos de entidad configurados (catalogKinds y wellboreDDMSKinds). La instantánea avanza a través de los siguientes estados:

Una vez finalizada la instantánea, ACZ cambia al modo incremental. Captura registros nuevos y actualizados casi en tiempo real.

Cómo controla ACZ los cambios de datos

ACZ propaga los registros creados, actualizados y eliminados de Azure Data Manager for Energy a las tablas Delta.

• Creaciones y actualizaciones: al crear un registro o cambiar su bloque de datos, Azure Data Manager for Energy crea una nueva versión. ACZ detecta el cambio y escribe una nueva fila en la tabla Delta.
• Actualizaciones solo de metadatos: cuando una operación PATCH cambia la lista de control de acceso, la configuración de retención legal o las etiquetas sin crear una nueva versión, ACZ detecta este cambio y ejecuta una operación de inserción o actualización de combinación en la fila existente.
• Eliminaciones lógicas: Cuando elimina lógicamente un registro en Azure Data Manager for Energy, ACZ establece el campo isActive en False en la fila en lugar de eliminarlo. Las eliminaciones temporales conservan el historial de las consultas de auditoría y viaje en el tiempo.
• Purges: al purgar un registro en Azure Data Manager for Energy, ACZ quita permanentemente el registro de la tabla Delta. La fila se elimina y no se puede recuperar de los datos de ACZ.

Formato de salida de datos

ACZ escribe datos en formato Delta Lake con archivos codificados en Parquet (DELTA_PARQUET). Delta Lake admite transacciones con atomicidad, consistencia, aislamiento y durabilidad. También admite lecturas incrementales eficientes y viajes en el tiempo.

estructura de carpetas de Data Lake Storage Gen2

ACZ organiza los datos en la cuenta de almacenamiento de Data Lake Storage Gen2 por carpeta. Cada instancia de ACZ tiene su propia carpeta dentro del contenedor o dentro de la ruta base, si ha especificado una. ACZ divide en particiones las tablas de Delta Lake del catálogo por tipo. Una carpeta por tipo de entidad DDMS e identificador de registro.

Diseño de carpetas

Detalles clave

Esquema de tabla delta

La tabla Delta tiene los siguientes campos:

Límites y acceso

Límites de la versión preliminar

Autenticación y autorización

ACZ requiere:

• Acceso a la API: para llamar a las API de ACZ, debe pertenecer a los users@{data-partition-id}.dataservices.energy grupos y users.datalake.ops@{data-partition-id}.dataservices.energy .
• Acceso de almacenamiento: la identidad administrada necesita el rol Colaborador de datos de Storage Blob (o equivalente) en el contenedor de Data Lake Storage Gen2. Durante la versión preliminar, comparta los detalles de identidad con Microsoft para agregar la identidad a la lista de permitidos.
• Azure Data Manager para el acceso a energía: la identidad administrada debe asignarse al recurso de Azure Data Manager for Energy.

Contenido relacionado

• Habilitar la zona de consumo de análisis
• Tutorial: Uso de las API de ACZ
• Conexión de datos de ACZ a Fabric
• Conexión de datos de ACZ a Azure Databricks