Conceitos da Zona de Consumo de Análise

A Analytics Consumption Zone (ACZ) exporta dados selecionados de entidades do Azure Data Manager for Energy para a sua conta do Azure Data Lake Storage Gen2. O ACZ grava dados do Gerenciador de Dados do Azure for Energy no formato Delta Parquet aberto. Serviços como Microsoft Fabric e Azure Databricks podem ler esse formato diretamente.

Durante a versão prévia, a ACZ está disponível apenas em instâncias da camada Developer e exige o uso de listas de permissões. Siga as diretrizes em Habilitar Zona de Consumo do Analytics e entre em contato com seu representante do Microsoft.

O que é ACZ?

ACZ é uma camada de sincronização gerenciada. Exporta dados de entidades da sua instância do Azure Data Manager for Energy para uma conta de armazenamento do Azure Data Lake Storage Gen2 que você possui. Em seguida, você pode conectar esses dados às ferramentas de análise, relatório e machine learning.

Principais características da ACZ:

• Armazenamento de propriedade do cliente: você cria e gerencia uma conta de armazenamento Data Lake Storage Gen2 para onde seus dados vão. Você será responsável por selecionar uma conta de armazenamento de destino na área geográfica se tiver requisitos de residência de dados.
• Formato aberto: seus dados são exportados no formato Delta Parquet. Os mecanismos de análise dão suporte a esse formato.
• Selective sync: você escolhe quais tipos de entidade sincronizar. As opções incluem tipos de catálogo e tipos DDMS (Wellbore Domain Gerenciamento de Dados Service).
• Sincronização histórica e incremental: Você obtém uma cópia instantânea inicial dos dados existentes na ACZ. Em seguida, a ACZ sincroniza as alterações conforme elas ocorrem.
• Controlado por API: você configura e gerencia a ACZ inteiramente por meio de APIs REST.

Arquitetura

O diagrama a seguir mostra o fluxo de dados ACZ.

Como o ACZ funciona

Tipos de entidade suportados

A ACZ sincroniza duas categorias de tipos de entidade do Azure Data Manager for Energy.

Ao criar uma instância do ACZ, especifique quais tipos de entidade sincronizar fornecendo:

• catalogKinds: uma lista de padrões de tipos de catálogo (por exemplo, osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: Uma lista de padrões de tipo do Wellbore DDMS (por exemplo, osdu:wks:work-product-component--WellLog:*).

Esses padrões de tipo funcionam como filtros que determinam quais registros do Gerenciador de Dados do Azure for Energy o ACZ exporta e mantém sincronizados.

Usar o sinalizador allCatalogSync

O allCatalogSync sinalizador é um parâmetro booliano opcional que você pode especificar ao criar uma instância de ACZ. Quando definido como true, ele sincroniza todos os tipos de catálogo da partição de dados.

Principais comportamentos:

• allCatalogSync é especificado fora da seção configuration no corpo da solicitação.
• Quando allCatalogSync: true, a ACZ exporta todos os tipos de catálogo automaticamente.
• As matrizes catalogKinds e wellboreDDMSKinds na configuração são ignoradas para dados de catálogo.
• Os downloads de arquivo em massa do Wellbore DDMS não são afetados por esse sinalizador. Os arquivos são baixados apenas para tipos explicitamente listados em wellboreDDMSKinds.

Configurações de exemplo:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Tipos de versão

Ao criar uma instância do ACZ, você escolhe como lidar com versões de entidade.

Estados de ciclo de vida

Cada ACZ passa por estes estados:

Instantâneo histórico

Quando você cria uma nova instância ACZ, o serviço cria um snapshot histórico. Esse instantâneo exporta todos os registros existentes que correspondem aos tipos de entidade configurados (catalogKinds e wellboreDDMSKinds). O snapshot passa pelos seguintes estados:

Após a conclusão do instantâneo, o ACZ passa para o modo incremental. Ele captura registros novos e atualizados quase em tempo real.

Como a ACZ lida com alterações de dados

A ACZ propaga registros criados, atualizados e excluídos do Azure Data Manager for Energy para as tabelas Delta.

• Criações e atualizações: quando você cria um registro ou altera seu bloco de dados, Azure Data Manager para Energia cria uma nova versão. A ACZ detecta a alteração e grava uma nova linha na tabela Delta.
• Atualizações somente de metadados: quando uma operação PATCH altera a lista de controle de acesso, as informações legais ou as tags sem criar uma nova versão, a ACZ detecta essa alteração e executa um upsert de merge na linha existente.
• Soft deletes: quando você exclui um registro no Azure Data Manager for Energy, a ACZ define o campo isActive como False na linha em vez de removê-lo. As exclusões temporárias preservam o histórico para fins de auditoria e consultas de recuperação de dados.
• Purges: quando você limpa um registro no Azure Data Manager for Energy, a ACZ remove permanentemente o registro da tabela Delta. A linha é excluída e não pode ser recuperada dos dados do ACZ.

Formato de saída de dados

A ACZ grava dados no formato Delta Lake com arquivos codificados no formato Parquet (DELTA_PARQUET). O Delta Lake dá suporte a transações de atomicidade, consistência, isolamento e durabilidade. Ele também dá suporte a viagens no tempo e leituras incrementais eficientes.

estrutura da pasta Data Lake Storage Gen2

A ACZ organiza dados em sua conta de armazenamento Data Lake Storage Gen2 por pasta. Cada instância do ACZ recebe sua própria pasta dentro do contêiner ou dentro do caminho base, caso você tenha especificado um. O ACZ divide as tabelas do Delta Lake do catálogo por tipo. Uma pasta por tipo de entidade DDMS e ID de registro.

Layout da pasta

Detalhes principais

Esquema de tabela delta

A tabela Delta tem os seguintes campos:

Limites e acesso

Limites de visualização

Autenticação e autorização

ACZ requer:

• Acesso à API: para chamar as APIs da ACZ, você deve pertencer aos grupos users@{data-partition-id}.dataservices.energy e users.datalake.ops@{data-partition-id}.dataservices.energy.
• Acesso ao armazenamento: a identidade gerenciada precisa da função Colaborador de Dados do Blob de Armazenamento (ou equivalente) no contêiner Data Lake Storage Gen2. Durante a visualização, compartilhe os detalhes da identidade com Microsoft para adicionar a identidade à lista de permissões.
• Azure Data Manager for Energy access: a identidade gerenciada precisa ser atribuída ao recurso Azure Data Manager for Energy.

Conteúdo relacionado

• Habilitar zona de consumo de análise
• Tutorial: Como usar APIs ACZ
• Conectar dados do ACZ ao Fabric
• Conectar dados ACZ para Azure Databricks