Conceitos da Zona de Consumo de Análise

O Analytics Consumption Zone (ACZ) exporta dados selecionados de entidades do Azure Data Manager for Energy para a sua conta Azure Data Lake Storage Gen2. O ACZ grava dados do Azure Data Manager for Energy no formato aberto Delta Parquet. Serviços como Microsoft Fabric e Azure Databricks podem ler este formato diretamente.

Durante a pré-visualização, o ACZ está disponível apenas em instâncias de nível Developer e requer o uso de listas de autorizações. Siga as orientações em Ativar Zona de Consumo de Análises e contacte o seu representante da Microsoft.

O que é o ACZ?

ACZ é uma camada de sincronização gerida. Ele exporta os dados de entidade da sua instância do Azure Data Manager for Energy para uma conta de armazenamento do Azure Data Lake Storage Gen2 de que é proprietário. Depois pode ligar esses dados a ferramentas de análise, relatórios e aprendizagem automática.

Principais características da ACZ:

• Armazenamento pertencente ao cliente: Cria e gere uma conta de armazenamento do Data Lake Storage Gen2 para a qual os seus dados são enviados. És responsável por selecionar uma conta de armazenamento dentro do destino geográfico se tiveres requisitos de residência de dados.
• Formato aberto: Os seus dados são exportados em formato Delta Parquet. Os motores de análise suportam amplamente este formato.
• Sincronização seletiva: Pode escolher quais os tipos de entidades a sincronizar. As opções incluem tipos de catálogo e tipos do Wellbore Domain Gestão de Dados Service (DDMS).
• Sincronização histórica e incremental: Obtém-se um instantâneo inicial dos dados existentes do ACZ. Depois, a ACZ sincroniza as alterações à medida que ocorrem.
• Orientado por APIs: Configura e gere o ACZ inteiramente através de APIs REST.

Arquitetura

O diagrama seguinte mostra o fluxo de dados ACZ.

Como funciona o ACZ

Tipos de entidade suportados

A ACZ sincroniza duas categorias de Azure Data Manager para tipos de entidades de Energia.

Quando cria uma instância ACZ, especifica que tipos de entidades sincronizar, fornecendo:

• catalogKinds: Uma lista de padrões de tipos de catálogo (por exemplo, osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: Uma lista de padrões do tipo DDMS de Wellbore (por exemplo, osdu:wks:work-product-component--WellLog:*).

Este tipo de padrões funciona como filtros que determinam quais os registos do Azure Data Manager for Energy que o ACZ exporta e mantém sincronizados.

Utilize o sinalizador allCatalogSync

O allCatalogSync flag é um parâmetro booleano opcional que pode especificar quando cria uma instância ACZ. Quando definido para true, sincroniza todos os tipos de catálogo da partição de dados.

Principais comportamentos:

• allCatalogSync é especificado fora da secção configuration no corpo do pedido.
• Quando allCatalogSync: true, o ACZ exporta automaticamente todos os tipos de catálogo.
• As matrizes catalogKinds e wellboreDDMSKinds na configuração são ignoradas no caso dos dados de catálogo.
• Os downloads de ficheiros em massa do Wellbore DDMS não são afetados por esta flag. Os ficheiros só são descarregados para os tipos explicitamente listados em wellboreDDMSKinds.

Exemplos de configurações:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Tipos de versões

Quando crias uma instância ACZ, escolhes como lidar com as versões das entidades.

Estados do ciclo de vida

Cada ACZ percorre estes estados:

Panorama histórica

Ao criar uma nova instância ACZ, o serviço faz uma captura instantânea do histórico. Este snapshot exporta todos os registos existentes que correspondem aos tipos de entidade configurados (catalogKinds e wellboreDDMSKinds). A captura instantânea passa pelos seguintes estados:

Após o término do snapshot, o ACZ passa para o modo incremental. Captura registos novos e atualizados quase em tempo real.

Como a ACZ lida com alterações de dados

A ACZ propaga registos criados, atualizados e eliminados do Azure Data Manager for Energy para as tabelas Delta.

• Criações e atualizações: Quando cria um registo ou altera o seu bloco de dados, Azure Gestor de Dados para Energia cria uma nova versão. O ACZ deteta a alteração e escreve uma nova linha na tabela Delta.
• Atualizações apenas de metadados: Quando uma PATCH operação altera a lista de controlo de acesso, o legal ou as etiquetas sem criar uma nova versão, o ACZ deteta esta alteração e executa um upsert de fusão na linha existente.
• Soft deletes: Quando eliminas suavemente um registo no Gestor de Dados Azure Energia, o ACZ define o campo isActive para False na linha em vez de o remover. Eliminações suaves preservam o histórico para auditorias e consultas de viagem no tempo.
• Purges: Quando purga um registo no Azure Data Manager for Energy, o ACZ remove permanentemente o registo da tabela Delta. A linha é apagada e não pode ser recuperada dos dados ACZ.

Formato de saída de dados

A ACZ escreve dados no formato Delta Lake com ficheiros codificados em Parquet (DELTA_PARQUET). O Delta Lake suporta transações com atomicidade, consistência, isolamento e durabilidade. Também suporta viagens no tempo e leituras incrementais eficientes.

Estrutura de pastas Data Lake Storage Gen2

A ACZ organiza os dados na sua conta de armazenamento Data Lake Storage Gen2 por pasta. Cada instância ACZ tem a sua própria pasta dentro do contentor ou no caminho base, se tiver especificado um. As partições ACZ catalogam tabelas Delta Lake por tipo. Uma pasta por cada tipo de entidade DDMS e ID de registo.

Disposição das pastas

Detalhes principais

Esquema de tabela delta

A tabela Delta tem os seguintes campos:

Limites e acesso

Limites de pré-visualização

Autenticação e autorização

O ACZ exige:

• Acesso à API: Para invocar as APIs ACZ, deve pertencer aos grupos users@{data-partition-id}.dataservices.energy e users.datalake.ops@{data-partition-id}.dataservices.energy.
• Acesso ao armazenamento: A identidade gerida necessita do papel Storage Blob Data Contributor (ou equivalente) no contentor Data Lake Storage Gen2. Durante a pré-visualização, partilhe os detalhes de identidade com a Microsoft para adicionar a identidade à lista de autorizações.
• Azure Gestor de Dados para acesso à Energia: A identidade gerida deve ser atribuída ao Gestor de Dados Azure para recursos energéticos.

Conteúdo relacionado

• Ativar a zona de consumo de analítica
• Tutorial: Usar APIs ACZ
• Ligar dados ACZ ao Fabric
• Ligue dados ACZ a Azure Databricks