Begrepp för analyskonsumtionszon

ACZ (Analytics Consumption Zone) exporterar valda entitetsdata från Azure Data Manager for Energy till ditt Azure Data Lake Storage Gen2 konto. ACZ skriver Azure Data Manager for Energy-data i öppet Delta Parquet-format. Tjänster som Microsoft Fabric och Azure Databricks kan läsa det här formatet direkt.

Viktigt!

Analytics Consumption Zone är för närvarande i förhandsversion. Juridiska villkor som gäller för Azure funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet finns i Kompletterande användningsvillkor för Microsoft Azure förhandsversioner.

Under förhandsversionen är ACZ endast tillgängligt på instanser på utvecklarnivå och kräver användning av tillåtna listor. Följ riktlinjerna i Aktivera analysförbrukningszon och kontakta din Microsoft representant.

Vad är ACZ?

ACZ är ett hanterat synkroniseringslager. Den exporterar entitetsdata från din Azure Data Manager for Energy-instans till ett Azure Data Lake Storage Gen2 lagringskonto som du äger. Du kan sedan ansluta dessa data till analys-, rapporterings- och maskininlärningsverktyg.

Viktiga egenskaper för ACZ:

  • Kundägd lagring: Du skapar och hanterar ett Data Lake Storage Gen2 lagringskonto där dina data hamnar. Du ansvarar för att välja ett lagringskonto för målplatsen inom samma geografiska område om du har krav på datalagringsplats.
  • Öppet format: Dina dataexporter i Delta Parquet-format. Analysmotorer har brett stöd för det här formatet.
  • Selective sync: Du väljer vilka entitetstyper som ska synkroniseras. Alternativen omfattar katalogtyper och DDMS-typer (Wellbore Domain Data Management Service).
  • Historisk och inkrementell synkronisering: Du får en första ögonblicksbild av befintliga data från ACZ. Sedan synkroniserar ACZ ändringar när de inträffar.
  • API-driven: Du konfigurerar och hanterar ACZ helt och hållet via REST-API:er.

Arkitektur

Följande diagram visar ACZ-dataflödet.

Diagram som visar data som flyttas från Azure Data Manager för energi till Data Lake Storage Gen2 till analysverktyg.

Så här fungerar ACZ

Entitetstyper som stöds

ACZ synkroniserar två kategorier av Azure Data Manager för energientitetstyper.

Kategori Description Exempeltyper
Katalogtyper Primära data och referensdata från lagringstjänsten osdu:wks:master-data--Well:*, osdu:wks:reference-data--UnitOfMeasure:*
Typer av borrhåls-DDMS Entiteter från Wellbore DDMS osdu:wks:work-product-component--WellLog:*

När du skapar en ACZ-instans anger du vilka entitetstyper som ska synkroniseras genom att ange:

  • catalogKinds: En lista över mönster för katalogtyp (till exempel osdu:wks:master-data--Well:*).
  • wellboreDDMSKinds: En lista över Wellbore DDMS-typmönster (till exempel osdu:wks:work-product-component--WellLog:*).

Dessa typmönster fungerar som filter som avgör vilka Azure Data Manager för energi registrerar ACZ-exporter och håller synkroniserade.

Använda flaggan allCatalogSync

Flaggan allCatalogSync är en valfri boolesk parameter som du kan ange när du skapar en ACZ-instans. När värdet är inställt på truesynkroniseras alla katalogtyper från datapartitionen.

Viktiga beteenden:

  • allCatalogSync specificeras utanför avsnittet configuration i begärans brödtext.
  • När allCatalogSync: trueexporterar ACZ alla katalogtyper automatiskt.
  • Matriserna catalogKinds och wellboreDDMSKinds i konfigurationen ignoreras för katalogdata.
  • Wellbore DDMS massfilnedladdningar påverkas inte av den här flaggan. Filer laddas bara ned för typer som uttryckligen anges i wellboreDDMSKinds.

Exempelkonfigurationer:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Versionstyper

När du skapar en ACZ-instans väljer du hur du ska hantera entitetsversioner.

Type Description
LATEST_VERSION Exporterar endast den senaste versionen av varje entitet. Standard och rekommenderad.
ALL_VERSIONS Exporterar alla versioner av varje entitet. Behåller den fullständiga versionshistoriken.

Livscykeltillstånd

Varje ACZ går igenom dessa tillstånd:

Status Description
AKTIVA Operativa. ACZ synkroniserar ändringar stegvis.
misslyckades Ett fel stoppade installationen eller synkroniseringen.
ACCESS_DENIED ACZ kan inte nå målet Data Lake Storage Gen2 lagringskonto.

Historisk ögonblicksbild

När du skapar en ny ACZ-instans tar tjänsten en historisk ögonblicksbild. Den här ögonblicksbilden exporterar alla befintliga poster som matchar de konfigurerade entitetstyperna (catalogKinds och wellboreDDMSKinds). Ögonblicksbilden fortsätter genom följande tillstånd:

Status Description
BEARBETNING Exporterar data aktivt.
KLAR Alla historiska data som exporteras.
misslyckades Ett fel inträffade.

När ögonblicksbilden är klar växlar ACZ till inkrementellt läge. Den hämtar nya och uppdaterade poster i nära realtid.

Så hanterar ACZ dataändringar

ACZ överför skapade, uppdaterade och borttagna poster från Azure Data Manager for Energy till Delta-tabellerna.

  • Skapa och uppdatera: När du skapar en post eller ändrar dess datablock skapar Azure Data Manager for Energy en ny version. ACZ identifierar ändringen och skriver en ny rad till Delta-tabellen.
  • Endast metadatauppdateringar: När en PATCH-åtgärd ändrar åtkomstkontrollistan, juridiska inställningar eller taggar utan att skapa en ny version upptäcker ACZ denna ändring och kör en merge-upsert på den befintliga raden.
  • Mjuk borttagning: När du utför mjuk borttagning av en post i Azure Data Manager för energi anger ACZ värdet isActive i fältet False i raden i stället för att ta bort den. Mjuka borttagningar bevarar historiken för gransknings- och tidsresefrågor.
  • Rensningar: När du rensar bort en post i Azure Data Manager for Energy tar ACZ permanent bort posten från Delta-tabellen. Raden tas bort och kan inte återställas från ACZ-data.

Varning

ACZ är en enkelriktad, skrivskyddad synkronisering från Azure Data Manager for Energy till Data Lake Storage Gen2:

  • Data flödar endast från Azure Data Manager för energi till Data Lake Storage Gen2.
  • Ändra, ta inte bort eller lägg inte till filer direkt i ACZ-mapparna i Data Lake Storage Gen2.
  • Manuella ändringar av ACZ-data skadar synkroniseringen och orsakar datainkonsekvenser.
  • ACZ hanterar alla Delta Lake-åtgärder (transaktionsloggar, kontrollpunkter och komprimering).

För analys och rapportering ska du behandla de exporterade data som skrivskyddade. Alla dataändringar måste ske i Azure Data Manager for Energy.

Utdataformat

ACZ skriver data i Delta Lake-format med Parquet-kodade filer (DELTA_PARQUET). Delta Lake stöder transaktioner med atomaritet, konsekvens, isolering och varaktighet. Det stöder också tidsresa och effektiv inkrementell läsning.

Data Lake Storage Gen2 mappstruktur

ACZ organiserar data i ditt Data Lake Storage Gen2 lagringskonto efter mapp. Varje ACZ-instans får en egen mapp i containern eller under bassökvägen om du har angett en. ACZ partitionerar katalogens Delta Lake-tabeller efter kategori. En mapp per entitetstyp i DDMS och post-ID.

Mapplayout

Diagram som visar mappstrukturen för Azure Data Lake Storage.

Viktig information

Element Description
Mapp på den översta nivån Namnges under <acz-id> i behållaren, eller under <base-path> om det anges. En mapp per ACZ-instans.
osducatalog/ En Delta-tabell för alla katalogtyper. Partitionerad efter typ (till exempel kind=osdu:wks:master-data--Well:1.0.0).
_delta_log/ Delta Lake-transaktionsloggen. Spårar alla tabelländringar för ACID-transaktioner och tidsresor.
DDMS-entitetsmappar En mapp per DDMS-entitetstyp (till exempel work-product-component--WellLog). Innehåller DDMS-specifika Parquet-filer sorterade efter entitetstyp och post-ID.
Parquet-filer Snabbkomprimerade datafiler. Uppdateringar skapar nya filer. ACZ kör VACUUM och OPTIMIZE för att komprimera små filer och ta bort gamla.

Deltatabellschema

Delta-tabellen har följande fält:

Fält Type Description
id String OSDU®-post-ID.
version String Versionsnummer.
kind String Fullständigt kvalificerad OSDU-typ®.
data String Datablock (JSON).
meta String Metadata (JSON).
acl String Åtkomstkontrollista.
legal String Juridiska taggar.
tags String Användardefinierade taggar.
createUser String Användaren som skapade posten.
createTime Tidsstämpel När posten skapades.
ingestTime Tidsstämpel När ACZ importerade posten.
isActive Boolean True om den är aktiv. False om mjuk borttagning.

Note

Wellbore DDMS-entiteter har också fileDownloadTime, fileDownloadState och fileDownloadFolder fält för spårning av filer.

Gränser och åtkomst

Förhandsgranskningsgränser

Begränsning Gräns
Maximalt antal ACZ-instanser per datapartition Three
Unika ACZ-namn Måste vara unikt inom en datapartition
Målformat Delta Parquet endast
Lagringstyp endast Data Lake Storage Gen2
Stöd för instansnivå Endast utvecklarnivå under förhandsversionen

Autentisering och auktorisering

ACZ kräver:

  • API-åtkomst: Om du vill anropa ACZ-API:er måste du tillhöra users@{data-partition-id}.dataservices.energy grupperna och users.datalake.ops@{data-partition-id}.dataservices.energy .
  • Lagringsåtkomst: Den hanterade identiteten behöver rollen Storage Blob Data Contributor (eller motsvarande) i den Data Lake Storage Gen2 containern. Under förhandsversionen delar du identitetsinformationen med Microsoft för att lägga till identiteten i listan över tillåtna.
  • Azure Data Manager för energiåtkomst: Den hanterade identiteten måste tilldelas till resursen Azure Data Manager för energi.

Relaterat innehåll

  • Last updated on