Concepten van de consumptiezone voor analyses

Analyseverbruikszone (ACZ) exporteert geselecteerde entiteitsgegevens uit Azure Data Manager for Energy naar uw Azure Data Lake Storage Gen2-account. ACZ schrijft Azure Data Manager for Energy-gegevens in open Delta Parquet-indeling. Services zoals Microsoft Fabric en Azure Databricks kunnen deze indeling rechtstreeks lezen.

Tijdens de preview is ACZ alleen beschikbaar op instanties van de developer-laag en is het gebruik van acceptatielijsten vereist. Volg de richtlijnen in De verbruikszone voor analyse inschakelen en neem contact op met uw Microsoft vertegenwoordiger.

Wat is ACZ?

ACZ is een beheerde synchronisatielaag. Het exporteert entiteitsgegevens uit uw Azure Data Manager for Energy-exemplaar naar een Azure Data Lake Storage Gen2 opslagaccount dat u bezit. Vervolgens kunt u die gegevens verbinden met analyse-, rapportage- en machine learning-hulpprogramma's.

Belangrijkste kenmerken van ACZ:

• Opslag in eigendom van de klant: u maakt en beheert een Data Lake Storage Gen2 opslagaccount waarin uw gegevens zich bevinden. U bent verantwoordelijk voor het selecteren van een opslagaccount voor in-geo-bestemmingen als u vereisten voor gegevenslocatie hebt.
• Open formaat: Uw gegevensexport in Delta Parquet-indeling. Analyse-engines ondersteunen deze indeling op grote schaal.
• Selectieve synchronisatie: U kiest welke entiteitstypen moeten worden gesynchroniseerd. Opties zijn catalogustypen en Wellbore Domain Gegevensbeheer Service -typen (DDMS).
• Historische en incrementele synchronisatie: U krijgt een eerste momentopname van bestaande gegevens van ACZ. Vervolgens synchroniseert ACZ wijzigingen zodra ze optreden.
• API-gestuurd: U configureert en beheert ACZ volledig via REST API's.

Architectuur

In het volgende diagram ziet u de ACZ-gegevensstroom.

Hoe ACZ werkt

Ondersteunde entiteitstypen

ACZ synchroniseert twee categorieën van Azure Data Manager voor energie-entiteitstypen.

Wanneer u een ACZ-exemplaar maakt, geeft u op welke entiteitstypen moeten worden gesynchroniseerd door het volgende op te geven:

• catalogKinds: Een lijst met catalogussoortpatronen (bijvoorbeeld osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: Een lijst met Wellbore DDMS-typepatronen (bijvoorbeeld osdu:wks:work-product-component--WellLog:*).

Dit soort patronen fungeren als filters die bepalen welke Azure Data Manager for Energy-records ACZ exporteert en gesynchroniseerd houdt.

De vlag allCatalogSync gebruiken

De allCatalogSync vlag is een optionele Booleaanse parameter die u kunt opgeven wanneer u een ACZ-exemplaar maakt. Wanneer dit is ingesteld true, worden alle catalogustypen vanuit de gegevenspartitie gesynchroniseerd.

Belangrijkste gedragingen:

• allCatalogSync wordt buiten de configuration sectie in de hoofdtekst van de aanvraag opgegeven.
• Wanneer allCatalogSync: true, exporteert ACZ automatisch alle catalogustypen.
• De catalogKinds en wellboreDDMSKinds matrices in de configuratie worden genegeerd voor catalogusgegevens.
• Downloads van bulkbestanden van Wellbore DDMS worden niet beïnvloed door deze vlag. Bestanden worden alleen gedownload voor typen die expliciet zijn opgegeven in wellboreDDMSKinds.

Voorbeeldconfiguraties:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Versietypen

Wanneer u een ACZ-exemplaar maakt, kiest u hoe u entiteitsversies moet verwerken.

Levenscyclusstatussen

Elke ACZ doorloopt deze toestanden:

Momentopname uit het verleden

Wanneer u een nieuw ACZ-exemplaar maakt, maakt de service een historische momentopname. Met deze momentopname worden alle bestaande records geëxporteerd die overeenkomen met de geconfigureerde entiteitstypen (catalogKinds en wellboreDDMSKinds). De momentopname doorloopt de volgende toestanden:

Nadat de momentopname is voltooid, schakelt ACZ over naar de incrementele modus. Hiermee worden nieuwe en bijgewerkte records in bijna realtime vastgelegd.

Hoe ACZ gegevenswijzigingen verwerkt

ACZ geeft aangemaakte, bijgewerkte en verwijderde records vanuit Azure Data Manager for Energy door naar de Delta-tabellen.

• Creations and updates: Wanneer u een record maakt of het gegevensblok wijzigt, maakt Azure Data Manager for Energy een nieuwe versie. ACZ detecteert de wijziging en schrijft een nieuwe rij naar de Delta-tabel.
• Updates met alleen metagegevens: Wanneer een PATCH-bewerking de toegangsbeheerlijst, juridische bewaring of tags wijzigt zonder een nieuwe versie te maken, detecteert ACZ deze wijziging en voert een merge-upsert uit op de bestaande rij.
• Logisch verwijderen: Wanneer u een record in Azure Data Manager for Energy logisch verwijdert, stelt ACZ in de rij het veld isActive in op False in plaats van het record te verwijderen. Voorlopig verwijderen behoudt de geschiedenis voor controle- en tijdreizenquery's.
• Purges: Wanneer u een record opschoont in Azure Data Manager for Energy, verwijdert ACZ de record definitief uit de Delta-tabel. De rij wordt verwijderd en kan niet worden hersteld uit de ACZ-gegevens.

Indeling van gegevensuitvoer

ACZ schrijft data in Delta Lake-formaat met Parquet gecodeerde bestanden (DELTA_PARQUET). Delta Lake biedt ondersteuning voor atomische transacties, consistentie, isolatie en duurzaamheid. Het ondersteunt ook reizen door de tijd en efficiënt incrementeel lezen.

Data Lake Storage Gen2 mapstructuur

ACZ organiseert gegevens in uw Data Lake Storage Gen2 opslagaccount per map. Elk ACZ-exemplaar krijgt een eigen map onder de container of onder het basispad als u er een hebt opgegeven. ACZ deelt Delta Lake-catalogustabellen op type in. Eén map per DDMS-entiteitstype en record-id.

Mapindeling

Belangrijkste gegevens

Delta-tabelschema

De Delta-tabel heeft de volgende velden:

Limieten en toegang

Preview-limieten

Authenticatie en autorisatie

ACZ vereist:

• API-toegang: als u ACZ-API's wilt aanroepen, moet u deel uitmaken van de users@{data-partition-id}.dataservices.energy en users.datalake.ops@{data-partition-id}.dataservices.energy groepen.
• Toegang tot opslag: de beheerde identiteit heeft de rol Inzender voor opslagblobgegevens (of gelijkwaardig) in de Data Lake Storage Gen2-container nodig. Deel tijdens de preview de identiteitsgegevens met Microsoft om de identiteit toe te voegen aan de acceptatielijst.
• Toegang tot Azure Data Manager for Energy: De beheerde identiteit moet worden toegewezen aan de resource van Azure Data Manager for Energy.

Verwante inhoud

• Analyseverbruikszone inschakelen
• Zelfstudie: ACZ-API's gebruiken
• ACZ-gegevens verbinden met Fabric
• Connect ACZ-gegevens met Azure Databricks