Koncepcje strefy korzystania z analiz

Natywne możliwości analityczne w Azure Data Manager for Energy, dostarczane za pośrednictwem analytics consumption zone (ACZ), sprawiają, że dane energetyczne są łatwo dostępne na potrzeby analiz i AI. ADME synchronizuje wybrane dane OSDU® do pamięci masowej należącej do klienta w otwartym formacie Delta Parquet, umożliwiając użycie z Microsoft Fabric, Azure Databricks, Snowflake i innymi kompatybilnymi platformami analitycznymi bez konieczności budowania i utrzymania niestandardowych pipeline'ów.

Usługa Analytics Consumption Zone (ACZ) eksportuje wybrane dane jednostek z usługi Azure Data Manager for Energy do konta Azure Data Lake Storage Gen2. Usługa ACZ zapisuje dane z usługi Azure Data Manager for Energy w otwartym formacie Delta Parquet. Usługi takie jak Microsoft Fabric i Azure Databricks mogą odczytywać ten format bezpośrednio.

Aby włączyć ACZ, zobacz Włączanie ACZ.

Co to jest ACZ?

ACZ to zarządzana warstwa synchronizacji. Eksportuje dane jednostki z wystąpienia usługi Data Manager for Energy Azure do konta magazynu Azure Data Lake Storage Gen2, którego jesteś właścicielem. Następnie możesz połączyć te dane z narzędziami do analizy, raportowania i uczenia maszynowego.

Konfiguracja ACZ składa się z dwóch części. Możesz włączyć ACZ tylko raz w zasobie Azure Data Manager for Energy w portalu Azure. Następnie tworzysz jedną lub więcej instancji ACZ , korzystając z API ACZ. Każda instancja ACZ to konfiguracja eksportu w partycji danych, która definiuje, jakie typy danych ACZ eksportuje i gdzie je zapisuje. ACZ eksportuje dane tylko dla instancji ACZ, które tworzysz.

Kluczowe cechy ACZ:

• Magazyn należący do klienta: Tworzysz konto magazynu Data Lake Storage Gen2, na którym są używane dane i zarządzasz nim. Zalecamy konto magazynu w tym samym regionie co twoja instancja Azure Data Manager for Energy. Jeśli masz wymagania dotyczące rezydencji danych, to ty odpowiadasz za wybór konta magazynowego w odpowiednim regionie.
• Format otwarty: Eksporty danych w formacie Delta Parquet. Aparaty analityczne obsługują ten format.
• Selektywna synchronizacja: Wybierasz, które typy jednostek chcesz zsynchronizować. Opcje obejmują rodzaje katalogów oraz typy Wellbore Domain Zarządzanie danymi Service (DDMS) (podgląd).
• Synchronizacja historyczna i przyrostowa: uzyskujesz początkową migawkę istniejących danych z usługi ACZ. Następnie usługa ACZ synchronizuje zmiany w miarę ich występowania.
• Zarządzanie za pomocą portalu i interfejsu API: Włączasz ACZ w portalu Azure, a instancje ACZ tworzysz i zarządzasz nimi za pomocą interfejsów API REST.

Architecture

Na poniższym diagramie przedstawiono przepływ danych ACZ.

Jak działa usługa ACZ

Obsługiwane typy jednostek

ACZ synchronizuje dwie kategorie typów encji w usłudze Azure Data Manager for Energy.

ACZ może także eksportować dane o członkostwie w OSDU poprzez eksport uprawnień (podgląd).

Podczas tworzenia wystąpienia usługi ACZ należy określić typy jednostek do synchronizacji, podając następujące elementy:

• catalogKinds: lista wzorców typów wykazu (na przykład osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: To lista wzorców typów Wellbore DDMS (na przykład osdu:wks:work-product-component--WellLog:*).

Takie wzorce pełnią funkcję filtrów, które określają, które rekordy usługi Azure Data Manager for Energy są eksportowane przez ACZ i utrzymywane w synchronizacji.

Użyj flagi allCatalogSync

Flaga allCatalogSync jest opcjonalnym parametrem logicznym, który można określić podczas tworzenia wystąpienia ACZ. Gdy jest ustawiona wartość true, synchronizuje wszystkie rodzaje katalogów z partycji danych.

Kluczowe zachowania:

• allCatalogSync parametr jest określony poza sekcją configuration w treści żądania.
• Gdy allCatalogSync: true, ACZ automatycznie eksportuje wszystkie typy katalogów.
• Tablice catalogKinds i wellboreDDMSKinds w konfiguracji są ignorowane w przypadku danych katalogu.
• Ta flaga nie ma wpływu na pobieranie zbiorczych plików programu Wellbore DDMS. Pliki są pobierane tylko dla rodzajów jawnie wymienionych w pliku wellboreDDMSKinds.

Przykładowe konfiguracje:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Typy wersji

Podczas tworzenia wystąpienia usługi ACZ wybierasz sposób obsługi wersji jednostek.

Stany cyklu życia

Każdy ACZ przechodzi przez następujące stany:

Migawka historyczna

Po utworzeniu nowej instancji ACZ usługa tworzy historyczną migawkę. Ta migawka eksportuje wszystkie istniejące rekordy zgodne ze skonfigurowanymi typami jednostek (catalogKinds i wellboreDDMSKinds). Migawka przechodzi przez następujące stany:

Po zakończeniu tworzenia migawki usługa ACZ przełącza się do trybu przyrostowego. Przechwytuje nowe i zaktualizowane rekordy niemal w czasie rzeczywistym.

Jak usługa ACZ obsługuje zmiany danych

Usługa ACZ propaguje utworzone, zaktualizowane i usunięte rekordy z Azure Data Manager for Energy do tabel Delta.

• Tworzenie i aktualizacje: Podczas tworzenia rekordu lub zmieniania bloku danych Azure Data Manager for Energy tworzy nową wersję. Usługa ACZ wykrywa zmianę i zapisuje nowy wiersz w tabeli delty.
• Aktualizacje tylko na podstawie metadanych: Gdy operacja PATCH zmienia listę kontroli dostępu, informacje prawne lub tagi bez tworzenia nowej wersji, ACZ aktualizuje wiersz dla istniejącej wersji.
• Miękkie usuwanie: Gdy miękko usuwasz rekord w Azure Data Manager for Energy, ACZ ustawia pole isActive na False zamiast usuwać wiersz. Dla instancji ACZ, które używają ALL_VERSIONS, wszystkie przechowywane wersje rekordu są oznaczone jako nieaktywne. Miękkie usuwanie pozwala zachować historię na potrzeby audytu oraz zapytań typu time travel.
• Purges: Podczas przeczyszczania rekordu w usłudze Azure Data Manager for Energy usługa ACZ trwale usuwa rekord z tabeli delta. Wiersz zostaje usunięty i nie można go odzyskać z danych ACZ.

Identyfikacja nowych, zaktualizowanych i usuniętych rekordów

ACZ nie włącza funkcji change data feed dla swoich tabel. Jeśli sam go włączysz, każda aktualizacja rekordu pojawia się jako usunięcie, a potem wstawienie. Aby przetwarzać zmiany stopniowo, użyj ingestTime jako znacznika. ACZ odświeża ingestTime za każdym razem, gdy zapisuje zmianę w wierszu, w tym:

• Nowe rekordy i nowe wersje rekordów.
• Aktualizacje dotyczące wyłącznie metadanych, takie jak zmiany tagów, które nie powodują utworzenia nowej wersji rekordu.
• Usuwanie miękkie. ACZ ustawia isActive na False.

Rekordy poddane trwałemu usunięciu zostały usunięte z tabeli Delta. Aby usunąć usunięte rekordy z tabel podrzędnych, okresowo uzgadniaj je z aktualną tabelą ACZ lub odbuduj je od nowa.

Implementację referencyjną znajdziesz w przykładowym notesie ADME ACZ Silver Layer.

Format danych wyjściowych

Usługa ACZ zapisuje dane w formacie Delta Lake w plikach kodowanych w formacie Parquet (DELTA_PARQUET). Delta Lake obsługuje transakcje o właściwościach atomowości, spójności, izolacji i trwałości. Obsługuje również podróże w czasie oraz wydajny odczyt przyrostowy.

struktura folderów Data Lake Storage Gen2

ACZ zapisuje dane na konto magazynu, które określisz podczas tworzenia instancji ACZ. Pierwszym segmentem basePath opcjonalnej właściwości jest kontener, a wszelkie dodatkowe segmenty to foldery w tym kontenerze. Pierwszy segment musi być poprawną nazwą kontenera. Zasady nazewnictwa można znaleźć w artykule Nazewnictwo i odwoływanie się do kontenerów, blobów i metadanych. Jeśli nie określisz ścieżki bazowej, ACZ używa kontenera o nazwie <aczId>. ACZ tworzy kontener, jeśli nie istnieje, i zapisuje jego dane do folderu o nazwie <aczId>. Przykłady znajdziesz w artykule Tworzenie instancji ACZ.

<storage-account>/
└── <container>/                      ← first segment of basePath, or <aczId>
    └── [<more basePath folders>/]
        └── <aczId>/
            ├── osducatalog/          ← Delta table, partitioned by kind
            │   └── _delta_log/
            ├── wellboreDDMS/         ← Wellbore DDMS bulk files (Parquet and JSON)
            │   ├── work-product-component--WellLog/
            │   └── work-product-component--WellboreTrajectory/
            └── entitlements/         ← Delta table (preview), only when entitlements export is enabled

Więcej informacji o tabeli uprawnień można znaleźć w artykule Eksport uprawnień w strefie konsumpcji analityki (podgląd).

Kluczowe szczegóły

ACZ regularnie prowadzi konserwację swoich tabel Delta, w tym VACUUM, co usuwa starsze pliki danych. Zapytania z podróżami w czasie mogą odczytywać tylko ostatnie wersje tabeli. Aby zachować dłuższą historię, kopiuj dane do własnego magazynu według harmonogramu. Jeśli masz konkretne wymagania dotyczące historii tabel, utwor zgłoszenie wsparcia.

Schemat tabeli Delta

Tabela delty zawiera następujące pola:

Wersje schematów

Właściwość catalogSchemaVersion w odpowiedzi ACZ API pokazuje, jakiego schematu używa instancja ACZ:

Istniejące instancje ACZ zachowują swoją wersję schematu. Aby użyć obecnego schematu, stwórz nową instancję ACZ. Nie ma migracji z wersji 1 do wersji 2.

Eksport uprawnień (podgląd)

ACZ może opcjonalnie eksportować dane członkostwa uprawnień OSDU do tabeli entitlements Delta Lake obok danych katalogowych. Możesz wykorzystać te dane do wdrożenia filtrowania uwzględniającego uprawnienia w docelowych platformach analitycznych. ACZ nie konfiguruje ani nie wymusza bezpieczeństwa na poziomie wiersza w systemach podrzędnych.

Eksport uprawnień jest domyślnie wyłączony. Aby to włączyć, utworz zgłoszenie wsparcia. Szczegóły można znaleźć w artykule Eksport uprawnień w Analytics Consumption Zone (podgląd).

Limity i dostęp

Limity

Uwierzytelnianie i autoryzacja

Usługa ACZ wymaga:

• Dostęp do API: Aby wywołać interfejsy API ACZ, musisz należeć do grup users@{data-partition-id}.dataservices.energy, users.datalake.ops@{data-partition-id}.dataservices.energy i service.entitlements.user@{data-partition-id}.dataservices.energy.
• Dostęp do usługi Storage: tożsamość zarządzana wymaga przypisanej roli Współautor danych obiektów blob usługi Storage (lub równoważnej) dla kontenera Data Lake Storage Gen2.
• Azure Data Manager for Energy access: Zarządzana tożsamość jest przypisana do zasobu Azure Data Manager for Energy po włączeniu ACZ w portalu Azure. Instrukcje znajdziesz w Włącz Strefę użycia analizy.

Tworzenie kopii zapasowej i przywracanie

ACZ nie jest dołączone do usługi Azure Data Manager for Energy do tworzenia i przywracania kopii zapasowych. Jeśli przywrócisz zasób usługi Azure Data Manager for Energy lub partycję danych z kopii zapasowej, dane ACZ na Twoim koncie magazynu nie będą już odpowiadać przywróconym danym. Utwórz nowe instancje ACZ po zakończeniu przywracania, które tworzą nową migawkę historyczną.

Ciągłość działania i odzyskiwanie po awarii

ACZ nie jest objęte międzyregionalnym odzyskiwaniem po awarii w Azure Data Manager for Energy. Po regionalnym failoverze ACZ może nie wznowić synchronizacji lub może brakować zmian w oknie failover. Historyczna migawka utworzona podczas trwającego przełączenia awaryjnego może się nie zakończyć. Aby przywrócić ACZ, stwórz nowe instancje ACZ, które tworzą nową migawkę historyczną.

Aby przygotować:

• Skonfiguruj redundancję dla docelowego konta Data Lake Storage Gen2. ACZ zapisuje do wskazanego konta pamięci masowej i nie replikuje go. Opcje można znaleźć w artykule Nadmiarowość usługi Azure Storage.
• Zachowaj konfiguracje ACZ, takie jak rodzaje, basePath, i konto magazynu, które są potrzebne do odtworzenia instancji ACZ.

Więcej informacji można znaleźć w artykule Niezawodność w Azure Data Manager for Energy.

Treści powiązane

• Włącz strefę korzystania z analityki
• Samouczek: korzystanie z interfejsów API ACZ
• Połącz dane ACZ do Microsoft Fabric
• Połącz dane ACZ do Azure Databricks
• Połącz dane ACZ ze Snowflake
• Eksport uprawnień w Analytics Consumption Zone (podgląd)