Tworzenie wystąpienia usługi Azure Synapse Link dla Dataverse z Azure Data Lake

Możesz użyć Azure Synapse Link, aby połączyć swoje dane Microsoft Dataverse z Azure Data Lake Storage Gen2, aby umożliwić różne scenariusze analityczne. W tym artykule opisano, jak wykonać następujące zadania:

1. Połącz dane Dataverse z kontem Azure Data Lake Storage Gen2 z usługą Azure Synapse Link.
2. Zarządzanie tabelami usługi Dataverse zawartymi w usłudze Azure Synapse Link.
3. Monitorowanie Synapse Link platformy Azure.
4. Odłącz Azure Synapse Link.
5. Połącz ponownie usługę Azure Synapse Link.
6. Wyświetlanie danych w Azure Data Lake i zrozumienie struktury plików.

Wymagania wstępne

• Azure Data Lake Storage Gen 2: trzeba mieć konto Azure Data Lake Storage Gen 2 oraz dostęp do ról Właściciel i Współautor Storage Blob Data. Konto magazynu musi umożliwiać Hierarchiczną przestrzeń nazw zarówno dla początkowej konfiguracji, jak i synchronizacji. Zezwalanie na dostęp do klucza konta magazynu jest wymagane tylko w przypadku początkowej konfiguracji. Konto magazynu musi mieć dozwolony zakres dla operacji kopiowania ustawiony na Z dowolnego konta magazynu.

Łączenie Dataverse z usługą Azure Data Lake Storage Gen2

1. Zaloguj się do Power Apps i wybierz preferowane środowisko.

2. W okienku nawigacji po lewej stronie wybierz pozycję Połącz dane, a następnie wybierz pozycję Inne linki. Istniejące linki Azure Synapse są wyświetlane w tej sekcji. Jeśli Dane linku nie są widoczne w panelu bocznym, wybierz …Więcej, a następnie wybierz Pokaż wszystko. Dane łącza znajdują się w sekcji Zarządzanie danymi.

3. Z paska poleceń wybierz + Nowe łącze do data lake.

4. Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Upewnij się, że konto magazynu spełnia wymagania określone w sekcji Wymagania wstępne. Wybierz Dalej.

   Uwaga / Notatka

   W ramach łączenia środowiska z jeziorem danych przyznajesz usłudze Azure Synapse Link dostęp do konta magazynowania. Upewnij się, że spełnione zostały wymagania wstępne dotyczące tworzenia i konfigurowania konta magazynu Azure Data Lake oraz przyznania sobie roli właściciela tego konta magazynu. Ponadto udzielony jest dostęp do usługi przepływów danych Power Platform do konta magazynu. Więcej informacjiL Samoobsługowe przygotowanie danych za pomocą przepływu danych.

5. Wybierz tabele, które chcesz wyeksportować, zaznaczając je pojedynczo lub wprowadzając rozdzieloną przecinkami listę tabel w polu wyszukiwania, a następnie wybierz pozycję Zapisz. Eksportować można tylko tabele z włączoną opcją śledzenia zmian. Więcej informacji: Opcje zaawansowane dla tabeli.

   

Możesz wykonać kroki opisane w tym artykule, aby utworzyć link z jednego środowiska do wielu jezior danych Azure w subskrypcji Azure. Podobnie możesz utworzyć link z wielu środowisk do tej samej usługi Azure Data Lake, a wszystko to w ramach tej samej dzierżawy.

Zarządzanie danymi tabeli do programu data lake

Po skonfigurowaniu usługi Azure Synapse Link można zarządzać tabelami eksportowanych na jeden z dwóch sposobów:

• W obszarze Power Apps (make.powerapps.com) Połącz dane>Inne łącza, a następnie wybierz pozycję Zarządzaj tabelami na pasku poleceń, aby dodać lub usunąć co najmniej jedną połączoną tabelę.

• W obszarze Tables portalu projektanta Power Apps wybierz … obok tabeli, a następnie wybierz połączony data lake, do którego chcesz wyeksportować dane tabeli.

  

Monitorowanie usługi Azure Synapse Link

Po skonfigurowaniu Azure Synapse Link możesz monitorować Azure Synapse Link na karcie Tabele.

• Zostanie wyświetlona lista tabel, które są częścią wybranej usługi Azure Synapse Link.
• Istnieją różne etapy, przez które przechodzi stan synchronizacji. NotStarted wskazuje, że tabela oczekuje na zsynchronizowanie. Po wstępnej synchronizacji tabeli Zakończone, nastąpi etap przetwarzania końcowego, na którym nie będą przeprowadzane aktualizacje przyrostowe. Może to potrwać kilka godzin w zależności od rozmiaru danych. Po rozpoczęciu aktualizacji przyrostowych data ostatniej synchronizacji będzie regularnie aktualizowana.
• Kolumna Liczba zawiera zapisane wiersze liczbowe. Gdy tylko dołączanie jest ustawiona na Nie, jest to łączna liczba rekordów. Gdy tylko dołączanie jest ustawiona na Tak, jest to łączna liczba zmian.
• Kolumny Dołącz tylko i Strategia partycji pokazują użycie różnic w zaawansowanych konfiguracjach.

Odłączanie Azure Synapse Link

1. Wybierz Azure Synapse Link, aby odłączyć.

2. Wybierz Rozłącz dane z paska poleceń.

3. Aby usunąć zarówno system plików Data Lake Usuń system plików Data Lake.

4. Wybierz opcję Tak i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ponowne łączenie Synapse Link platformy Azure

Jeśli system plików został usunięty podczas odłączania, wykonaj poprzednie kroki, aby ponownie połączyć to samo jezioro danych. Jeśli nie usunięto systemu plików podczas odłączania, musisz wyczyścić dane, aby ponownie połączyć:

1. Przejdź do usługi Azure Data Lake.

2. Usuń kontener Dataverse.

3. Przejdź do usługi Power Apps i ponownie połącz data lake.

Wyświetl swoje dane w Azure Data Lake Storage Gen2

1. Wybierz żądane połączenie Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake z górnego panelu.

2. Rozwiń węzeł Systemy plików, a następnie wybierz dataverse-environmentName-organizationUniqueName.

Plik model.json wraz z jego nazwą i wersją zawiera listę tabel wyeksportowanych do data lake. Plik model.json zawiera także wstępny stan synchronizacji i godzinę ukończenia synchronizacji.

Folder zawierający pliki rozdzielane przecinkami (CSV) jest wyświetlany dla każdej tabeli wyeksportowanej do data lake.

Powiązanie obszaru roboczego Synapse z istniejącym profilem Azure Synapse Link z data lake

1. W pasku adresu przeglądarki internetowej, dodaj ?athena.updateLake=true do adresu internetowego, który kończy się na exporttodatalake.

2. Wybierz istniejący profil z obszaru Azure Synapse Link, a następnie wybierz opcję rozszerzoną.

3. Wybierz opcję Połączenie z Azure Synapse Analytics Workspace i poczekaj kilka minut, aby wszystkie elementy zostały połączone.

Ciągłe aktualizacje migawek

Dane w Microsoft Dataverse mogą ciągle ulec zmianie za pośrednictwem operacji tworzenia, aktualizowania i usuwania. Migawki zapewniają kopię tylko do odczytu danych, które są aktualizowane w regularnych odstępach czasu, czyli w tym przypadku co godzinę. Pozwoli to zagwarantować, że w dowolnym momencie klient analizy danych może korzystać z danych w repozytorium typu lake.

Kiedy tabele są dodawane jako część początkowego eksportu, dane tabeli są zapisywane w plikach CSV w programie w odpowiednich folderach data lake. Jest to interwał T1, w którym utworzono migawkę pliku tylko do odczytu o nazwie table-T1.csvnp. Account-T1.csv or Contacts-T1.csv. Ponadto plik model.json jest aktualizowany w taki sposób, aby wskazywał na te pliki migawek. Otwierając model.json, można wyświetlić szczegóły migawki.

Oto przykład pliku podzielonego Account.csv i folderu migawki w repozytorium typu data lake.

Zmiany w programie Dataverse są w sposób ciągły przekazywane do odpowiednich plików CSV za pomocą aparatu strumieniowego przesyłania. Jest to interwał T2, w którym jest pobierana kolejna migawka. table-T2.csv na przykład Accounts-T2.csv lub Contacts-T2.csv (przy założeniu, że istnieją zmiany w tabeli) i model.json są aktualizowane w nowych plikach migawek. Każda nowa osoba, która przegląda dane migawki począwszy od T2, jest kierowana do nowszych plików migawek. W ten sposób oryginalna Przeglądarka migawek może kontynuować pracę na starszych plikach migawek T1, podczas gdy nowsi widzowie mogą odczytywać najnowsze aktualizacje. Jest to przydatne w scenariuszach z długim działaniem procesów podrzędnych.

Oto przykład pliku model.json, który zawsze wskazuje najnowszy plik migawki konta z sygnaturami czasowymi.

Informacje dodatkowe

Analizuj dane Dataverse w data lake za pomocą Power BI

Pozyskiwanie danych Dataverse w data lake za pomocą Azure Data Factory

Azure Synapse Link dla Dataverse - Zaawansowana konfiguracja

Azure Synapse Link — często zadawane pytania