Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dane Microsoft Dataverse (w tym dane z aplikacji finansowych i operacyjnych Dynamics 365) mogą się stale zmieniać poprzez tworzenie, aktualizowanie i usuwanie transakcji. Opcja aktualizacji przyrostowej umożliwia tworzenie przyrostowych potoków danych, które stosują te zmiany do dalszych systemów i baz danych. Azure Synapse Link dla Dataverse eksportuje dane przyrostowe do folderów oznaczonych znacznikami czasu, które zawierają zmiany danych z przedziałów czasu określonych przez użytkownika.
Funkcję aktualizacji przyrostowej można wykorzystać w kilku scenariuszach:
Zaktualizuj docelowy magazyn danych lub hurtownię danych. Może być konieczne wprowadzenie zmian z danych w Power Apps i Dynamics 365 do docelowego magazynu danych. Aktualizacja przyrostowa jest standardową funkcją w większości narzędzi do transformacji danych, takich jak Azure Data Factory. Aby jednak funkcja aktualizacji przyrostowej działała, należy zidentyfikować rekordy, które uległy zmianie w tabelach źródłowych. Funkcja aktualizacji przyrostowej zapewnia zmienione dane jako zestaw plików, dzięki czemu nie trzeba wykrywać zmian poprzez porównywanie obrazów tabel przed i po.
Analiza zmian w dużych zbiorach danych. Jeśli trzeba przeanalizować zmiany w dużych zbiorach danych, funkcja aktualizacji przyrostowej zapewnia ciągły strumień danych w małych partiach, dzięki czemu nie trzeba przechowywać wszystkich danych. Dzięki tej opcji można usuwać nieaktualne i zastałe dane, aby zaoszczędzić na kosztach przechowywania danych, a także śledzić zmiany danych istotne dla określonego przez użytkownika okresu czasu.
Usługa Azure Synapse Link dla usługi Dataverse umożliwia również eksportowanie i utrzymywanie repliki tabel w usłudze Azure Data Lake Storage (Gen2). Można skonfigurować Azure Synapse Link tak, aby oprócz eksportowania repliki tabel eksportować dane przyrostowe. Każda konfiguracja (znana jako „profil Synapse Link”) może eksportować tabele lub dane przyrostowe. Chociaż można utworzyć wiele profili, nie można skonfigurować zarówno tabel, jak i aktualizacji przyrostowych w ramach tego samego profilu.
Ważne
Początkowy folder ze znacznikiem czasu jest tworzony po włączeniu tej funkcji z kopią danych. Kolejne foldery znaczników czasu i tabel są tworzone wyłącznie wtedy, gdy w przedziale czasu określonym przez użytkownika nastąpi aktualizacja danych.
Po utworzeniu profilu Synapse Link z funkcją aktualizacji przyrostowej konfiguracja ma zastosowanie do wszystkich wybranych tabel w profilu Synapse Link.
Nie można włączyć tej funkcji przy użyciu opcji: Połącz z obszarem roboczym usługi Azure Synapse. Klienci, którzy potrzebują dostępu do analiz Azure Synapse Analytics, powinni postępować zgodnie z poniższą instrukcją, aby skonfigurować łącze: Utwórz Azure Synapse Link dla Dataverse przy użyciu Azure Synapse Workspace
Ta funkcja jest odpowiednikiem funkcji Kanały zmian w trakcie eksportu do repozytorium Data Lake wbudowanej w aplikacje finansowe i operacyjne Dynamics 365. Klienci korzystający z funkcji Kanały zmian mają możliwość włączenia profilu Synapse Link z danymi zmian bez konieczności eksportowania danych tabeli.
Wymagania wstępne
W tym przewodniku założono, że spełniono już wymagania wstępne potrzebne do utworzenia połączenia Azure Synapse Link. Więcej informacji: Utwórz Azure Synapse Link dla Dataverse z Azure Data Lake
Utwórz profil Synapse Link, aby eksportować dane przyrostowe
Zaloguj się do Power Apps i wybierz swoje środowisko.
W okienku nawigacji po lewej stronie wybierz pozycję Połącz dane, a następnie wybierz pozycję Inne linki. Jeśli elementu nie ma w okienku panelu bocznego, wybierz …Więcej, a następnie wybierz żądany element.
Na pasku poleceń wybierz pozycję + Nowy link, a następnie wybierz pozycję Azure Synapse.
Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Wybierz Dalej.
Nie wybieraj opcji Połącz z obszarem roboczym Azure Synapse. W przypadku wybrania tej opcji funkcja aktualizacji przyrostowej jest wyłączona.
Dodaj tabele, które chcesz wyeksportować. Jeśli środowisko Dataverse jest połączone z aplikacjami finansowymi i operacyjnymi, można również wybrać tabele z aplikacji finansowych i operacyjnych.
Wybieranie opcji Zaawansowane.
Włącz funkcję Pokaż zaawansowane ustawienia i Włącz strukturę folderów aktualizacji przyrostowych.
Wprowadź odstęp czasu (w minutach) dla częstotliwości przechwytywania aktualizacji, a następnie wybierz opcję Zapisz.
Uwaga
Minimalny odstęp czasu to 5 minut. Oznacza to, że folder aktualizacji zostanie utworzony co 5 minut i będzie zawierał zmiany, które wystąpiły w odstępach czasu. To ustawienie można skonfigurować także po utworzeniu łącza za pośrednictwem opcji Zarządzaj tabelami. Maksymalny interwał czasowy wynosi 1140 minut (lub 24 godziny).
Upewnij się, że opcja Połącz z Azure Synapse workspace Azure Synapse workspace nie jest zaznaczona na pierwszej stronie konfiguracji.
Dane przyrostowe w folderach ze znacznikami czasu są przechowywane jako pliki tekstowe z wartościami rozdzielanymi przecinkami (pliki CSV). Nie można używać funkcji konwersji Delta do danych przyrostowych, aby uzyskać pliki przyrostowe w formacie Delta Parquet.
Wyświetl folder przyrostowy w Microsoft Azure Storage
Po utworzeniu profilu Synapse Link z danymi przyrostowymi system tworzy początkową kopię wszystkich tabel i przechowuje ją w folderze pierwszej aktualizacji przyrostowej. Po utworzeniu początkowej kopii system tworzy kolejne foldery aktualizacji ze zmienionymi danymi. Jeśli w żadnej z zaznaczonych tabel nie ma żadnych zmian, foldery danych przyrostowych nie będą widoczne.
Aby wyświetlić foldery danych przyrostowych na koncie magazynu:
Wybierz żądane łącze Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake na pasku poleceń.
Wybierz Kontenery w sekcji Magazyn danych.
Wybierz dataverse-environmentName-organizationUniqueName. Foldery aktualizacji przyrostowych są nazywane zgodnie ze znacznikiem czasu utworzenia („yyyy-MM-dd'T'HH:mm:ss.SSSz”) w UTC. Zauważ, że różnica czasu między folderami ze znacznikami czasu to przedział czasu określony przez użytkownika w ustawieniach zaawansowanych.
W każdym folderze ze znacznikiem czasu znajdują się foldery dla każdej tabeli. Nie wszystkie wybrane tabele mogły ulec zmianie w danym przedziale czasowym i wyświetlane są tylko foldery odpowiadające tabelom, których dane uległy zmianie.
Uwaga
Ze względu na działanie mechanizmu ponawiania prób w przedziale czasu określonym przez użytkownika może zostać utworzony dodatkowy pusty folder znacznika czasu.
Wykorzystanie danych przyrostowych
Dane przyrostowe można kopiować do usługi Azure SQL Database lub magazynu danych za pomocą narzędzi integracji danych, takich jak Azure Data Factory lub potoki usługi Azure Synapse Analytics. Zapewniamy przykładowy potok danych, który można wykorzystać do tego celu. Aby uzyskać więcej informacji: Kopiuj dane Dataverse do Azure SQL.
Jeśli jesteś klientem aplikacji Dynamics 365 Finance and Operations i przechodzisz z korzystania z funkcji kanałów zmian, możesz skorzystać z przykładowych narzędzi do integracji danych udostępnionych w serwisie GitHub, aby zaktualizować istniejące potoki danych wykorzystywane z funkcją kanałów zmian.
Możesz także zbudować własny potok danych, aby korzystać z danych przyrostowych. Podczas projektowania własnego rurociągu należy jednak wziąć pod uwagę następujące najlepsze praktyki:
- Pobieranie danych tylko z poprzednich folderów ze znacznikiem czasu: W ten sposób można uniknąć konfliktów odczytu i zapisu z usługą Synapse Link, która może stale aktualizować dane w bieżącym folderze. Bieżący folder można znaleźć, przeglądając plik Changelog/changelog.info. Plik ten jest plikiem tylko do odczytu i zawiera pojedynczy wiersz z nazwą folderu, który jest aktualnie aktualizowany. Nie należy aktualizować tego pliku, ponieważ może to spowodować niestabilność systemu.
- Możesz wyświetlić plik model.json znajdujący się w każdym folderze ze znacznikiem czasu, aby odczytać metadane, takie jak nazwy kolumn dla danych zawartych w folderach tabel. Zauważ, że każdy plik model.json w folderze znajdującym się w folderach ze znacznikami czasu zawiera metadane dla wszystkich tabel, a nie tylko tabel zawartych w folderze ze znacznikami czasu.
- Należy unikać korzystania z innych plików dziennika, takich jak plik Synapse.log. Plik ten jest wykorzystywany do celów wewnętrznych i może nie odzwierciedlać dokładnych danych.
- Rozważ usunięcie przestarzałych folderów przyrostowych z Azure Data lake po zakończeniu przetwarzania. Obecnie Synapse Link utrzymuje dzierżawę tych plików w usłudze Azure Storage, aby odzyskać dane po wszelkich awariach. System może zwolnić dzierżawę po pewnym czasie. Należy usuwać tylko foldery przyrostowe, które są starsze niż 24 godziny, aby uniknąć konfliktów z działaniem systemu.
- Nie należy modyfikować ani usuwać "bieżącego folderu", czyli folderu zawartego w Changelog/changelog.info. Jeśli zmienisz ten plik, system wstrzyma przetwarzanie danych.
