Zaawansowane opcje konfiguracji w usłudze Azure Synapse Link

Usługa Azure Synapse Link oferuje wiele sposobów zapisywania i odczytywania danych w celu dopasowania ich do różnych scenariuszy analitycznych. W zależności od scenariusza analitycznego można wybrać określoną konfigurację spośród poniższych opcji.

Scenariusz Dotyczy Dostępne opcje konfiguracji
Raportowanie operacyjne Tabele Microsoft Dataverse, tabele finansów i operacji oraz encje. Synapse Analytics z opcją Delta lake zapewnia lepsze czasy odpowiedzi na zapytania, szczególnie w przypadku zapytań dotyczących dużych ilości danych. Więcej informacji: Synapse Link z opcją usługi Delta Lake
Raportowanie operacyjne Tylko tabele Dataverse. Synapse Link z opcją konfiguracji „Wbudowana aktualizacja” zapewnia pliki CSV w jeziorze danych, które są aktualizowane niemal w czasie rzeczywistym.

Jest to starsza opcja dostępna dla tabel Dataverse. Ta opcja nie jest obsługiwana w przypadku tabel z aplikacji finansowych i operacyjnych.
Integracja danych Tabele Dataverse oraz tabele i encje finansowe i operacyjne. Opcja "Tylko dołączanie" umożliwia uzyskanie plików CSV zawierających dane przyrostowe. Można tworzyć potoki, które wykorzystują dane przyrostowe i wypełniają systemy niższego szczebla

Funkcja partycjonowania danych określona przez użytkownika umożliwia wybór niestandardowej strategii partycjonowania danych specjalnie dla tabel Dataverse. Dane tabeli finansowej i operacyjnej są partycjonowane przez system w oparciu o odpowiednią strategię partycjonowania. Ta opcja nie jest dostępna dla aplikacji finansowych i operacyjnych.

W tym artykule omówiono zaawansowane ustawienia konfiguracyjne dostępne dla tabel Dataverse. Opcje te nie są dostępne dla aplikacji finansowych i operacyjnych.

  1. Aktualizacje na miejscu vs. zapisywanie dodatkowe.
  2. Partycjonowanie danych ustalone przez użytkownika.

Aktualizacje na miejscu vs. zapisywanie dodatkowe

Podczas zapisywania danych tabeli Dataverse w usłudze data lake Azure na podstawie wartości createdOn, czyli daty i godziny utworzenia rekordu, istnieją dwa różne ustawienia do wyboru. Te opcje to Aktualizacja zamiast oraz Tylko dodanie.

Ustawieniem domyślnym (w przypadku tabel, w których wartość createdOn jest dostępna) jest wprowadzenie aktualizacji lub upsert (update/insert) danych przyrostowych w miejscu docelowym. Jeśli zmiana jest nowa i odpowiedni wiersz nie istnieje w jeziorze, w przypadku tworzenia pliki docelowe są skanowane, a zmiany są wstawiane do odpowiedniej partycji plików w jeziorze. Jeśli zmiana zostanie zaktualizowana i w pliku dziennika istnieje wiersz, odpowiedni plik w data lake zostanie zaktualizowany, a nie wstawiony, wraz z danymi przyrostowymi. Innymi słowy, domyślnym ustawieniem dla wszystkich zmian CUD (tworzenie, aktualizowanie, usuwanie) w tabelach Dataverse, gdzie dostępny jest createdOn, jest przeprowadzanie aktualizacji bezpośrednio w miejscu docelowym, w Azure data lake.

Domyślne zachowanie aktualizacji można zmienić, korzystając z opcjonalnego ustawienia o nazwie Tylko dodanie. W przeciwieństwie do zachowania w Aktualizacja zamiast, w trybie Tylko dodanie dane z tabel Dataverse są dołączane do odpowiednich partycji plików w systemie. Jest to ustawienie dotyczące konkretnej tabeli i dostępne jako pole wyboru w obszarze Zaawansowane>Pokaż zaawansowane ustawienia konfiguracji. W przypadku tabel Dataverse z włączoną opcją Tylko dodanie wszystkie zmiany CUD są w sposób odpowiedni dołączane do odpowiednich plików docelowych w jeziorze danych. Po wybraniu tej opcji strategia partycji jest domyślnie wybierana jako Rok, a gdy dane są zapisywane w usłudze Data Lake, są one dzielone na partycje w ujęciu rocznym. Tylko dołączanie jest również ustawieniem domyślnym dla tabel Dataverse, które nie mają wartości createdOn.

W poniższej tabeli opisano sposób obsługi wierszy w tle zdarzeń CUD dla poszczególnych opcji zapisu danych.

Zdarzenie Aktualizacja na miejscu Tylko dołączanie
Create Wiersz zostanie wstawiony do pliku partycji i jest oparty na wartości createdOn w wierszu. Wiersz jest dodawany na końcu pliku partycji i jest oparty na wartości createdOn rekordu.
Update Jeśli wiersz istnieje w pliku partycji, jest zastępowany lub aktualizowany zaktualizowanymi danymi. Jeśli nie istnieje, zostanie wstawiony do pliku. Wiersz, wraz ze zaktualizowaną wersją, jest dodawany na końcu pliku partycji.
Delete Jeśli wiersz istnieje w pliku partycji, jest usuwany z pliku. Wiersz, wraz ze zaktualizowaną wersją, jest dodawany na końcu pliku partycji z dopiskiem IsDelete column = True.

Uwaga / Notatka

W przypadku tabel usługi Dataverse, w których włączono opcję Tylko dodanie, usunięcie wiersza źródłowego nie powoduje natychmiastowego usunięcia wiersza w jeziorze danych. Zamiast tego usunięty wiersz jest dołączany jako nowy wiersz w data lake a kolumna isDeleted jest ustawiona na wartość True (Prawda). Usługa Azure Synapse Link usuwa trwale usunięte rekordy z jeziora po 30 dniach. Aby zachować usunięte rekordy przez dłużej niż 30 dni, włącz długoterminowe przechowywanie dla tabeli.

Odczyt (ALLOW_INCONSISTENT_READS) dla bezserwerowego jest włączony tylko w trybie dołączania. ALLOW_INCONSISTENT_READS oznacza, że użytkownik może odczytywać pliki, które można stale modyfikować, gdy jest uruchomione zapytanie SELECT. Wyniki są spójne i równoważne z odczytywaniem migawki pliku. (Nie jest odpowiednikiem izolacji migawki bazy danych z powodu innego czasu generowania migawki).

Nie wszystkie zmiany CUD są przechwytywane przy użyciu opcji tylko dodania: Synapse Link przetwarza zmiany danych w grupach lub „partiach” przed opublikowaniem ich w jeziorze data lake. W związku z tym, jeśli użytkownik wprowadza zmiany w krótkim przedziale czasu, nie wszystkie zmiany CUD są przechwytywane w usłudze Data Lake.

Oto więcej szczegółów na temat tego, kiedy użyć którejkolwiek z opcji.

  • Aktualizacja zamiast (starsza wersja): ta opcja jest ustawieniem domyślnym i zalecana tylko wtedy, gdy chcesz połączyć się bezpośrednio z danymi w jeziorze i potrzebujesz bieżącego stanu (nie historii lub zmian przyrostowych). Plik zawiera pełny zestaw danych i może być używany w Power BI lub poprzez skopiowanie całego zestawu danych do procesów ETL (ekstrakcja, transformacja, ładowanie).

    Important

    Aktualizacja w miejscu jest trybem starszym i nie radzi sobie dobrze z dużymi wolumenami danych ani gdy zmiany są częste. Jeśli tabela zawiera dużą ilość danych lub występuje duża liczba operacji tworzenia, aktualizacji lub usuwania, użyj funkcji Dołącz tylko zamiast tego, aby zapewnić niezawodny i wydajny eksport danych.

  • Tylko dodanie: wybierz tę opcję, jeśli nie łączysz się bezpośrednio z danymi w źródle i chcesz stopniowo skopiować dane do innego celu przy użyciu potoków ETL. Ta opcja zawiera historię zmian umożliwiających włączanie scenariuszy AI i ML. Jest to zalecana opcja dla tabel z dużymi ilościami danych lub częstymi zmianami danych.

    Important

    Tryb tylko do dopisywania obsługuje tylko strategię partycjonowania według roku. Żadna inna strategia partycjonowania nie jest obsługiwana i nie będzie honorowana podczas eksportowania danych w trybie tylko dołączania . Jeśli skonfigurowano inną strategię partycjonowania, rekordy mogą być zapisywane w nieprawidłowych partycjach, co może spowodować niespójności danych i niedokładne przetwarzanie podrzędne lub raportowanie.

W celu dostosowania strategii partycji danych można przełączać ustawienia Pokazuj ustawienia zaawansowane konfiguracji w obszarze Zaawansowane w usłudze Azure Synapse Link dla Dataverse w celu dostosowania strategii partycji danych oraz wybrać opcje zapisu danych platformy Azure data lake.

Pokaż konfigurację zaawansowaną.

Partycjonowanie danych

Kiedy zapisujesz dane tabel Dataverse do magazynu Azure Data Lake Storage za pomocą Azure Synapse Link, tabele są partycjonowane w jeziorze na podstawie wartości createdOn każdego wiersza w źródle. Domyślna strategia partycji to miesiąc, więc dane są partycjonowane w usłudze Azure Data Lake co miesiąc.

Na podstawie objętości tabeli Dataverse i rozkładu danych można podzielić dane na partycje według roku. Dzięki tej opcji, gdy dane tabeli Dataverse są zapisywane do usługi Azure Data Lake, są partycjonowane rocznie na podstawie wartości createdOn w każdym wierszu źródłowym. W przypadku tabel bez kolumny createdOn wiersze danych są podzielone na nowy plik co 5 000 000 rekordów. Jest to ustawienie dotyczące konkretnej tabeli i dostępne jako pole wyboru w obszarze Zaawansowane>Pokaż zaawansowane ustawienia konfiguracji.

Oto przykłady obsługi danych w jeziorze z roczną lub miesięczną strategią partycji.

Strategia dzielenia na partycje.

Informacje dodatkowe

Usługa Azure Synapse Link dla usługi Dataverse