Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Aby zwiększyć wydajność i niezawodność, przepływ danych Gen2 używa elementów przejściowych do przechowywania danych pośrednich podczas przekształcania danych. W tym artykule opisano, czym są elementy przejściowe, wzorce ELT, które odblokowują się raz na etapie, odwołują się do wielu modeli i jak zarządzać przechowywanymi danymi.
Co to są elementy przygotowawcze?
Elementy przejściowe to pośrednie lokalizacje magazynu danych używane przez usługę Dataflow Gen2 do przechowywania danych podczas przekształcania danych. Te elementy są znane jako "DataflowsStagingLakehouse" i "DataflowsStagingWarehouse". Elementy przejściowe są używane do przechowywania danych pośrednich podczas przekształcania danych w celu zwiększenia wydajności. Te elementy są tworzone automatycznie podczas tworzenia pierwszego przepływu danych i są zarządzane przez usługę Dataflow Gen2. Te elementy są ukryte przed użytkownikiem w obszarze roboczym, ale mogą być widoczne w innych kontekstach, takich jak Get Data lub Lakehouse Explorer. Zdecydowanie zalecamy, aby nie uzyskiwać dostępu do danych ani modyfikować ich bezpośrednio w elementach przejściowych, ponieważ może to prowadzić do nieoczekiwanego zachowania. Przechowywanie danych samodzielnie w elementach przejściowych nie jest obsługiwane i może spowodować utratę danych.
Wzorce ELT: etapowanie jednorazowe, wielokrotne odniesienia
Poza zapewnieniem magazynu pośredniego, etapowanie odblokowuje zestaw wzorców ELT opartych na jednym fundamencie: raz zarejestruj, wielokrotnie wykorzystuj. Zapytanie źródłowe jest oznaczone jako zaplanowane, aby dane wyjściowe zostały zmaterializowane do wewnętrznego magazynu etapowego. Następnie zapytania podrzędne odwołują się do tego zapytania etapowego zamiast ponownego odczytywania źródła. Szybkie kopiowanie to opcjonalny akcelerator, który powoduje szybsze ładowanie zapytania warstwowego, ale nie definiuje wzorca.
Wzorzec ma znaczenie, ponieważ po przygotowaniu danych zapytania podrzędne mogą:
- Uruchom polecenie względem indeksowanej kopii z możliwością wykonywania zapytań bez ponownego trafienia do źródła.
- Folduj filtry, łączenia i agregacje z powrotem do endpointu staging SQL Analytics zamiast wykonywać je w silniku mashup.
- Rozgałęzij wiele równoległych przekształceń lub miejsc docelowych z jednego zmaterializowanego wyniku.
Typowe przypadki użycia
Następujące wzorce są zwykle nakładane na etapowe zapytanie źródłowe.
| Przypadek użycia | Description |
|---|---|
| Kształtowanie danych etapowych w modelach analitycznych | Przywoływane zapytania kształtują dane etapowe w tabele faktów i wymiarów, podsumowania, zestawienia lub kluczowe wskaźniki efektywności za pomocą deduplikacji, grupowania według kluczy i generowania kluczy. |
| Optymalizacja obliczeń | Zapytania referencyjne napisane na podstawie danych przejściowych składają operacje sprzężeń, filtrowania i grupowania do punktu końcowego analizy SQL dla obszaru przejściowego, przenosząc przetwarzanie do silnika hurtowni danych zamiast do silnika mashup. Jest to często największy pojedynczy zysk wydajności, jaki umożliwia etapowanie. |
| Jakość danych i gałąź inspekcji | Przywoływane zapytania weryfikują lub sprawdzają dane etapowe (sprawdzanie wartości null, walidacja ograniczeń, liczba wierszy) bez ponownego odczytania źródła. |
| Fan-out do wielu miejsc docelowych | Wiele przywoływanych zapytań ładuje różne miejsca docelowe z tego samego przygotowanego źródła (na przykład Lakehouse i magazyn). |
| Etapuj, a następnie scalaj | Każde źródło jest przygotowywane w osobnym zapytaniu, a następnie kolejne zapytanie odwołujące się do tych wyników scala je lub wykonuje na nich sprzężenie, przy czym operacja sprzężenia jest składana z powrotem do punktu końcowego analizy SQL warstwy przejściowej. |
Kiedy etap przygotowawczy nie jest odpowiedni
Etap tymczasowy dodaje koszty magazynowania i dodatkową operację zapisu przed uruchomieniem zapytań końcowych. Rozważ pominięcie go, gdy:
- Twoja transformacja już w pełni integruje się z systemem źródłowym bez obliczeń w silniku mashup.
- Przepływ danych ma pojedyncze wyjście i nie ma rozgałęziania w dół strumienia, walidacji ani rozpraszania.
- Opóźnienie źródła to wąskie gardło, a źródła nie można zrównoleglić poprzez etapowanie.
Aby uzyskać więcej wskazówek dotyczących włączania lub wyłączania etapowania, zobacz Najlepsze praktyki uzyskiwania optymalnej wydajności w usłudze Dataflow Gen2.
Dane w elementach przejściowych
Elementy etapowe nie są przeznaczone do bezpośredniego dostępu przez użytkowników. Przepływ danych Gen2 zarządza danymi w elementach przejściowych i zapewnia, że dane są w stanie spójnym. Uzyskiwanie bezpośredniego dostępu do danych w elementach przejściowych nie jest obsługiwane, ponieważ nie można zagwarantować spójności danych. Jeśli potrzebujesz dostępu do danych w elementach przejściowych, możesz użyć łącznika przepływu danych w Power BI, Excel lub innych przepływach danych.
Ważna
Korzystanie z tabel przepływu danych Gen2 za pośrednictwem łącznika do przepływów danych, w tym używanie ich jako źródła dla modeli semantycznych Power BI, programu Excel lub innych przepływów danych, jest w pełni obsługiwane. Zawsze używaj złącza, zamiast bezpośrednio korzystać z bazowego magazynu stagingowego. Złącze zapewnia stabilny kontrakt, podczas gdy warstwa pamięci wewnętrznej może się zmieniać.
Środowisko staging to pamięć podręczna, a nie system referencyjny. Zachowaj trwałą kopię wszelkich danych, których nie da się odtworzyć z twoich systemów źródłowych.
Tam, gdzie to możliwe, wykorzystaj lokalizację docelową danych, taką jak lakehouse lub hurtownia danych, aby stworzyć wyraźną, zarządzaną kopię do dalszego wykorzystania. To zalecenie nie jest wymogiem.
Usunięcie danych z elementów przejściowych może zostać wymuszone poprzez jedno z następujących działań:
- Wyłącz etapowanie w przepływie danych i odświeżenie (dane czyścimy po 30 dniach).
- Usuń przepływ danych (bezpośrednio usuwa dane).
- Usuń obszar roboczy (bezpośrednio usuwa StagingLakehouse i StagingWarehouse).
Konsekwencje kosztowe wynikające z etapizacji
Przejściowe lakehouse oraz magazyn przechowują dane pośrednie w ramach przetwarzania przepływu danych. Zużywana przestrzeń magazynowa przez te elementy tymczasowe jest rozliczana w ramach magazynu OneLake. Oznacza to, że dane przechowywane w elementach przejściowych są wliczane do ogólnego wykorzystania przestrzeni magazynowej OneLake oraz związanych z tym kosztów.
Aby efektywnie zarządzać kosztami magazynowania:
- Monitorowanie przejściowego użycia magazynu: należy pamiętać, że dane przejściowe gromadzą się wraz z każdym odświeżaniem przepływu danych do momentu, aż zostaną pobrane lub jawnie usunięte.
- Wyłącz etapowanie, gdy nie jest to konieczne: Jeśli przekształcenia są zintegrowane z systemem źródłowym, włączanie etapowania może nie być konieczne. Wyłączenie etapowania zmniejsza zużycie pamięci.
- Czyszczenie nieużywanych przepływów danych: usuwanie przepływów danych, które nie są już potrzebne, powoduje natychmiastowe usunięcie skojarzonych z nimi danych przejściowych.
- Rozważ częstotliwość odświeżania: częste odświeżanie z włączonym środowiskiem testowym może prowadzić do zwiększonego zużycia magazynu. Równoważenie korzyści z wydajności w stosunku do kosztów magazynu.
Aby uzyskać więcej informacji na temat cennika usługi OneLake Storage, zobacz Cennik usługi Microsoft Fabric.