Projekt kolejności operacji dla rurociągu
Wskazówka
Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .
Potoki danych przenoszą dane z systemów źródłowych przez wiele etapów przetwarzania przed dostarczeniem ich do użytkowników. Zrozumienie kolejności operacji ułatwia projektowanie potoków, które są niezawodne, łatwe do utrzymania i zgodne z wymaganiami biznesowymi. Każdy etap w potoku służy określonemu celowi, a wybrana sekwencja wpływa na jakość danych, wydajność przetwarzania i szybkość uzyskiwania szczegółowych informacji do użytkowników.
Podczas projektowania pipeline'u danych w usłudze Azure Databricks zwykle stosuje się wzorzec, który odzwierciedla architekturę medalonu: nieprzetworzone dane przepływają przez stopniowo udoskonalane warstwy, dopóki nie będą gotowe do konsumpcji. Takie podejście zapewnia, że każdy etap opiera się na zweryfikowanych, dobrze ustrukturyzowanych danych z poprzedniego etapu.
Pobieranie danych z systemów źródłowych
Pozyskiwanie danych to punkt wejściowy twojego potoku danych. Na tym etapie koncentrujesz się na przechwytywaniu danych z systemów źródłowych i zachowaniu ich w oryginalnej formie. Celem jest niezawodność i kompletność — chcesz mieć pewność, że żadne dane nie zostaną utracone podczas transferu.
Podczas pozyskiwania należy wziąć pod uwagę następujące czynniki:
Charakterystyka źródła: różne źródła wymagają różnych podejść. Źródła przesyłania strumieniowego , takie jak kolejki komunikatów, dostarczają dane w sposób ciągły, podczas gdy źródła wsadowe , takie jak bazy danych lub systemy plików, zapewniają dane w zaplanowanych odstępach czasu.
Zachowywanie danych: przechowywanie pozyskanych danych przy minimalnym przekształceniu. Utrzymywanie stanu pierwotnego umożliwia ponowne przetwarzanie danych w przypadku zmiany wymagań podrzędnych.
Przetwarzanie przyrostowe: skonfiguruj pozyskiwanie w celu przetwarzania tylko nowych lub zmienionych danych, skracając czas przetwarzania i koszty obliczeń.
Ten etap odpowiada warstwie z brązu w architekturze medalonu. Inżynierowie danych zwykle implementują logikę pobierania danych, która jest uruchamiana zgodnie z harmonogramem lub wyzwalana po nadejściu nowych danych.
Czyszczenie i weryfikowanie danych
Po pozyskaniu dane są wprowadzane do etapu czyszczenia i walidacji . Dane pierwotne są przekształcane w zweryfikowany, spójny format, na którym mogą polegać procesy podrzędne. Ten etap ma kluczowe znaczenie, ponieważ problemy z jakością danych wychwycone wcześnie zapobiegają propagacji problemów przez pozostałą część potoku.
Operacje czyszczenia zwykle obejmują:
Wymuszanie schematu: stosowanie spójnych typów danych i struktur w celu zapewnienia zgodności danych z oczekiwanymi formatami.
Obsługa wartości null i brakujących wartości: zdefiniuj reguły dotyczące sposobu traktowania niekompletnych rekordów przez pipeline — czy należy wypełniać wartości domyślne, usuwać rekordy lub oznaczać do przeglądu.
Deduplikacja: zidentyfikuj i usuń zduplikowane rekordy, które mogły zostać wprowadzone za pośrednictwem wielu ścieżek pozyskiwania lub mechanizmów ponawiania prób.
Sprawdzanie jakości danych: zastosuj reguły sprawdzania poprawności, które weryfikują ograniczenia biznesowe, takie jak zapewnienie, że daty mieszczą się w prawidłowych zakresach lub wymaganych polach zawierają odpowiednie wartości.
Ten etap odpowiada warstwie srebrnej. Oddzielając czyszczenie od pozyskiwania, zachowujesz nieprzetworzone dane na potrzeby audytu, zapewniając jednocześnie niezawodną podstawę do transformacji.
Przekształcanie danych do użycia
Przekształcanie kształtuje zweryfikowane dane w struktury, które obsługują określone potrzeby biznesowe. Na tym etapie zastosujesz logikę biznesową, połączysz dane z wielu źródeł i utworzysz zestawy danych używane przez analityków, analityków danych i aplikacje.
Typowe wzorce przekształcania obejmują:
Łączenie zestawów danych: łączenie danych z różnych źródeł w celu utworzenia ujednoliconych widoków. Na przykład dołączenie rekordów klientów z danymi transakcji w celu utworzenia kompletnego zestawu danych aktywności klienta.
Agregacja: podsumowywanie danych na różnych poziomach szczegółowości, takich jak obliczanie sum dziennych, średnich miesięcznych lub podsumowań regionalnych.
Denormalizacja: Spłaszczanie hierarchicznych lub znormalizowanych struktur danych w celu zoptymalizowania wydajności zapytań pod kątem obciążeń analitycznych.
Aplikacja logiki biznesowej: implementowanie obliczeń, kategoryzacji i pochodnych metryk, które są zgodne ze sposobem mierzenia i raportowania danych przez organizację.
Logika przekształcania powinna być jasna i testowalna. W przypadku zmiany wymagań biznesowych, dobrze ustrukturyzowane przekształcenia można łatwiej modyfikować bez zakłócania funkcjonowania innych części potoku.
Ładowanie danych do miejsc docelowych
Ładowanie reprezentuje przekazanie z inżynierii danych do konsumpcji danych. Na tym etapie zapisujesz przetworzone dane w tabelach, widokach lub systemach zewnętrznych, w których użytkownicy uzyskują do niego dostęp.
Kluczowe zagadnienia dotyczące etapu ładowania obejmują:
Projektowanie tabel: Strukturę tabel do obsługi typowych wzorców zapytań. Rozważ strategie partycjonowania , które są zgodne z sposobem filtrowania danych przez użytkowników.
Wzorce zapisu: wybierz między pełnym odświeżeniem, dołączaniem przyrostowym lub operacjami scalania na podstawie objętości danych i wymagań dotyczących świeżości.
Rozwój schematu: Zaplanuj w jaki sposób tabele będą obsługiwały zmiany w strukturze danych w czasie bez zakłócania pracy obciążeń zależnych.
Dane ładowane na tym etapie często odpowiadają warstwie złota — wysoce wyselekcjonowane zestawy danych zoptymalizowane pod kątem analizy, raportowania i uczenia maszynowego.
Dostarczanie danych konsumentom
Gdy dane dotrą do docelowego miejsca docelowego, warstwa obsługująca udostępnia je różnym grupom odbiorców. Ten etap koncentruje się na zapewnieniu odpowiednich wzorców dostępu i właściwości wydajności dla każdego przypadku użycia.
Zagadnienia dotyczące obsługi obejmują:
Widoki i warstwy dostępu: utwórz widoki, które prezentują dane w formatach zoptymalizowanych pod kątem określonych potrzeb konsumentów, takich jak pulpity nawigacyjne, raporty lub zapytania analityczne.
Optymalizacja wydajności: skonfiguruj zasoby obliczeniowe i strategie buforowania spełniające wymagania dotyczące opóźnień dla zapytań interakcyjnych.
Kontrola dostępu: zaimplementuj zasady zabezpieczeń , które zapewniają konsumentom wyświetlanie tylko danych, do których mają dostęp.
Warstwa serwująca łączy inżynierię danych i konsumpcję danych. Podczas gdy inżynierowie danych tworzą i utrzymują podstawową infrastrukturę, analitycy i aplikacje współdziałają z obsługiwanymi danymi bez konieczności zrozumienia wewnętrznych potoków.
Monitoruj i optymalizuj wydajność przepływu danych
Monitorowanie potoków zapewnia niezawodne i wydajne przepływy danych w czasie. Bez ciągłej obserwacji problemy, takie jak opóźnienia danych, obniżenie jakości lub nieefektywność zasobów , mogą pozostać niezauważone, dopóki nie będą miały wpływu na decyzje biznesowe.
Ustanów monitorowanie dla:
Metryki przetwarzania: śledzenie czasów wykonywania, liczby rekordów i wykorzystania zasobów w celu zidentyfikowania wąskich gardeł lub nieoczekiwanych zmian w wolumenach danych.
Tendencje w jakości danych: monitoruj wyniki walidacji w czasie, aby wykryć stopniowe odchylenie jakości danych lub nagłe skoki w liczbie nieprawidłowych rekordów.
Koszt i wydajność: Przejrzyj wzorce użycia zasobów obliczeniowych, aby zidentyfikować możliwości optymalizacji, takie jak dostosowywanie rozmiarów klastrów lub planowanie niepilnych obciążeń poza godzinami szczytu.
Optymalizacja to ciągłe działanie. W miarę wzrostu ilości danych i zmiany wymagań biznesowych, ponownie przeanalizuj projekt potoku, aby upewnić się, że nadal spełnia cele dotyczące wydajności i kosztów.