Wprowadzenie

Tworzenie niezawodnych potoków danych wymaga więcej niż łączenie źródeł danych z miejscami docelowymi. Musisz zaprojektować przepływy pracy, które bezproblemowo obsługują błędy, skalują się wraz ze wzrostem ilości danych i pozostają łatwe w utrzymaniu w miarę zmieniających się wymagań biznesowych. Azure Databricks oferuje wiele metod tworzenia potoków danych — od elastycznych notesów z kodem proceduralnym po potoki Lakeflow, które automatyzują orkiestrację i wymuszanie jakości danych.

Podczas projektowania potoków danych podejmujesz decyzje, które mają wpływ na każdego podrzędnego konsumenta danych. Kolejność operacji określa, czy przekształcenia są oparte na zweryfikowanych, dobrze ustrukturyzowanych danych. Wybór między notebookami i potokami deklaratywnymi wpływa na to, ile kodu orkiestracji piszesz w porównaniu do tego, jaką ilością platforma zarządza. Zależności zadań w Lakeflow Jobs kontrolują przepływ wykonywania i umożliwiają przetwarzanie równoległe, które skraca czas działania potoku.

Obsługa błędów oddziela potoki gotowe do produkcji od kruchych prototypów. Bez odpowiedniej obsługi błędów nieprawidłowe rekordy mogą zepsuć analizy dalszego etapu, niezauważone awarie prowadzą do nagromadzenia długu technicznego, a problemy mogą pojawić się godziny lub dni po ich wystąpieniu. Usługa Azure Databricks udostępnia wbudowane mechanizmy oczekiwań dotyczących jakości danych, zasad ponawiania prób i przepływów zadań warunkowych , które ułatwiają tworzenie odpornych przepływów pracy danych.

Ten moduł przeprowadzi Cię przez proces projektowania i implementowania potoków danych w usłudze Azure Databricks. Dowiesz się, jak zbudować strukturę operacji potoku, wybrać odpowiednie podejście do przypadku użycia, skonfigurować logikę zadań w zadaniach Lakeflow i wdrożyć strategie obsługi błędów. Możesz również tworzyć potoki przy użyciu metod opartych na notebookach oraz deklaratywnych, uzyskując praktyczne doświadczenie z narzędziami obsługującymi platformy danych na potrzeby produkcji.