Ćwiczenie — projektowanie i implementowanie potoków danych za pomocą usługi Azure Databricks
Teraz masz szansę zaprojektować i zaimplementować potoki danych za pomocą usługi Azure Databricks. W tym laboratorium utworzysz architekturę potokową medalu (Bronze → Silver → Gold) dla danych rezerwacji hotelowych GlobStay, stosując reguły czyszczenia, takie jak deduplikacja, filtrowanie wartości null i walidacja dat, zanim utworzysz agregacje warstwy Gold dla oceny wydajności nieruchomości i kanałów. Implementujesz obsługę błędów i parametryzujesz notesy na potrzeby orkiestracji zadań. Następnie skonfigurujesz zadanie Lakeflow w interfejsie użytkownika usługi Azure Databricks z sekwencyjnymi zależnościami zadań, zasadami ponawiania prób, powiadomieniami o błędach oraz zadaniem warunkowym If/else do routingu jakości danych.
Uwaga / Notatka
Do ukończenia tego laboratorium potrzebna jest subskrypcja Azure, w której masz dostęp administracyjny.
Uruchom ćwiczenie i postępuj zgodnie z instrukcjami.
