Wdrażanie i obsługa potoków danych i obciążeń za pomocą usługi Azure Databricks
W skrócie
-
Poziom
-
Umiejętność
-
Rezultat
-
Rola
-
Temat
Ukończ pełny cykl życia tworzenia, wdrażania i obsługi potoków danych gotowych do produkcji w usłudze Azure Databricks — od projektowania i organizowania po monitorowanie i optymalizację.
Po zakończeniu tej ścieżki szkoleniowej będziesz mieć następujące możliwości:
- Projektowanie i implementowanie niezawodnych potoków danych przy użyciu notesów i potoków Lakeflow
- Tworzenie i organizowanie zadań Lakeflow za pomocą wyzwalaczy, harmonogramów i obsługi błędów
- Zastosowanie kontroli wersji i wdrażanie potoków w środowiskach przy użyciu Git i deklaratywnych pakietów automatyzacji.
- Monitorowanie, rozwiązywanie problemów i optymalizowanie obciążeń danych pod kątem niezawodności i wydajności
Wymagania wstępne
- Dobre zrozumienie obszarów roboczych usługi Azure Databricks
- Znajomość pojęć dotyczących inżynierii danych i języka SQL
- Doświadczenie w programowaniu w Pythonie i notatnikach
- Znajomość podstaw kontroli wersji usługi Git
Kod osiągnięć
Czy chcesz zażądać kodu osiągnięcia?
Moduły w ramach tej ścieżki szkoleniowej
Dowiedz się, jak projektować i implementować niezawodne potoki danych w Azure Databricks przy użyciu notebooków i potoków Lakeflow, obejmujących orkiestrację, obsługę błędów i logikę zadań.
Ten moduł przeprowadzi Cię przez proces implementowania zadań lakeflow w usłudze Azure Databricks. Dowiesz się, jak tworzyć zadania, konfigurować wyzwalacze i harmonogramy, konfigurować alerty i zarządzać automatycznymi ponownymi uruchomieniami w celu zapewnienia niezawodnego wykonywania potoku danych.
Azure Databricks integruje się z ustalonymi rozwiązaniami programistycznymi za pośrednictwem folderów Git na potrzeby kontroli wersji i pakietów deklaratywnej automatyzacji dla wdrożeń infrastruktury jako kodu. W tym module omówiono najlepsze praktyki kontroli wersji w Git, rozgałęzianie i przepływy pracy żądań ściągnięcia, kompleksowe strategie testowania oraz wdrażanie pakietów przy użyciu CLI w różnych środowiskach.
Monitorowanie i optymalizacja są niezbędne do uruchamiania niezawodnych, ekonomicznych obciążeń danych w usłudze Azure Databricks. W tym module omówiono metryki zużycia zasobów klastra, rozwiązywanie problemów z zadaniami Lakeflow, diagnostykę zadań w środowisku Spark, optymalizację wydajności pod kątem buforowania, asymetrii rozkładu, przepełnień pamięci i organizacji przetasowania, a także przesyłanie strumieniowe dzienników do usługi Azure Log Analytics.