Monitorowanie, rozwiązywanie problemów i optymalizowanie obciążeń w usłudze Azure Databricks
Średni
Inżynier danych
Azure Databricks
Monitorowanie i optymalizacja są niezbędne do uruchamiania niezawodnych, ekonomicznych obciążeń danych w usłudze Azure Databricks. W tym module omówione są metryki zużycia klastra, rozwiązywanie problemów z zadaniami Lakeflow, diagnostyka zadań Spark, optymalizacja wydajności w kontekście buforowania, niesymetryczności, przepełnienia i przetasowywania, oraz przesyłanie strumieniowe dzienników do Azure Log Analytics.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Monitorowanie i zarządzanie zużyciem klastra przy użyciu metryk, automatycznego zakończenia i budżetów
- Rozwiązywanie problemów i naprawianie nieudanych zadań Lakeflow przy użyciu interfejsu użytkownika zadań oraz funkcji naprawy uruchomień.
- Diagnozowanie błędów zadań platformy Spark i wąskich gardeł zasobów przy użyciu interfejsu użytkownika platformy Spark i metryk obliczeniowych
- Badanie i rozwiązywanie problemów z wydajnością buforowania, zakłócenia danych, rozlania pamięci i przepływu danych
- Implementowanie przesyłania strumieniowego dzienników z usługi Azure Databricks do usługi Azure Log Analytics w celu scentralizowanego monitorowania
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat obszarów roboczych i klastrów usługi Azure Databricks
- Znajomość koncepcji platformy Apache Spark i tworzenia notatników
- Doświadczenie z podstawami inżynierii danych
- Znajomość nawigacji w witrynie Azure Portal