Wprowadzenie
Uruchamianie obciążeń danych w usłudze Azure Databricks na dużą skalę wymaga więcej niż skonfigurowania klastrów i zapisywania potoków — wymaga ciągłej uwagi na zużycie zasobów, kondycję zadań i optymalizację wydajności. W przypadku nieoczekiwanego wzrostu kosztów obliczeń, gdy zadania kończą się niepowodzeniem bez jasnych wyjaśnień lub zapytania, które wcześniej wykonywały się szybko, teraz zajmują wiele godzin, potrzebne są systematyczne podejścia do identyfikowania problemów i stosowania ukierunkowanych poprawek.
Azure Databricks udostępnia narzędzia do monitorowania i rozwiązywania problemów z zasobami obliczeniowymi. Metryki klastra ujawniają wzorce wykorzystania CPU, pamięci i sieci, co umożliwia odpowiednio dostosować zasoby. Interfejs użytkownika platformy Spark uwidacznia szczegóły wykonywania zadań, metryki na poziomie etapu i dystrybucje zadań, które definiują wąskie gardła. Tabele systemowe umożliwiają bezpośrednie wykonywanie zapytań dotyczących danych rozliczeniowych i wzorców użycia, wspieranie procesów przypisywania kosztów i obciążeń zwrotnych.
Problemy z wydajnością często są śledzone z powrotem do typowych wzorców: niesymetryczność danych , która przeciąża kilka zadań, podczas gdy inne są w stanie bezczynności, rozlanie pamięci , które wymusza kosztowne operacje na dysku, nadmierne przetasowanie , które niepotrzebnie przenosi dane w sieci lub problemy z buforowaniem , które powodują powtarzające się operacje odczytu z magazynu zdalnego. Zrozumienie sposobu badania tych problemów przy użyciu wizualizacji języka DAG, metryk interfejsu użytkownika platformy Spark i profilów zapytań ułatwia efektywne przywracanie wydajności.
W przypadku środowisk w skali przedsiębiorstwa przesyłanie strumieniowe dzienników do usługi Azure Log Analytics centralizuje dane diagnostyczne i inspekcji z różnych obszarów roboczych usługi Azure Databricks. Ta integracja umożliwia wykonywanie zapytań KQL na potrzeby rozwiązywania problemów, proaktywnego alertowania o zdarzeniach krytycznych i wglądu w operacje platformy.
W tym module zapoznasz się z monitorowaniem zużycia klastra, rozwiązywaniem problemów z zadaniami Lakeflow, diagnostyką zadań platformy Spark, technikami optymalizacji wydajności i konfiguracją przesyłania strumieniowego dzienników, aby zbudować umiejętności potrzebne do zapewnienia niezawodnego i ekonomicznego działania obciążeń usługi Azure Databricks.
Note
Zdajemy sobie sprawę, że różni ludzie lubią uczyć się na różne sposoby. Możesz ukończyć ten moduł w formacie wideo lub przeczytać zawartość jako tekst i obrazy. Tekst zawiera więcej szczegółów niż filmy wideo, więc w niektórych przypadkach możesz chcieć odwoływać się do niego jako materiał uzupełniający do prezentacji wideo.