Diagnozowanie problemów z kosztami i wydajnością przy użyciu interfejsu użytkownika platformy Spark

Gdy pipeline lub zapytanie trwa dłużej lub kosztuje więcej niż się spodziewasz, przyczyna często jest trudna do dostrzeżenia na podstawie samego kodu. Interfejs Spark pokazuje, co klaster faktycznie robił: które zadania wsadowe zostały uruchomione, ile czasu zajmował każdy etap, ile danych zostało przeniesionych i gdzie zadania zakończyły się niepowodzeniem. Ten przewodnik opisuje wzorce w interfejsie Spark i wyjaśnia, do której strony przejść dalej dla każdego wzorca. Jeśli nie znasz pojęć drivera, workers, executors, stages i zadań, zapoznaj się z architekturą Spark przed rozpoczęciem.

Kiedy należy używać tego przewodnika

Skorzystaj z tego poradnika, gdy obciążenie działające na klastrze ma którykolwiek z następujących objawów:

• Zadanie, pipeline lub zapytanie zajmuje więcej czasu niż się spodziewano lub dłużej niż wcześniej.
• Obciążenie kosztuje więcej niż oczekiwano w stosunku do ilości przetwarzanych danych.
• Zadania lub wykonawcy zawodzą, a komunikat o błędzie nie wskazuje przyczyny.

Korzystanie z tego przewodnika

Zacznij od osi czasu zadań. Oś czasu pokazuje ogólny kształt obciążenia, a każdy wzorzec prowadzi do strony, która diagnozuje ten wzorzec. Korzystaj z linków na końcu każdej strony, aby przejść przez przewodnik. Aby zdiagnozować wolno działające obciążenie, postępuj zgodnie z następującymi krokami:

1. Użyj linii czasu zadań, aby zidentyfikować główne problemy
2. Spójrz na najdłuższy etap
3. Poszukaj niesymetryczności lub rozlania
4. ustal, czy najdłuższy etap jest ograniczony przez we/wy
5. Poszukaj innych przyczyn powolnego działania etapu

Jeśli oś czasu zadań pokazuje nieudane zadania, długie przerwy między zadaniami lub wiele małych zadań, pomiń pozostałe kroki i kliknij link na stronie osi czasu do strony z tym wzorcem.

Jak otworzyć interfejs użytkownika platformy Spark

1. Przejdź do strony klastra:

   Compute

2. Kliknij Spark UI:

   

Następny krok

Następnie przejrzyj harmonogram wydarzenia, aby dowiedzieć się więcej o swoim potoku lub wyszukiwaniu. Zobacz harmonogram zadań .