Rozwiązywanie problemów z wydajnością pracy w Stream Analytics za pomocą metryk i wymiarów

Aby zrozumieć kondycję pracy w Azure Stream Analytics, musisz wiedzieć, jak korzystać z metryk i wymiarów tego stanowiska. Metryki i wymiary, które Cię interesują, możesz pobrać z portalu Azure, rozszerzenia Visual Studio Code Stream Analytics lub z SDK.

Opóźnienie watermarku oraz zaległe zdarzenia wejściowe to główne metryki określające wydajność zadania Stream Analytics. Jeśli opóźnienie watermarku zadania stale rośnie, a zdarzenia wejściowe zalegają, oznacza to, że zadanie nie nadąża za tempem napływu zdarzeń wejściowych i nie jest w stanie generować wyników na czas.

Ten artykuł pokazuje, jak wykorzystać metryki i wymiary stanowisk Stream Analytics w portalu Azure do diagnozowania wydajności pracy. Poniższe sekcje omawiają kilka przykładów, wychodząc od metryki Watermark Delay, aby diagnozować typowe problemy z wydajnością.

Brak danych wejściowych dla określonej partycji zwiększa opóźnienie limitu zadań

Jeśli opóźnienie znaku wodnego twojego żenująco równoległego zadania stale rośnie, otwórz Metrics w portalu Azure. Następnie wykonaj te kroki, aby sprawdzić, czy przyczyną jest brak danych w niektórych partycjach źródła wejściowego:

  1. Sprawdź, która partycja ma rosnące opóźnienie limitu. Wybierz metrykę Opóźnienie znacznika wodnego i podziel ją według wymiaru Identyfikator partycji. W poniższym przykładzie partycja 465 ma duże opóźnienie limitu.

    Zrzut ekranu wykresu pokazującego podział opóźnienia znaku wodnego według identyfikatora partycji w przypadku braku danych wejściowych w partycji.

  2. Sprawdź, czy brakuje jakichkolwiek danych wejściowych dla tej partycji. Wybierz metrykę Input Events i przefiltruj ją według tego konkretnego identyfikatora partycji.

    Zrzut ekranu przedstawiający wykres przedstawiający zdarzenia wejściowe podzielone według identyfikatora partycji w przypadku braku danych wejściowych w partycji.

Opóźnienie znaku wodnego dla tej partycji rośnie, ponieważ nie napływają do niej żadne zdarzenia wejściowe. Jeśli okno tolerancji dla spóźnionych zdarzeń w zadaniu wynosi kilka godzin i do partycji nie napływają żadne dane wejściowe, należy oczekiwać, że opóźnienie znacznika wodnego dla tej partycji będzie nadal rosło, aż osiągnie wartość okna tolerancji dla spóźnionych zdarzeń.

Na przykład, jeśli okno spóźnienia to sześć godzin, a dane wejściowe nie trafiają do partycji wejściowej 1, opóźnienie znaku wodnego dla partycji wyjściowej 1 wzrośnie do sześciu godzin. Sprawdź, czy Twoje źródło wejściowe generuje dane zgodnie z oczekiwaniami.

Skośność danych wejściowych powoduje opóźnienie osiągnięcia górnego progu

Gdy twoje żenująco równoległe zadanie ma duże opóźnienie znaku wodnego, najpierw podziel metrykę opóźnienia znaku wodnego przez wymiar Partition ID . Następnie zidentyfikowaj, czy wszystkie partycje mają duże opóźnienie znaku wodnego, czy tylko kilka z nich.

W poniższym przykładzie partycje 0 i 1 mają większe opóźnienie znaku wodnego (około 20 do 30 sekund) niż pozostałe osiem partycji. Opóźnienia znaczników wodnych innych partycji utrzymują się zawsze na stałym poziomie około 8–10 sekund.

Zrzut ekranu wykresu przedstawiającego opóźnienie znaku wodnego w podziale według identyfikatora partycji w przypadku skośności danych.

Sprawdź, jak wyglądają dane wejściowe na tych partycjach, dzieląc metrykę Input Events według Partition ID:

Zrzut ekranu przedstawiający wykres przedstawiający zdarzenia wejściowe podzielone według identyfikatora partycji w przypadku niesymetryczności danych.

W poprzednim przykładzie partycje (0 i 1), które mają duże opóźnienie wskaźnika high watermark, otrzymują znacznie więcej danych wejściowych niż pozostałe partycje. Ten warunek nazywa się skośnością danych. Węzły przetwarzania strumieniowego, które przetwarzają partycje z nierównomiernym rozkładem danych, zużywają więcej zasobów procesora i pamięci niż pozostałe, co pokazano na poniższym zrzucie ekranu.

Zrzut ekranu przedstawiający wykres przedstawiający wykorzystanie zasobów partycji ze niesymetrycznością danych.

Węzły strumieniowe przetwarzające partycje o większej nierównomierności rozkładu danych wykazują wyższe wykorzystanie procesora CPU (%) oraz wykorzystanie SU (Pamięć) (%). To obciążenie zasobów wpływa na wydajność pracy i zwiększa opóźnienie w odznaczeniu znaków wodnych. Aby to zminimalizować, równomiernie podziel dane wejściowe.

Możesz też debugować ten problem, korzystając z fizycznego diagramu zadań. Więcej informacji można znaleźć w artykule Fizyczny diagram zadań: Identyfikacja nierównych rozproszonych zdarzeń wejściowych (data-skew).

Przeciążony procesor lub pamięć zwiększają opóźnienie progu

Gdy zadanie trywialnie równoległe ma rosnące opóźnienie watermarku, może ono obejmować wszystkie partycje, a nie tylko jedną lub kilka. Aby potwierdzić, że Twoja praca znajduje się w takiej sytuacji, wykonaj następujące kroki:

  1. Podziel metrykę opóźnienie znaku wodnego według identyfikatora partycji. Na przykład:

    Zrzut ekranu wykresu przedstawiającego opóźnienie znacznika wodnego w podziale na identyfikator partycji w warunkach przeciążenia procesora i pamięci.

  2. Podziel metrykę Input Events według Partition ID , aby potwierdzić, czy w danych wejściowych dla każdej partycji występuje przesunięcie danych.

  3. Sprawdź metryki CPU % Utilization oraz SU (Memory) % Utilization , aby zobaczyć, czy wykorzystanie nie jest zbyt wysokie we wszystkich węzłach streamingowych.

    Zrzut ekranu przedstawiający wykres przedstawiający użycie procesora CPU i pamięci podzielone według nazwy węzła w przypadku przeciążonego procesora CPU i pamięci.

  4. Jeśli oba wskaźniki są wysokie (ponad 80 procent) we wszystkich węzłach streamingowych, można stwierdzić, że każdy węzeł streamingowy przetwarza dużą ilość danych.

    Sprawdź, ile partycji jest przypisanych do jednego węzła streamingowego, korzystając z metryki Input Events . Filtruj według identyfikatora węzła strumieniowego za pomocą wymiaru Nazwa węzła i podziel według Identyfikator partycji.

    Zrzut ekranu przedstawiający wykres przedstawiający liczbę partycji w jednym węźle przesyłania strumieniowego w przypadku przeciążonego procesora CPU i pamięci.

  5. Powyższy zrzut ekranu pokazuje, że cztery partycje są przydzielane do jednego węzła przesyłania strumieniowego, który zajmuje około 90 do 100 procent zasobu węzła przesyłania strumieniowego. Użyj podobnego podejścia, aby sprawdzić pozostałe węzły streamingowe i potwierdzić, że również przetwarzają dane z czterech partycji.

Ogranicz liczbę partycji, które obsługuje każdy węzeł streamingowy, aby zmniejszyć ilość danych wejściowych na węzeł. Aby to osiągnąć, podwaj SU, tak aby każdy węzeł streamingowy obsługiwał dane z dwóch partycji, lub czterokrotnie zwiększaj SU, aby każdy węzeł streamingowy obsługiwał dane z jednej partycji. Aby uzyskać informacje o relacji między przypisaniem SU i liczbą węzłów przesyłania strumieniowego, zobacz Omówienie i dostosowywanie jednostek przesyłania strumieniowego.

Co należy zrobić, jeśli opóźnienie watermarku nadal rośnie, gdy jeden węzeł przetwarzania strumieniowego obsługuje dane z jednej partycji? Ponowne partycjonowanie danych wejściowych przy użyciu większej liczby partycji w celu zmniejszenia ilości danych w każdej partycji. Aby uzyskać szczegółowe informacje, zobacz Use repartitioning to optimize Azure Stream Analytics jobs (Używanie ponownego partycjonowania do optymalizowania zadań usługi Azure Stream Analytics).

Możesz też debugować ten problem za pomocą fizycznego diagramu zadań. Więcej informacji można znaleźć w artykule Fizyczny diagram zadań: Zidentyfikuj przyczynę przeciążenia CPU lub pamięci.