Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym artykule wyjaśniono, jak używać edytora bez kodu do automatycznego przechwytywania danych przesyłanych strumieniowo w usłudze Event Hubs do konta Azure Data Lake Storage Gen2 w formacie usługi Delta Lake.
Wymagania wstępne
- Musisz udostępnić zasoby Azure Event Hubs i Azure Data Lake Storage Gen2 publicznie. Nie umieszczaj ich za zaporą ani nie zabezpieczaj ich w Azure Virtual Network.
- Musisz serializować dane w usłudze Event Hubs w formacie JSON, CSV lub Avro.
Konfigurowanie zadania przechwytywania danych
Wykonaj poniższe kroki, aby skonfigurować zadanie usługi Stream Analytics do przechwytywania danych w usłudze Azure Data Lake Storage Gen2.
W witrynie Azure Portal przejdź do centrum zdarzeń.
Wybierz Funkcje>Process Data, i wybierz Start na karcie Przechwytywanie danych do ADLS Gen2 w formacie Delta Lake.
Alternatywnie wybierz pozycję Funkcje>Przechwytywanie i wybierz opcję Delta Lake w obszarze Format serializacji zdarzeń wyjściowych. Następnie wybierz pozycję Rozpocznij konfigurację przechwytywania danych.
Wprowadź nazwę, aby zidentyfikować zadanie usługi Stream Analytics. Wybierz pozycję Utwórz.
Określ typ serializacji danych w usłudze Event Hubs i metodę uwierzytelniania używaną przez zadanie do nawiązywania połączenia z usługą Event Hubs. Następnie wybierz pozycję Połącz.
Po pomyślnym nawiązaniu połączenia zobaczysz:
- Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać trzy symbol kropki obok pola, aby opcjonalnie usunąć, zmienić nazwę lub zmienić jego nazwę.
- Próbka na żywo danych przychodzących w tabeli Podgląd danych, w widoku diagramu. Jest okresowo odświeżane. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego, aby wyświetlić statyczny widok przykładowych danych wejściowych.
Wybierz kafelek Azure Data Lake Storage Gen2, aby edytować konfigurację.
Na stronie konfiguracji usługi Azure Data Lake Storage Gen2 wykonaj następujące kroki:
Wybierz subskrypcję, nazwę konta magazynu i kontener z menu rozwijanego.
Po wybraniu subskrypcji, metoda uwierzytelniania i klucz konta magazynu są wypełniane automatycznie.
W przypadku ścieżki tabeli Delta określ lokalizację i nazwę tabeli usługi Delta Lake przechowywanej w Azure Data Lake Storage Gen2. Możesz użyć co najmniej jednego segmentu ścieżki, aby zdefiniować ścieżkę do tabeli różnicowej i nazwę tabeli różnicowej. Aby dowiedzieć się więcej, zobacz Pisanie do tabeli Delta Lake.
Wybierz pozycję Połącz.
Po nawiązaniu połączenia zostaną wyświetlone pola, które znajdują się w danych wyjściowych.
Wybierz pozycję Zapisz na pasku poleceń, aby zapisać konfigurację.
Wybierz pozycję Start na pasku poleceń, aby uruchomić przepływ przesyłania strumieniowego w celu przechwycenia danych. Następnie w oknie Uruchamianie zadania usługi Stream Analytics :
- Wybierz godzinę rozpoczęcia danych wyjściowych.
- Wybierz liczbę jednostek przesyłania strumieniowego (SU), z jaką uruchomione zostanie zadanie. Funkcja SU reprezentuje zasoby obliczeniowe przydzielone do wykonywania zadania usługi Stream Analytics. Aby uzyskać więcej informacji, zobacz Jednostki przesyłania strumieniowego w usłudze Azure Stream Analytics.
Po wybraniu pozycji Uruchom zadanie rozpocznie działanie w ciągu dwóch minut, a metryki zostaną otwarte w sekcji karty, jak pokazano na poniższej ilustracji.
Nowe zadanie można wyświetlić na karcie Zadania usługi Stream Analytics .
Weryfikacja danych wyjściowych
Zweryfikuj, czy pliki parquet w formacie Delta Lake są generowane w kontenerze Azure Data Lake Storage.
Zagadnienia dotyczące korzystania z funkcji replikacji geograficznej usługi Event Hubs
Usługa Azure Event Hubs niedawno uruchomiła funkcję replikacji geograficznej w publicznej wersji zapoznawczej. Ta funkcja różni się od funkcji Geo Disaster Recovery w usłudze Azure Event Hubs.
Gdy typ przełączania awaryjnego jest wymuszony i spójność replikacji jest asynchroniczna, zadanie Stream Analytics nie gwarantuje dokładnie jednorazowego dostarczenia danych wyjściowych do wyjścia Azure Event Hubs.
Usługa Azure Stream Analytics, jako producent z centrum zdarzeń, może obserwować opóźnienie limitu w zadaniu w czasie trwania pracy w trybie failover i podczas ograniczania przepustowości przez usługę Event Hubs w przypadku opóźnienia replikacji między główną i pomocniczą osiąga maksymalne skonfigurowane opóźnienie.
Usługa Azure Stream Analytics, jako odbiorca z usługą Event Hubs jako dane wejściowe, może obserwować opóźnienie znacznika czasu w zadaniu podczas trwania przełączania awaryjnego i może pominąć dane lub znaleźć zduplikowane dane po zakończeniu przełączania awaryjnego.
Ze względu na te zastrzeżenia uruchom ponownie zadanie usługi Stream Analytics z odpowiednim czasem rozpoczęcia bezpośrednio po zakończeniu przełączania awaryjnego usługi Event Hubs. Ponadto, ponieważ funkcja replikacji geograficznej usługi Event Hubs jest dostępna w publicznej wersji zapoznawczej, nie używaj tego wzorca dla produkcyjnych zadań usługi Stream Analytics. Bieżące zachowanie usługi Stream Analytics poprawi się, zanim funkcja replikacji geograficznej usługi Event Hubs będzie ogólnie dostępna i może być używana w zadaniach produkcyjnych usługi Stream Analytics.
Następne kroki
Teraz wiesz, jak używać edytora bez kodu Stream Analytics, aby utworzyć zadanie, które przechwytuje dane Event Hubs do Azure Data Lake Storage Gen2 w formacie Delta Lake. Następnie możesz dowiedzieć się więcej o usłudze Azure Stream Analytics i sposobie monitorowania utworzonego zadania.