Filtrowanie i importowanie danych do usługi Azure Data Lake Storage Gen2 przy użyciu edytora bez kodu w usłudze Stream Analytics.

W tym artykule opisano, jak możesz łatwo utworzyć zadanie usługi Stream Analytics przy użyciu edytora wizualnego bez kodu. Stale odczytuje z usługi Event Hubs, filtruje dane przychodzące, a następnie zapisuje wyniki w sposób ciągły w usłudze Azure Data Lake Storage Gen2.

Wymagania wstępne

  • Zasoby usługi Azure Event Hubs muszą być publicznie dostępne i nie muszą znajdować się za zaporą lub zabezpieczone w usłudze Azure Virtual Network
  • Dane w usłudze Event Hubs muszą być serializowane w formacie JSON, CSV lub Avro.

Opracuj zadanie Stream Analytics do filtrowania i przetwarzania danych w czasie rzeczywistym.

  1. W portalu Azure znajdź i wybierz instancję Azure Event Hubs.

  2. Wybierz Funkcje>Dane procesowe, a następnie wybierz pozycję Rozpocznij na karcie Filtrowanie i pozyskiwanie do usługi ADLS Gen2.
    Zrzut ekranu przedstawiający kartę Filtr i przesyłanie danych do usługi ADLS Gen2, gdzie wybierasz Rozpocznij.

  3. Wprowadź nazwę zadania usługi Stream Analytics, a następnie wybierz pozycję Utwórz.
    Zrzut ekranu przedstawiający miejsce wprowadzania nazwy zadania.

  4. Określ typ serializacji danych w oknie usługi Event Hubs i metodę uwierzytelniania, która będzie używana przez zadanie w celu nawiązania połączenia z usługą Event Hubs. Następnie wybierz pozycję Połącz.
    Zrzut ekranu przedstawiający obszar usługi Event Hubs, w którym wybrano opcję Serializacja i metoda uwierzytelniania.

  5. Jeśli połączenie zostało nawiązane pomyślnie i masz strumienie danych przepływające do wystąpienia Event Hubs, natychmiast zobaczysz dwie rzeczy:

    1. Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać trzy symbol kropki obok każdego pola, aby usunąć, zmienić nazwę lub zmienić jego typ.
      Zrzut ekranu pokazujący, gdzie można dodać pole lub usunąć, zmienić nazwę lub zmienić typ pola.
    2. Próbka danych przychodzących w tabeli Podgląd danych w widoku diagramu. Automatycznie odświeża się okresowo. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego, aby wyświetlić statyczny widok przykładowych danych wejściowych.
      Zrzut ekranu przedstawiający przykładowe dane na karcie Podgląd danych.

  6. Wybierz kafelek Filtr. W obszarze Filtr wybierz pole, aby filtrować dane przychodzące za pomocą warunku.
    Zrzut ekranu przedstawiający obszar Filtr, w którym można dodać filtr warunkowy.

  7. Wybierz kafelek Azure Data Lake Storage Gen2. Wybierz konto usługi Azure Data Lake Gen2, aby wysłać przefiltrowane dane:

    1. Wybierz subskrypcję, nazwę konta magazynu i kontener z menu rozwijanego.
    2. Po wybraniu subskrypcji metoda uwierzytelniania i klucz konta magazynu powinny zostać automatycznie wypełnione. Wybierz pozycję Połącz.
      Aby uzyskać więcej informacji na temat pól i zapoznać się z przykładami wzorca ścieżki, zobacz magazyn obiektów Blob i dane wyjściowe Azure Data Lake Gen2 z usługi Azure Stream Analytics.
      Zrzut ekranu przedstawiający ustawienia konfiguracji połączenia kontenera obiektów blob usługi Azure Data Lake Gen2.

  8. Opcjonalnie wybierz pozycję Pobierz statyczną wersję zapoznawcza/Odśwież statyczną wersję zapoznawcza , aby wyświetlić podgląd danych, który zostanie pozyskany z usługi Azure Data Lake Storage Gen2.
    Zrzut ekranu pokazujący podgląd danych i opcję 'Odśwież statyczny podgląd'.

  9. Wybierz pozycję Zapisz , a następnie wybierz pozycję Uruchom zadanie usługi Stream Analytics.
    Zrzut ekranu przedstawiający opcje Zapisywania i uruchamiania zadania.

  10. Aby uruchomić zadanie, określ liczbę jednostek przesyłania strumieniowego (SU), z którymi jest uruchamiane zadanie. Jednostki SU reprezentują ilość zasobów obliczeniowych i pamięci przeznaczonych na zadanie. Zalecamy rozpoczęcie od trzech, a następnie dostosowanie zgodnie z potrzebami.

  11. Po wybraniu pozycji Uruchom zadanie zostanie uruchomione w ciągu dwóch minut, a metryki zostaną otwarte w poniższej sekcji karty.

    Zrzut ekranu przedstawiający okno Uruchom zadanie usługi Stream Analytics.

    Zadanie można wyświetlić w sekcji Przetwarzanie danych na karcie Zadania usługi Stream Analytics. Wybierz pozycję Odśwież , dopóki stan zadania nie zostanie wyświetlony jako Uruchomione. Wybierz pozycję Otwórz metryki , aby je monitorować lub zatrzymać i uruchomić ponownie, zgodnie z potrzebami.

    Zrzut ekranu przedstawiający kartę Zadania usługi Stream Analytics.

    Oto przykładowa strona Metryki:

    Zrzut ekranu przedstawiający stronę Metryki.

Weryfikowanie danych w usłudze Data Lake Storage

  1. Powinny zostać wyświetlone pliki utworzone w określonym kontenerze.

    Zrzut ekranu przedstawiający wygenerowany plik z przefiltrowanymi danymi w usłudze Azure Data Lake Storage.

  2. Pobierz i otwórz plik, aby potwierdzić, że są widoczne tylko przefiltrowane dane. W poniższym przykładzie zobaczysz dane z parametrem SwitchNum ustawionym na stany USA.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Zagadnienia dotyczące korzystania z funkcji replikacji geograficznej usługi Event Hubs

Usługa Azure Event Hubs niedawno uruchomiła funkcję replikacji geograficznej w publicznej wersji zapoznawczej. Ta funkcja różni się od funkcji Geo Disaster Recovery w usłudze Azure Event Hubs.

Gdy typ przełączania awaryjnego jest wymuszony i spójność replikacji jest asynchroniczna, zadanie Stream Analytics nie gwarantuje dokładnie jednorazowego dostarczenia danych wyjściowych do wyjścia Azure Event Hubs.

Usługa Azure Stream Analytics, jako producent z centrum zdarzeń, może obserwować opóźnienie limitu w zadaniu w czasie trwania pracy w trybie failover i podczas ograniczania przepustowości przez usługę Event Hubs w przypadku opóźnienia replikacji między główną i pomocniczą osiąga maksymalne skonfigurowane opóźnienie.

Usługa Azure Stream Analytics, jako odbiorca z usługą Event Hubs jako dane wejściowe, może obserwować opóźnienie znacznika czasu w zadaniu podczas trwania przełączania awaryjnego i może pominąć dane lub znaleźć zduplikowane dane po zakończeniu przełączania awaryjnego.

Ze względu na te zastrzeżenia uruchom ponownie zadanie usługi Stream Analytics z odpowiednim czasem rozpoczęcia bezpośrednio po zakończeniu przełączania awaryjnego usługi Event Hubs. Ponadto, ponieważ funkcja replikacji geograficznej usługi Event Hubs jest dostępna w publicznej wersji zapoznawczej, nie używaj tego wzorca dla produkcyjnych zadań usługi Stream Analytics. Bieżące zachowanie usługi Stream Analytics poprawi się, zanim funkcja replikacji geograficznej usługi Event Hubs będzie ogólnie dostępna i może być używana w zadaniach produkcyjnych usługi Stream Analytics.

Następne kroki

Dowiedz się więcej o usłudze Azure Stream Analytics i sposobie monitorowania utworzonego zadania.

  • Last updated on