Pobieranie danych przesyłanych strumieniowo do usługi Lakehouse i uzyskiwanie dostępu za pomocą punktu końcowego analizy SQL

Ten szybki start wyjaśnia, jak stworzyć definicję zadania w Spark, która zawiera kod Python z Spark Structured Streaming, aby umieścić dane w domku nad jeziorem i następnie przekazać je przez endpoint analityki SQL. Po ukończeniu tego szybkiego startu będziesz mieć definicję zadania Spark, która działa nieprzerwanie, a punkt końcowy analityki SQL będzie mógł przeglądać nadchodzące dane.

Tworzenie skryptu w języku Python

Użyj następującego skryptu języka Python, aby utworzyć tabelę Delta przesyłania strumieniowego w usłudze Lakehouse przy użyciu platformy Apache Spark. Skrypt odczytuje strumień wygenerowanych danych (jeden wiersz na sekundę) i zapisuje go w trybie dołączania do tabeli delty o nazwie streamingtable. Przechowuje dane i informacje o punkcie kontrolnym w określonym jeziorze.

  1. Użyj następującego kodu w języku Python, który używa ustrukturyzowanego przesyłania strumieniowego Spark do pobierania danych w tabeli w lakehouse.

    from pyspark.sql import SparkSession

if __name__ == "__main__":
 # Start Spark session
 spark = SparkSession.builder \
     .appName("RateStreamToDelta") \
     .getOrCreate()

 # Table name used for logging
 tableName = "streamingtable"

 # Define Delta Lake storage path
 deltaTablePath = f"Tables/{tableName}"

 # Create a streaming DataFrame using the rate source
 df = spark.readStream \
     .format("rate") \
     .option("rowsPerSecond", 1) \
     .load()

 # Write the streaming data to Delta
 query = df.writeStream \
     .format("delta") \
     .outputMode("append") \
     .option("path", deltaTablePath) \
     .option("checkpointLocation", f"{deltaTablePath}/_checkpoint") \
     .start()

 # Keep the stream running
 query.awaitTermination()

  2. Zapisz skrypt jako plik języka Python (.py) na komputerze lokalnym.

Tworzenie jeziora

Aby utworzyć jezioro, wykonaj następujące czynności:

  1. Zaloguj się do portalu Fabric.

  2. W razie potrzeby przejdź do żądanego obszaru roboczego lub utwórz nowy.

  3. Aby utworzyć lakehouse, wybierz Nowy element z obszaru roboczego, a następnie wybierz Lakehouse w panelu, który się otworzy.

    Zrzut ekranu przedstawiający nowe okno dialogowe usługi Lakehouse.

  4. Wprowadź nazwę swojego domu nad jeziorem i wybierz Utwórz.

Tworzenie definicji zadania platformy Spark

Skorzystaj z następujących kroków, aby stworzyć definicję zadania w Spark:

  1. W tym samym obszarze roboczym, w którym utworzono lakehouse, wybierz Nowy element.

  2. W wyświetlonym panelu w obszarze Pobieranie danych wybierz pozycję Definicja zadania platformy Spark.

  3. Wpisz nazwę definicji swojego stanowiska w Spark i wybierz Create.

  4. Wybierz pozycję Przekaż i wybierz plik języka Python utworzony w poprzednim kroku.

  5. W obszarze Dokumentacja usługi Lakehouse wybierz utworzoną usługę Lakehouse.

Ustaw politykę powtórek dla definicji stanowiska Spark

Wykonaj następujące kroki, aby ustawić zasady ponawiania dla definicji zadania platformy Spark:

  1. W górnym menu wybierz ikonę Ustawienie .

    Zrzut ekranu przedstawiający ikonę ustawień definicji zadania platformy Spark.

  2. Otwórz kartę Optymalizacja i ustaw Zasady ponawiania prób na wyzwalacz Włączony.

    Zrzut ekranu przedstawiający kartę Optymalizacja definicji zadań platformy Spark.

  3. Zdefiniuj maksymalną liczbę ponownych prób lub zaznacz opcję Zezwalaj na nieograniczone próby.

  4. Określ czas między każdą ponowną próbą i wybierz pozycję Zastosuj.

Uwaga

Obowiązuje limit 90 dni na ustawienie zasad ponawiania. Po włączeniu zasad ponawiania zadania zostaną uruchomione ponownie zgodnie z zasadami w ciągu 90 dni. Po upływie tego okresu zasady ponawiania będą automatycznie przestać działać, a zadanie zostanie zakończone. Następnie użytkownicy będą musieli ręcznie ponownie uruchomić zadanie, co spowoduje ponowne aktywowanie polityki ponawiania prób.

Wykonaj i monitoruj definicję zadania Spark

  1. W górnym menu wybierz ikonę Uruchom .

    Zrzut ekranu przedstawiający ikonę przebiegu definicji zadania platformy Spark.

  2. Sprawdź, czy definicja zadania Spark została pomyślnie przesłana i uruchomiona.

Wyświetlanie danych przy użyciu punktu końcowego analizy SQL

Po uruchomieniu skryptu w lakehouse zostanie utworzona tabela o nazwie streamingtable z kolumną timestamp i kolumną value. Dane można wyświetlić przy użyciu punktu końcowego analizy SQL:

  1. Z miejsca pracy otwórz swój domek nad jeziorem.

  2. Wybierz punkt końcowy analizy SQL z prawego górnego rogu.

  3. W okienku nawigacji po lewej stronie rozwiń pozycję Schematy > dbo >Tables, wybierz pozycję streamingtable, aby wyświetlić podgląd danych.

Powiązana zawartość

  • Last updated on