Hämta strömmande data till lakehouse och använd SQL-analyslutpunkten för åtkomst

Denna quickstart förklarar hur man skapar en Spark-jobbdefinition som innehåller Python-kod med Spark Structured Streaming för att landa data i ett lakehouse och sedan leverera den via en SQL-analysterminal. Efter att ha slutfört denna snabbstart har du en Spark-jobbdefinition som körs kontinuerligt och SQL-analysändpunkten kan se den inkommande datan.

Skapa ett Python-skript

Använd följande Python-skript för att skapa en strömmande Delta-tabell i ett datahus (lakehouse) med Apache Spark. Skriptet läser en dataström med genererade data (en rad per sekund) och skriver den i tilläggsläge till en Delta-tabell med namnet streamingtable. Den lagrar information om data och kontrollpunkter i det angivna sjöhuset.

  1. Använd följande Python-kod som använder Spark-strukturerad strömning för att hämta data i en lakehouse-tabell.

    from pyspark.sql import SparkSession

if __name__ == "__main__":
 # Start Spark session
 spark = SparkSession.builder \
     .appName("RateStreamToDelta") \
     .getOrCreate()

 # Table name used for logging
 tableName = "streamingtable"

 # Define Delta Lake storage path
 deltaTablePath = f"Tables/{tableName}"

 # Create a streaming DataFrame using the rate source
 df = spark.readStream \
     .format("rate") \
     .option("rowsPerSecond", 1) \
     .load()

 # Write the streaming data to Delta
 query = df.writeStream \
     .format("delta") \
     .outputMode("append") \
     .option("path", deltaTablePath) \
     .option("checkpointLocation", f"{deltaTablePath}/_checkpoint") \
     .start()

 # Keep the stream running
 query.awaitTermination()

  2. Spara skriptet som Python-fil (.py) på den lokala datorn.

Skapa ett sjöhus

Använd följande steg för att skapa ett sjöhus:

  1. Logga in på Fabric-portalen.

  2. Navigera till önskad arbetsyta eller skapa en ny om det behövs.

  3. Om du vill skapa ett sjöhus väljer du Nytt objekt från arbetsytan och väljer sedan Lakehouse- i panelen som öppnas.

    Skärmbild som visar dialogrutan för nytt lakehouse.

  4. Ange namnet på ditt lakehouse och välj Skapa.

Skapa en Spark-jobbdefinition

Använd följande steg för att skapa en Spark-jobbdefinition:

  1. På samma arbetsyta där du skapade ett sjöhus väljer du Nytt objekt.

  2. I panelen som öppnas, under Hämta data, väljer du Spark-jobbdefinition.

  3. Ange namnet på din Spark-jobbdefinition och välj Skapa.

  4. Välj Ladda upp och välj den Python-fil som du skapade i föregående steg.

  5. Under Lakehouse Reference väljer du det sjöhus som du skapade.

Sätt Retry-policy för Spark-jobbdefinitionen

Använd följande steg för att ange återförsöksprincipen för spark-jobbdefinitionen:

  1. På den översta menyn väljer du inställningsikonen.

    Skärmbild som visar inställningsikonen för Spark-jobbdefinition.

  2. Öppna fliken Optimering och ställ in återförsöksprinciputlösarenPå.

    Skärmbild som visar fliken Optimering av Spark-jobbdefinition.

  3. Definiera maximalt antal återförsök eller markera Tillåt obegränsade försök.

  4. Ange tid mellan varje nytt försök och välj Använd.

Kommentar

Det finns en livstidsgräns på 90 dagar för konfigurationen av återförsöksprincipen. När återförsöksprincipen har aktiverats startas jobbet om enligt principen inom 90 dagar. Efter den här perioden upphör återförsöksprincipen automatiskt att fungera och jobbet avslutas. Användarna måste sedan starta om jobbet manuellt, vilket i sin tur återaktiverar återförsöksprincipen.

Exekvera och övervaka definitionen av Spark-jobbet

  1. Välj ikonen Kör på den översta menyn.

    Skärmbild som visar startikonen för en Spark-jobbdefinition.

  2. Kontrollera om Spark-jobbdefinitionen har skickats in framgångsrikt och körs.

Visa data med hjälp av en SQL-analysslutpunkt

När skriptet har körts skapas en tabell med namnet streamingtable med tidsstämpel och värdekolumner i lakehouse. Du kan visa data med hjälp av SQL-analysslutpunkten:

  1. Från arbetsplatsen, öppna ditt sjöhus.

  2. Växla till SQL-analysslutpunkten från det övre högra hörnet.

  3. I den vänstra navigeringsrutan expanderar du Scheman > dbo >Tabeller, och väljer streamingtable för att förhandsgranska data.

Relaterat innehåll

  • Last updated on