Tutorial: Kör Python på ett kluster och som ett jobb med hjälp av Databricks IDE-tillägg

Den här handledningen guidar dig genom att sätta upp Databricks IDE-tillägget och sedan köra Python på ett Azure Databricks-kluster och som ett Azure Databricks-jobb i din fjärrarbetsplats. Se Databricks IDE-tillägg.

Krav

Den här självstudien kräver att:

  • Du har installerat Databricks IDE-tillägg. Se Installera Databricks IDE-tillägg.
  • Du har ett fjärranslutet Azure Databricks kluster att använda. Anteckna klustrets namn. Om du vill visa dina tillgängliga kluster klickar du på Compute i sidofältet på Azure Databricks arbetsytan. Se Beräkning.

Steg 1: Skapa ett nytt Databricks-projekt

I det här steget skapar du ett nytt Databricks-projekt och konfigurerar anslutningen till din fjärranslutna Azure Databricks arbetsyta.

  1. Starta Visual Studio Code och klicka sedan på File > Öppna mapp och öppna en tom mapp på den lokala utvecklingsdatorn.
  2. Klicka på ikonen för Databricks-logotypen i sidopanelen. Då öppnas Databricks-tillägget.
  3. I vyn Konfiguration klickar du på Skapa konfiguration.
  4. Kommandopaletten för att konfigurera databricks-arbetsytan öppnas. För Databricks Host anger eller väljer du url:en per arbetsyta, till exempel https://adb-1234567890123456.7.azuredatabricks.net.
  5. Välj en autentiseringsprofil för projektet. Se Sätt upp auktorisation för Databricks IDE-tillägget.

Steg 2: Lägg till klusterinformation i Databricks-tillägget och starta klustret

  1. När konfigurationsvyn redan är öppen klickar du på Välj ett kluster eller klickar på kugghjulsikonen (Konfigurera kluster).

    Konfigurera kluster

  2. I kommandopaletten väljer du namnet på klustret som du skapade tidigare.

  3. Klicka på uppspelningsikonen (Starta kluster) om den inte redan har startats.

Steg 3: Skapa och kör Python kod

  1. Skapa en lokal Python kodfil: Klicka på mappen (Explorer) i sidofältet.

  2. På huvudmenyn klickar du på File > Ny fil och väljer en Python fil. Ge filen namnet demo.py och spara den i projektets rot.

  3. Lägg till följande kod i filen och spara den sedan. Den här koden skapar och visar innehållet i en grundläggande PySpark DataFrame:

    from pyspark.sql import SparkSession
from pyspark.sql.types import *

spark = SparkSession.builder.getOrCreate()

schema = StructType([
   StructField('CustomerID', IntegerType(), False),
   StructField('FirstName',  StringType(),  False),
   StructField('LastName',   StringType(),  False)
])

data = [
   [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
   [ 1001, 'Joost',   'van Brunswijk' ],
   [ 1002, 'Stan',    'Bokenkamp' ]
]

customers = spark.createDataFrame(data, schema)
customers.show()

    # +----------+---------+-------------------+
# |CustomerID|FirstName|           LastName|
# +----------+---------+-------------------+
# |      1000|  Mathijs|Oosterhout-Rijntjes|
# |      1001|    Joost|      van Brunswijk|
# |      1002|     Stan|          Bokenkamp|
# +----------+---------+-------------------+

  4. Klicka på ikonen Kör på Databricks bredvid listan med redigeringsflikar och klicka sedan på Ladda upp och kör fil. Utdata visas i vyn "Debug Console".

    Ladda upp och köra filen från ikonen

    Du kan också högerklicka på filen i Utforskaren och sedan klicka på demo.py>.

    Ladda upp och köra filen från snabbmenyn

Steg 4: Kör koden som ett jobb

Om du vill köra demo.py som ett jobb klickar du på ikonen Kör på Databricks bredvid listan över redigeringsflikar och klickar sedan på Kör fil som arbetsflöde. Utdata visas på en separat redigeringsflik bredvid demo.py filredigeraren.

Kör filen som arbetsflöde från ikonen

Du kan också högerklicka på demo.py filen i utforskarpanelenoch sedan välja Kör på Databricks>Kör fil som arbetsflöde.

Kör filen som arbetsflöde från snabbmenyn

Nästa steg

Nu när du framgångsrikt har använt Databricks IDE-tillägg för att ladda upp en lokal Python-fil och köra den på distans, kan du också:

  • Last updated on