Mata in data i OneLake och analysera med Azure Databricks

I den här guiden kommer du att:

  • Skapa en pipeline på en arbetsyta och mata in data i din OneLake i Delta-format.

  • Läsa och ändra en Delta-tabell i OneLake med Azure Databricks.

Förutsättningar

Innan du börjar måste du ha:

  • En arbetsyta med ett lakehouse-objekt.

  • En Premium-arbetsyta i Azure Databricks. Endast premium Azure Databricks-arbetsytor stöder vidarebefordran av autentiseringsuppgifter för Microsoft Entra. När du skapar klustret aktiverar du genomströmning av Azure Data Lake Storage-autentiseringsuppgifter i avancerade alternativ.

Mata in data och ändra Delta-tabellen

  1. Gå till lakehouse i Power BI-tjänsten och välj Hämta data och välj sedan Ny pipeline.

    Skärmbild som visar hur du navigerar till det nya pipelinealternativet från användargränssnittet.

  2. I kommandotolken Ny pipeline anger du ett namn för den nya pipelinen och väljer sedan Skapa.

  3. I den här övningen väljer du exempeldata för NYC Taxi – Green som datakälla.

    Skärmbild som visar hur du väljer NYC-exempelsemantisk modell.

  4. På förhandsgranskningsskärmen väljer du Nästa.

  5. För datadestination väljer du det lakehouse som du vill använda för att lagra data i OneLake Delta-tabellen. Du kan välja ett befintligt sjöhus eller skapa ett nytt.

    Skärmbild som visar hur du väljer destination lakehouse.

  6. Välj var du vill lagra utdata. Välj Tabeller som rotmapp. Ange "nycsample" som tabellnamn och välj Nästa.

  7. På skärmen Granska + Spara väljer du Starta dataöverföring omedelbart och väljer sedan Spara + Kör.

    Skärmbild som visar hur du anger tabellnamn.

  8. När jobbet är klart går du till ditt lakehouse och visar Delta-tabellen som listas under mappen /Tables.

  9. Högerklicka på det skapade tabellnamnet, välj Egenskaper och kopiera sökvägen Azure Blob Filesystem (ABFS).

  10. Öppna din Azure Databricks-notebook-fil. Läs Delta-tabellen på OneLake.

    olsPath = "abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample" 
df=spark.read.format('delta').option("inferSchema","true").load(olsPath)
df.show(5)

  11. Uppdatera Delta-tabelldata genom att ändra ett fältvärde.

    %sql
update delta.`abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample` set vendorID = 99999 where vendorID = 1;

Relaterat innehåll

  • Last updated on