Mappa dataflödestransformeringar i dataflöde gen2 (förhandsversion)

Viktigt!

Mappning av dataflödestransformeringar i dataflöde gen2 är för närvarande i offentlig förhandsversion och kan komma att ändras.

Genom att mappa dataflödestransformeringar (MDF) i dataflöde gen2 kan du skapa, köra och övervaka Spark-baserade datatransformeringar direkt i Data Factory i Microsoft Fabric.

MDF-transformeringar ger funktionerna i Azure Data Factory och Azure Synapse Analytics mappning av dataflöden till Microsoft Fabric genom en välbekant visuell redigeringsupplevelse med låg kod som är integrerad med dataflöde gen2.

Med MDF-transformeringar kan du:

  • Migrera befintliga pipelines för Azure Data Factory och Azure Synapse Analytics mappning av dataflöden till Fabric.
  • Skapa nya Spark-baserade transformeringar direkt i Fabric.
  • Kör MDF-transformeringar med hjälp av Fabric datapipelines.
  • Övervaka transformeringskörningen med integrerade övervakningsverktyg.
  • Fortsätt använda välbekanta transformationsmönster i Mapping Data Flow i Fabric.

Vad är mappning av dataflödestransformeringar?

MDF-transformeringar utökar Dataflow Gen2 med Spark-baserade funktioner för transformering för storskaliga arbetsbelastningar för databearbetning och datatransformering.

MDF-transformeringar erbjuder:

  • En visuell redigeringsupplevelse med låg kod
  • Spark-baserad körning
  • Integrerad orkestrering med Fabric pipelines
  • Övervaknings- och körningsinsikter direkt i Fabric

Använd MDF-transformeringar för att:

  • Migrera befintliga pipelines för Azure Data Factory eller Azure Synapse Analytics mappning av dataflöden till Fabric.
  • Skapa nya Spark-baserade transformeringspipelines internt i Fabric.

MDF-transformeringar integreras helt med dataflöde gen2 och ger en välbekant redigeringsupplevelse som liknar Azure Data Factory och Azure Synapse Analytics Mappa dataflöden.

Skärmbild av redigeringsvyn för transformeringen för mappat dataflöde, inbäddad på en Dataflow Gen2-arbetsyta i Microsoft Fabric.

Scenarier som stöds

MDF-transformeringar stöder för närvarande följande scenarier.

Migrera befintliga mappningsdataflöden

Du kan migrera befintliga Azure Data Factory och Azure Synapse Analytics Mappa dataflöden till Fabric med hjälp av den inbyggda migreringsupplevelsen Azure Data Factory/Synapse Analytics.

Skärmbild av migreringsupplevelsen i Azure Data Factory för uppgradering av pipelines för mappningsdataflöden till Fabric.

Under migreringen:

  1. Mappningsdataflöden konverteras till MDF-transformeringar i Dataflow Gen2.
  2. Dataflöden och transformeringslogik migreras tillsammans.
  3. MDF-transformeringar öppnas i den inbäddade arbetsytan för transformeringar i Dataflow Gen2.
  4. Befintlig transformeringslogik kan fortsätta att skapas, valideras, köras och övervakas i Fabric.

Skapa nya mappningsdataflödestransformeringar i Fabric

Du kan också skapa nya MDF-transformeringar direkt i dataflöde gen2. Med den här upplevelsen kan du:

  • Skapa Spark-baserade transformeringar med hjälp av ett visuellt gränssnitt.
  • Använd välkända transformeringsfunktioner i Mapping Data Flow.
  • Kör transformeringar med hjälp av Fabric datapipelines.
  • Övervaka körning via integrerade övervakningsupplevelser.

Förutsättningar

Innan du använder MDF-transformeringar i dataflöde gen2 kontrollerar du att följande krav uppfylls:

  • En Fabric-kapacitet.
  • Deltagarbehörigheter eller högre behörigheter till Fabric arbetsyta.
  • Befintliga Fabric anslutningar för datakällor som stöds.
  • (Valfritt) En befintlig Azure Data Factory eller Azure Synapse Analytics arbetsyta om du använder migreringsscenarier.

Limitations

Följande funktioner stöds för närvarande inte i offentlig förhandsversion:

Område Limitation
Flowlets Stöds ej.
Dataflödesbibliotek Stöds ej.
Användardefinierade funktioner (UDF:er) Stöds ej.
Körning av dataflöde MDF-transformeringar kan bara köras via dataflödesaktiviteten för pipelinen. Direkt körning från Dataflow Gen2 stöds för närvarande inte. Endast åtgärden Spara är tillgänglig på menyn Spara och kör .
Hanterat virtuellt nätverk Hanterat virtuellt nätverk (Managed VNet) stöds inte i den här förhandsversionen.
Exekvering vid körning Körning av MDF-transformeringar använder för närvarande den underliggande Synapse Spark-runtime, precis som i Azure Data Factory och mappningsdataflöden i Azure Synapse Analytics.
Funktionsparitet Alla funktioner i Mapping Data Flow är inte tillgängliga i den här förhandsversionen.

Stödda kopplingar

MDF-transformeringar stöder de vanligaste käll- och mottagarkopplingarna som finns i mappningsdataflöden i Azure Data Factory och Azure Synapse Analytics.

Följande anslutningar stöds för närvarande:

Category Databutik MDF-transformeringar i Dataflow Gen2 (källa/mål) Autentiseringstyper som stöds
Azure Azure Blob Storage-lagringstjänst ✓/✓ Grundläggande, hanterad identitet/arbetsyteidentitet, tjänstens huvudnamn
Azure Cosmos DB för NoSQL ✓/✓ Basic
Azure-datautforskaren ✓/✓ Hanterad identitet/arbetsyteidentitet
Azure Data Lake Storage Gen1 ✓/✓ Grundläggande, hanterad identitet/arbetsyteidentitet, tjänstens huvudnamn
Azure Data Lake Storage Gen2 ✓/✓ Grundläggande, hanterad identitet/arbetsyteidentitet, tjänstens huvudnamn
Azure-databas för MySQL ✓/✓ Basic
Azure-databasen för PostgreSQL ✓/✓ Basic
Azure Databricks Delta Lake ✔/® Använd deltaformat Basic
Azure SQL Database ✓/✓ Grundläggande, hanterad identitet/arbetsyteidentitet, tjänstens huvudnamn
Hanterad instans i Azure SQL ✓/✓ Grundläggande, hanterad identitet/arbetsyteidentitet, tjänstens huvudnamn
Azure Synapse Analytics ✓/✓ Basic
Databas Snowflake ✓/✓ Basic
Arkiv Amazon S3 ✓/✓ Basic
SFTP ✓/✓ Basic
REST (allmän) ✓/✓ Basic, tjänstens huvudnamn

Vid redigering:

  • Befintliga Fabric-anslutningar kan återanvändas.
  • Nya anslutningar kan skapas direkt från redigeringsupplevelsen via Hämta data-upplevelsen.
  • Käll- och målkonfiguration följer välbekanta mönster för mappningsdataflöden.

Omvandlingar som stöds

MDF-transformeringar ger en välbekant visuell omvandling med låg kod för att skapa skalbara Spark-baserade pipelines för datatransformering i Fabric.

Följande transformeringar stöds för närvarande:

Name Category Description
Aggregate Schemamodifierare Definiera aggregeringar som SUM, MIN, MAX och COUNT grupperade efter befintliga eller beräknade kolumner.
Ändra rad Radmodifierare Ange infognings-, borttagnings-, uppdaterings- och upsert-principer på rader.
Assert Radmodifierare Definiera kontrollregler för rader i dataströmmen.
Cast Schemamodifierare Ändra kolumndatatyper med typkontroll.
Villkorsstyrd delning Flera indata/utdata Dirigera rader till olika strömmar baserat på matchande villkor.
Härledd kolumn Schemamodifierare Generera nya kolumner eller ändra befintliga fält med hjälp av uttryck.
Externt anrop Schemamodifierare Anropa externa endpoints direkt för varje rad.
Exists Flera indata/utdata Kontrollera om data finns i en annan källa eller dataström.
Filter Radmodifierare Filtrera rader baserat på villkor.
Flatten Formaterare Platta ut hierarkiska strukturer som JSON-matriser till rader.
Ansluta Flera indata/utdata Kombinera data från två källor eller strömmar.
Lookup Flera indata/utdata Referensdata från en annan källa eller dataström.
Ny gren Flera indata/utdata Använd flera transformeringssökvägar på samma ström.
Parse Formaterare Parsa JSON, avgränsad text eller XML-formaterade strängar.
Pivot Schemamodifierare Omvandla distinkta radvärden till kolumner.
Rank Schemamodifierare Generera ordnade rangordningar baserat på sorteringsvillkor.
Select Schemamodifierare Byt namn på, ändra ordning på eller ta bort kolumner.
Sink - Definiera målet för transformerade data.
Sort Radmodifierare Sortera rader i den aktuella dataströmmen.
Source - Definiera källan för dataflödet.
Stringify Formaterare Konvertera komplexa typer till strängvärden.
Surrogatnyckel Schemamodifierare Generera inkrementella surrogatnyckelvärden.
Union Flera indata/utdata Kombinera flera dataströmmar lodrätt.
Unpivot Schemamodifierare Omvandla kolumner till radvärden.
Window Schemamodifierare Definiera fönsterbaserade aggregeringar över dataströmmar.

Skapa en transformering av mappningsdataflöde i dataflöde gen2

Så här skapar du en ny MDF-transformering i Fabric:

  1. Öppna din Fabric-arbetsyta.

  2. Välj Nytt objekt.

  3. Välj Dataflöde Gen2.

  4. Ange ett namn för dataflödesgen2-objektet och välj Skapa.

  5. I arbetsytan dataflöde gen2 använder du något av följande alternativ:

    • Välj Kör mappningsdataflödestransformeringar i åtgärdsgruppen Ny på startfliken för Dataflow Gen2.
    • Välj rutan Kör transformeringar i mappningsdataflöde (ADF Mapping Data Flows) på arbetsytan.

    Skärmbild som visar alternativet att skapa en mappning av dataflödestransformering från menyfliksområdet dataflöde gen2 i Microsoft Fabric.

    Skärmbild som visar alternativet att skapa en mappning av dataflödestransformering från panelen för dataflödesarbetsytan gen2 i Microsoft Fabric.

En ny MDF-transformeringsåtgärd visas på Dataflow Gen2-arbetsytan och öppnar den inbäddade redigeringsmiljön för MDF-transformeringar.

Tip

Redigeringsupplevelsen för MDF-transformeringar använder ett välbekant visuellt gränssnitt som liknar Azure Data Factory och Azure Synapse Analytics mappningsdataflöden.

Skapa mappning av dataflödestransformeringar

När du har skapat en MDF-transformering kan du börja redigera transformeringslogik.

Aktivera felsökningsläge

För interaktiv redigering och förhandsgranskning av data:

  1. Aktivera felsökningsknappen Dataflöde från det flytande verktygsfältet.
  2. Vänta tills felsökningssessionen initieras.
  3. När den är aktiverad kan du förhandsgranska käll- och transformeringsdata under redigeringen.

Skärmbild av arbetsytan för transformering i mappningsdataflöde med felsökningsläge för dataflöde aktiverat.

Note

Det kan ta flera minuter att initiera felsökningssessioner beroende på Spark-körningstillgänglighet.

Lägga till en källa

Så här konfigurerar du en källa:

  1. Välj Lägg till källa.
  2. Välj anslutningstyp.
  3. Välj en befintlig Fabric-anslutning eller skapa nya anslutningar direkt via Get Data vid behov.
  4. Bläddra och välj källfilen, tabellen eller datauppsättningen.

Skärmbild av källkonfigurationsinställningarna i redigeringsmiljön för mappning av dataflödestransformering.

När du har konfigurerat källanslutningen och datauppsättningen använder du fliken Dataförhandsgranskning för att verifiera och förhandsgranska källdata under interaktiv redigering.

Skärmbild av fliken Dataförhandsgranskning som visar källdata i redigeringsupplevelsen för mappning av dataflödestransformering.

Lägga till transformeringar

Så här lägger du till transformeringar:

  1. + Välj ikonen bredvid en källa eller transformering.
  2. Välj transformeringstyp.
  3. Konfigurera transformeringsinställningar.

Du kan fortsätta att skapa transformeringslogik med hjälp av arbetsytan för visuell omvandling.

Skärmbild av diagrammet för visuell omvandling i redigeringsupplevelsen för mappning av dataflödestransformering.

Konfigurera en mottagare

När omvandlingslogik har slutförts:

  1. Lägg till en transformering av sank.
  2. Konfigurera målanslutningen.
  3. Konfigurera skrivinställningar.

Skärmbild av konfigurationen för måltransformeringen i redigeringsupplevelsen för transformeringar i mappningsdataflöden.

Verifiera och spara

Före körning:

  1. Välj Verifiera i verktygsfältet för MDF-transformering.

    Skärmbild av knappen Validera i verktygsfältet för transformeringen i mappningsdataflödet.

  2. Lös valideringsproblem om några rapporteras.

  3. Välj Spara på menyn Spara och kör .

    Skärmbild av alternativet Spara på menyn Spara och kör för en mappning av dataflödestransformering.

Note

Endast åtgärden Spara stöds för närvarande för dataflöde gen2 med MDF-transformeringar i offentlig förhandsversion.

Köra mappning av dataflödestransformeringar med hjälp av Fabric pipelines

Du kör MDF-transformeringar via Fabric datapipelines med hjälp av en dataflödesaktivitet.

Så här utför du en MDF-transformering:

  1. Skapa en ny pipeline i Fabric.
  2. Lägg till en dataflödesaktivitet i pipelinen.
  3. I aktivitetsinställningarna väljer du det dataflödesgen2-objekt som innehåller MDF-transformering.
  4. Välj den MDF-transformeringsfråga som ska köras.
  5. Konfigurera Spark-körningsinställningar efter behov.
  6. Verifiera och publicera pipelinen.
  7. Kör pipelinen manuellt eller konfigurera ett schema eller utlösare.

Skärmbild av en Fabric-pipeline med en Dataflow-aktivitet som har konfigurerats för körning av transformeringar i mappande dataflöde.

Konfigurera Spark-körningsinställningar

MDF-transformeringar körs med hanterad Spark-runtime som är integrerad i Data Factory i Microsoft Fabric. Du kan konfigurera Spark-körningsinställningar under pipelinekörningen, inklusive:

  • Beräkna dimensionering
  • Egenskaper för sänka

Skärmbild av konfigurationsinställningarna för Spark-körning för en dataflödesaktivitet i en Fabric pipeline.

Övervaka transformeringskörningar i mappningsdataflöden

Du kan övervaka körningen av MDF-transformeringen via:

  • Pipelinens utdatafönster

    Skärmbild av pipelinens utdatafönster som visar körningsresultat för dataflödestransformering.

  • Övervakningshubben

    Skärmbild av övervakningshubben som visar aktivitetskörningar för en transformeringskörning för mappning av dataflöden.

Så här visar du övervakningsinformation:

  1. Öppna informationen om pipelinekörningen.
  2. Välj dataflödesaktiviteten från Aktivitetskörningar.
  3. Granska körningsstatus och körningsinformation.

Skärmbild av övervakningssidan för mappning av dataflödestransformering som visar körningsstatus och körningsinformation.

Relaterat innehåll

  • Last updated on