Uppgradera Azure Data Factory-pipelines med Mapping Data Flows till Fabric (Preview)

Använd Azure Data Factory:s inbyggda uppgraderingsfunktion för att uppgradera pipelines som är berättigade för uppgradering och som innehåller Mapping Data Flows till Microsoft Fabric Data Factory. Under uppgraderingen konverteras stödda Mapping Data Flows till mapping data flow (MDF)-transformer i Dataflow Gen2, och de tillhörande pipelines uppgraderas till Fabric-pipelines.

Denna artikel beskriver de ytterligare validerings-, exekverings- och övervakningsstegen för uppgraderade MDF-transformer. För en översikt över hela Azure Data Factory-uppgraderingsupplevelsen, se Översikt över den fullständiga uppgraderingsupplevelsen för Azure Data Factory till Fabric Data Factory.

Förutsättningar

Kontrollera att du har följande innan du påbörjar uppgraderingen:

• En Azure Data Factory-instans med minst en pipeline som innehåller ett Mapping Data Flow.
• Behörighet att få tillgång till Azure Data Factory-instansen och dess pipelines.
• Åtkomst till en Microsoft Fabric-aktiverad klientorganisation.
• En licens för Fabric. Om du inte har en, uppmanar introduktionsupplevelsen View in Fabric (Preview) dig att registrera dig för en gratis licens, om självbetjäningsregistrering är aktiverad för din klientorganisation.
• Tillgång till en Fabric-kapacitet, såsom en Trial-kapacitet.
• Deltagarbehörighet eller högre behörigheter för att skapa och uppdatera objekt i Fabric-arbetsområdet.
• Fabric-anslutningar för käll- och destinationsdatalager som inte skapas automatiskt under uppgraderingen.

Uppgraderingsupplevelsen skapar automatiskt stödda Fabric-anslutningar när deras Azure Data Factory-autentiseringskonfigurationer kan mappas säkert. För andra anslutningar, välj en befintlig Fabric-anslutning eller skapa en innan du påbörjar uppgraderingen.

Uppgraderingsscenarier som stöds

Den inbyggda uppgraderingsupplevelsen stöder kvalificerade Azure Data Factory-pipelines som innehåller Mapping Data Flows. Under uppgraderingsprocessen:

• De valda Azure Data Factory-pipelines uppgraderas till Fabric-pipelines.
• Stödda kartläggningsdataflöden konverteras till MDF-transformer i Dataflow Gen2.
• Pipelines och deras refererade mappningsdataflöden uppgraderas tillsammans.
• Stödda länkade tjänster mappas till nya eller befintliga Fabric-anslutningar.
• De ursprungliga Azure Data Factory-pipelines och Mapping Data Flows är oförändrade.

Innan du uppgraderar, granska MDF-transformens begränsningar, stödda kopplingar, transformationer, autentiseringsmetoder och nätverkskrav.

Uppgradera pipelines som innehåller Mapping Data Flows

Starta uppgraderingen i Azure Data Factory via View in Fabric (Preview). Att se din fabrik i Fabric uppgraderar eller ändrar inte dina pipelines. Uppgraderingen startar först efter att du har granskat beredskap, valt pipelines och uttryckligen valt Starta uppgradering (Förhandsgranskning).

Steg 1: Visa upp din Azure Data Factory i Fabric

1. Öppna din Azure Data Factory-portal.

2. Välj Visa i Fabric (förhandsversion).

   

3. Om detta är första gången du använder upplevelsen, granska och acceptera villkoren, och välj sedan Try Fabric Data Factory.

   

4. Följ introduktionsstegen för att:

   • Verifiera eller skaffa en Fabric-licens.
   • Välj en Fabric-kapacitet.
   • Skapa eller återanvänd Fabric-arbetsytan som är kopplad till din Azure Data Factory.
   • Visa Azure Data Factory som ett objekt i arbetsytan.
   • Dela arbetsyteåtkomst om du vill med befintliga användare och grupper i Azure Data Factory.

   

Efter installationen är din Azure Data Factory synlig i Fabric. Inget uppgraderas, och pipeline-exekvering och fakturering finns kvar i Azure Data Factory.

För fullständiga onboarding-detaljer, se Uppgradera dina Azure Data Factory-pipelines till Fabric Data Factory.

Steg 2: Granska beredskap

1. I Azure Data Factory-objektet i Fabric väljer du Utvärdera och uppgradera.

   

2. Gå igenom beredskapsbedömningen.

3. Identifiera de pipelines som innehåller Mapping Data Flows som du vill uppgradera.

4. Granska alla pipelines som kategoriseras som Review och åtgärda icke-stödda eller delvis stödda kapaciteter innan du uppgraderar.

5. Välj de kvalificerade pipelines som du vill uppgradera.

Bedömningen är skrivskyddad och ändrar eller uppgraderar inte de valda pipelines.

Steg 3: Gå igenom kopplingarna

1. Välj Granska anslutningar.
2. Granska de länkade tjänster i Azure Data Factory som används av de valda pipelines och Mapping Data Flows.
3. Kontrollera anslutningar som skapades automatiskt.
4. För anslutningar som inte skapades automatiskt, välj en befintlig Fabric-anslutning eller skapa en ny anslutning.
5. Bekräfta att varje nödvändig källa och destination är mappad till en giltig Fabric-anslutning.

Steg 4: Starta uppgraderingen

1. Gå igenom de valda pipelines och anslutningsmappningarna.
2. Välj Start uppgradering (Förhandsversion).
3. Vänta tills uppgraderingen har slutförts.
4. Gå igenom statusen för varje uppgraderat objekt.

Under uppgraderingen:

• Utvalda Azure Data Factory-pipelines uppgraderas till Fabric-pipelines.
• Stödda mappningsdataflöden som refereras av de valda pipelines konverteras till MDF-transformer i Dataflow Gen2.
• Pipelines och deras Mapping Data Flows uppgraderas tillsammans.
• Uppgraderade objekt placeras i en mapp med källnamnet Azure Data Factory som prefix.
• Källpipelines i Azure Data Factory och kartläggningsflöden förblir oförändrade.

Validera uppgraderade mappningsdataflödestransformer

När uppgraderingen är klar, öppna uppgraderingsresultaten eller mappen som innehåller de uppgraderade objekten och validera MDF-transformerna innan du kör pipelines.

Öppna det uppgraderade Dataflow Gen2-objektet

1. Öppna det uppgraderade Dataflow Gen2-objektet.

2. Gå igenom den uppgraderade MDF-transformlogiken.

3. Validera transformeringsgrafen.

   

Spara den uppgraderade mappningsdataflödestransformen

1. Öppna menyn Spara och kör .

2. Välj Spara.

   

Kör uppgraderade pipelines

Efter valideringen, kör den uppgraderade Fabric-pipelinen.

Konfigurera pipelinekörningen

1. Öppna den uppgraderade Fabric-pipelinen.

2. Välj dataflödesaktiviteten.

3. Granska den valda MDF-transformeringsfrågan.

4. Konfigurera Spark-körningsinställningar om det behövs.

   

Kör den uppgraderade pipelinen

1. Verifiera pipelinen.

2. Verifiera att alla nödvändiga anslutningar är mappade och autentiserade.

3. Återaktivera alla aktiviteter som du inaktiverat på grund av okartlagda anslutningar.

4. Kör pipelinen manuellt.

5. Jämför dess resultat med den ursprungliga Azure Data Factory-pipelinen.

6. Efter validering, kör eller konfigurera, och återaktivera scheman och triggers vid behov.

   

Validera uppgraderingsresultat

Innan produktionsövergång, validera den uppgraderade arbetslasten i en icke-produktionsmiljö:

• Bekräfta att du har kartlagt och autentiserat alla nödvändiga Fabric-anslutningar.
• Jämför antal rader för källa och mottagare med den ursprungliga Azure Data Factory-körningen.
• Validera schema, datatyper, nullhantering och schema-driftbeteende.
• Validera Mapping Data Flow-uttryck och transformationsresultat.
• Verifiera beteendet för infogning, uppdatering, upsert och borttagning.
• Validera parametrar och dynamiskt innehåll.
• Bekräfta att beteendet är idempotent när pipelines körs om.
• Gå igenom felhantering och övervakning.
• Jämför körbeteende och prestanda utan att anta identisk exekveringstid.
• Återaktivera och konfigurera utlösare först när end-to-end-valideringen har slutförts.

De ursprungliga Azure Data Factory-pipelines och Mapping Data Flows finns fortfarande tillgängliga för parallell validering.

Övervaka körningar av uppgraderade transformeringar i mappningsdataflöden

Du kan övervaka körningar av uppgraderade pipeline och MDF-transformer genom:

• Pipelineutdataruta
• Övervakningshubben
• Aktivitetskörningar
• Information om körning av dataflödesaktivitet

Så här granskar du körningsdetaljer:

1. Öppna informationen om pipelinekörningen.

2. Välj dataflödesaktiviteten från Aktivitetskörningar.

3. Granska körningsstatus och körningsinformation.

   

   

Limitations

De allmänna begränsningarna för Azure Data Factory-uppgraderingar gäller även för pipelines som innehåller Mapping Data Flows. Gå igenom kända begränsningar innan du väljer pipelines att uppgradera.

Följande begränsningar gäller för närvarande för MDF-transformeringar under offentlig förhandsvisning:

Relaterat innehåll

• Uppgradera dina Azure Data Factory-pipelines till Fabric Data Factory
• Mappa dataflödestransformeringar i Dataflöde Gen2 (förhandsversion)
• Uppgraderingsplanering för Azure Data Factory till Fabric Data Factory
• Bästa praxis för uppgradering från Azure Data Factory till Fabric Data Factory
• Priser för Dataflow Gen2