Opgrader Azure Data Factory-pipelines med Mapping Data Flows til Fabric (Preview)

Vigtigt!

Opgradering af Azure Data Factory Mapping Data Flows til Fabric er i øjeblikket i offentlig forhåndsvisning og kan ændres.

Brug Azure Data Factory indbyggede opgraderingsoplevelse til at opgradere berettigede pipelines, der indeholder Mapping Data Flows, til Microsoft Fabric Data Factory. Under opgraderingen konverteres understøttede Mapping Data Flows til mapping data flow (MDF)-transformationer i Dataflow Gen2, og de tilhørende pipelines opgraderes til Fabric-pipelines.

Denne artikel beskriver de yderligere validerings-, udførelses- og overvågningstrin for opgraderede MDF-transformationer. For et overblik over den komplette Azure Data Factory-opgraderingsoplevelse, se Opgrader dine Azure Data Factory-pipelines til Fabric Data Factory.

Forudsætninger

Før du starter opgraderingen, skal du sikre dig, at du har følgende:

  • En Azure Data Factory-instans med mindst én pipeline, der indeholder en Mapping dataflow.
  • Tilladelse til at få adgang til Azure Data Factory-instansen og dens pipelines.
  • Adgang til en Microsoft Fabric-aktiveret lejer.
  • En Fabric-licens. Hvis du ikke har en, opfordrer View in Fabric (Preview) onboarding-oplevelsen dig til at tilmelde dig en gratis licens, hvis selvbetjeningstilmelding er aktiveret for din lejer.
  • Adgang til en Fabric-kapacitet, såsom en Trial-kapacitet.
  • Bidragyder- eller højere tilladelser til at oprette og opdatere elementer i Fabric-arbejdsområdet.
  • Fabric-forbindelser til kilde- og destinationsdatalagre, som ikke oprettes automatisk under opgraderingen.

Opgraderingsoplevelsen skaber automatisk understøttede Fabric-forbindelser, når deres Azure Data Factory-autentificeringskonfigurationer kan kortlægges sikkert. For andre forbindelser skal du vælge en eksisterende Fabric-forbindelse eller oprette en, før du starter opgraderingen.

Understøttede opgraderingsscenarier

Den indbyggede opgraderingsoplevelse understøtter berettigede Azure Data Factory-pipelines, der indeholder Mapping Data Flows. Under opgraderingsprocessen:

  • De udvalgte Azure Data Factory-pipelines opgraderes til Fabric-pipelines.
  • Understøttede mapping dataflows konverteres til MDF-transformationer i Dataflow Gen2.
  • Pipelines og deres refererede mapping data flows opgraderes sammen.
  • Understøttede linkede tjenester kortlægges til nye eller eksisterende Fabric-forbindelser.
  • De oprindelige Azure Data Factory-pipelines og Mapping Data Flows forbliver uændrede.

Før opgradering, bør du gennemgå MDF-transformens begrænsninger, understøttede forbindelser, transformationer, autentificeringsmetoder og netværkskrav.

Opgrader pipelines, der indeholder kortlægningsdataflows.

Start opgraderingen i Azure Data Factory via View in Fabric (Preview). At se din fabrik i Fabric opgraderer eller ændrer ikke dine pipelines. Opgraderingen starter først, efter du har gennemgået parathed, valgt pipelines og eksplicit valgt Start opgradering (Forhåndsvisning).

Trin 1: View din Azure Data Factory i Fabric

  1. Åbn din Azure Data Factory-portal.

  2. Vælg View i Fabric (Forhåndsvisning).

    Skærmbillede, der viser View in Fabric Preview-indgangspunktet i Azure Data Factory.

  3. Hvis det er første gang, du bruger oplevelsen, så gennemgå og accepter vilkårene og betingelserne, og vælg derefter Try Fabric Data Factory.

    Skærmbillede viser vilkårene for at prøve Fabric Data Factory.

  4. Følg onboarding-trinene for at:

    • Verificér eller indhent en Fabric-licens.
    • Vælg en Fabric-kapacitet.
    • Opret eller genbrug Fabric-arbejdsområdet, der er tilknyttet din Azure Data Factory.
    • overflade Azure Data Factory som et element i arbejdsområdet.
    • Del eventuelt arbejdsområdeadgang med eksisterende Azure Data Factory-brugere og grupper.

    Skærmbillede, der viser trinene til opsætning af en Azure Data Factory i Fabric.

Efter opsætning er din Azure Data Factory synlig i Fabric. Intet opgraderes, og pipeline-udførelse og fakturering forbliver i Azure Data Factory.

For komplette onboarding-detaljer, se Opgrader dine Azure Data Factory-pipelines til Fabric Data Factory.

Trin 2: Gennemgå parathed

  1. I Azure Data Factory-elementet i Fabric skal du vælge Assess og opgradere.

    Skærmbillede, der viser Assess og Opgrader-knappen for et Azure Data Factory-element i Fabric.

  2. Gennemgå parathedsvurderingen.

  3. Identificer de pipelines, der indeholder Mapping Data Flows, som du ønsker at opgradere.

  4. Gennemgå alle pipelines, der er kategoriseret som Gennemgå og adresser ikke-understøttede eller delvist understøttede kapaciteter, før opgradering.

  5. Vælg de berettigede pipelines, du ønsker at opgradere.

Vurderingen er skrivebeskyttet og ændrer eller opgraderer ikke de valgte pipelines.

Skærmbillede, der viser Azure Data Factory pipeline readiness assessment results in Fabric.

Trin 3: Gennemgå forbindelser

  1. Vælg Gennemgå forbindelser.
  2. Gennemgå de Azure Data Factory-linkede tjenester, der bruges af de valgte pipelines og Mapping Data Flows.
  3. Verificér forbindelser, der er oprettet automatisk.
  4. For forbindelser, der ikke blev oprettet automatisk, vælg en eksisterende Fabric-forbindelse eller opret en ny forbindelse.
  5. Bekræft, at hver nødvendig kilde og destination er kortlagt til en gyldig Fabric-forbindelse.

Skærmbillede, der viser kortlægningen af Azure Data Factory-linkede tjenester til Fabric-forbindelser.

Bemærkning

Pipelines kan stadig opgraderes, hvis nogle forbindelser ikke er kortlagt. Aktiviteter, der afhænger af ukortlagte forbindelser, deaktiveres. Konfigurér de nødvendige Fabric-forbindelser og genaktiver disse aktiviteter, før du kører de opgraderede pipelines.

Trin 4: Start opgraderingen

  1. Gennemgå de valgte pipelines og forbindelseskortlægninger.
  2. Vælg Start opgradering (Forhåndsvisning).
  3. Vent på, at opgraderingen er færdig.
  4. Gennemgå status på hver opgraderet genstand.

Under opgraderingen:

  • Udvalgte Azure Data Factory-pipelines opgraderes til Fabric-pipelines.
  • Understøttede kortlægningsdataflow, der refereres til af de valgte pipelines, konverteres til MDF-transformationer i Dataflow Gen2.
  • Pipelines og deres mapping data flows opgraderes sammen.
  • Opgraderede elementer placeres i en mappe med foranstillet navnet Azure Data Factory.
  • Kildepipelines og Mapping Data Flows fra Azure Data Factory forbliver uændrede.

Skærmbillede, der viser resultaterne efter opgradering af Azure Data Factory-pipelines til Fabric.

Valider opgraderede mapping dataflow-transformationer

Når opgraderingen er færdig, åbn opgraderingsresultaterne eller mappen med de opgraderede elementer, og valider MDF-transformationerne, før du kører pipelines.

Åbn det opgraderede Dataflow Gen2-item

  1. Åbn det opgraderede Dataflow Gen2-item.

  2. Gennemgå den opgraderede MDF-transformlogik.

  3. Valider transformationsgrafen.

    Skærmbillede af mapping data flow-transformeringsoplevelsen, der viser den migrerede transformationsgraf.

Gem den opgraderede mapping dataflow-transform

  1. Åbn menuen Save & run .

  2. Vælg Save.

    Skærmbillede af menuen Save and Run i mapping data flow transform authoring experience.

Bemærkning

Kun Gem-handlingen understøttes i øjeblikket for MDF-transformationer under offentlig forhåndsvisning.

Kør opgraderede rørledninger

Efter validering kører du den opgraderede Fabric-pipeline.

Konfigurer pipeline-kørslen

  1. Åbn den opgraderede Fabric-pipeline.

  2. Vælg Dataflow-aktiviteten.

  3. Gennemgå den valgte MDF-transformforespørgsel.

  4. Konfigurer Spark-runtime-indstillinger, hvis det er nødvendigt.

    Skærmbillede af pipeline-editoren, der viser Dataflow-aktivitetskonfigurationen for en mapping dataflow-transform.

Kør den opgraderede rørledning

  1. Valider pipelinen.

  2. Kontroller at alle nødvendige forbindelser er kortlagt og autentificeret.

  3. Genaktiver alle aktiviteter, du har deaktiveret på grund af ikke-kortlagte forbindelser.

  4. Kør pipelinen manuelt.

  5. Sammenlign dens resultater med den oprindelige Azure Data Factory-pipeline.

  6. Efter validering kan du køre eller konfigurere, og genaktivere tidsplaner og triggere efter behov.

    Skærmbillede af pipeline-kørslen og planlægningsmulighederne for den migrerede pipeline.

Valider opgraderingsresultater

Før produktionsskift, valider den opgraderede arbejdsbyrde i et ikke-produktionsmiljø:

  • Bekræft, at du har kortlagt og autentificeret alle nødvendige Fabric-forbindelser.
  • Sammenlign kilde- og sink-rækketal med det oprindelige Azure Data Factory-kørsel.
  • Valider skema, datatyper, nullhåndtering og skema-driftadfærd.
  • Valider Mapping dataflow-udtryk og transformationsresultater.
  • Bekræft indsæt, opdatering, upsert og slet adfærd.
  • Valider parametre og dynamisk indhold.
  • Bekræft idempotent adfærd, når pipelines genkøres.
  • Gennemgå fejlhåndtering og overvågning.
  • Sammenlign kørselsadfærd og ydeevne uden at antage identisk eksekveringsvarighed.
  • Genaktiver og konfigurér triggere kun efter afslutning af end-to-end validering.

De oprindelige Azure Data Factory-pipelines og Mapping Data Flows er stadig tilgængelige for side-om-side validering.

Overvåg udførelser af opgraderede mapping dataflow-transformer

Du kan overvåge opgraderede pipeline- og MDF-transformationsudførelser gennem:

  • Pipeline-outputpanel
  • Overvågningshub
  • Aktivitetsløb
  • Detaljer om udførelse af dataflow-aktiviteter

Skærmbillede af pipeline-outputpanelet, der viser status for dataflow-aktivitetskørsel.

For at gennemgå udførelsesdetaljerne:

  1. Åbn detaljerne om pipeline-kørslen.

  2. Vælg Dataflow-aktiviteten fra Activity Runs.

  3. Gennemgå eksekveringsstatus og detaljer under kørselstid.

    Skærmbillede af Monitoring Hub, der viser pipeline-aktivitetskørsler og deres statusser.

    Skærmbillede af detaljerne for udførelsen af Dataflow-aktiviteten, der viser behandlingsmålinger.

Begrænsninger

De generelle begrænsninger for Azure Data Factory-opgraderinger gælder også for pipelines, der indeholder Mapping Data Flows. Gennemgå kendte begrænsninger, før du vælger pipelines til opgradering.

Følgende begrænsninger gælder i øjeblikket for MDF-transformationer under offentlig forhåndsvisning:

Areal Begrænsning
Flowlets Understøttes ikke.
dataflow Library Understøttes ikke.
Brugerdefinerede funktioner (UDF'er) Understøttes ikke.
Dataflow-udførelse MDF-transformationer kan kun udføres gennem pipeline Dataflow-aktiviteten. Direct Dataflow Gen2 refresh understøttes ikke.
Administreret virtuelt netværk Managed virtuelt netværk-support er ikke tilgængelig.
Spark-kørselskørsel MDF-transformationer bruger i øjeblikket Spark runtime-infrastruktur, der ligner Azure Data Factory og Azure Synapse Analytics Mapping Data Flows.
Funktionsparitet Ikke alle Azure Data Factory Mapping dataflow-funktioner er tilgængelige i den nuværende forhåndsvisning.

Relateret indhold

  • Sidst opdateret den