Upgrade Azure Data Factory-pijplijnen met Mapping Data Flows naar Fabric (Preview)

Belangrijk

Het upgraden van Azure Data Factory Mapping Data Flows naar Fabric bevindt zich momenteel in de publieke preview en kan worden gewijzigd.

Gebruik de ingebouwde upgrade-ervaring van Azure Data Factory om in aanmerking komende pipelines met Mapping Data Flows naar Microsoft Fabric Data Factory te upgraden. Tijdens de upgrade worden ondersteunde Mapping Data Flows omgezet in mapping data flow (MDF)-transformaties in Dataflow Gen2, en worden de bijbehorende pipelines geüpgraded naar Fabric-pipelines.

Dit artikel beschrijft de aanvullende validatie-, uitvoerings- en monitoringsstappen voor geüpgradede MDF-transformaties. Voor een overzicht van de volledige Azure Data Factory-upgrade-ervaring, zie Uw Azure Data Factory-pijplijnen upgraden naar Fabric Data Factory.

Vereiste voorwaarden

Voordat u de upgrade start, controleert u of u het volgende hebt:

  • Een Azure Data Factory-instantie met ten minste één pijplijn die een Mapping Gegevensstroom bevat.
  • Toestemming om toegang te krijgen tot de Azure Data Factory-instantie en haar pijplijnen.
  • Toegang tot een tenant met Microsoft Fabric ingeschakeld.
  • Een Fabric-licentie. Als je er geen hebt, wordt je in de View in Fabric (Preview) onboarding-ervaring gevraagd om je aan te melden voor een gratis licentie, als zelfbedieningsregistratie voor je huurder is ingeschakeld.
  • Toegang tot een Fabric-capaciteit, zoals een Trial-capaciteit.
  • Contributor of hogere rechten om items te maken en bij te werken in de Fabric-werkruimte.
  • Fabric-verbindingen voor bron- en bestemmingsdatastores die niet automatisch worden aangemaakt tijdens de upgrade.

De upgrade-ervaring creëert automatisch ondersteunde Fabric-verbindingen wanneer hun Azure Data Factory-authenticatieconfiguraties veilig kunnen worden toegewezen. Voor andere verbindingen selecteer je een bestaande Fabric-verbinding of maak je er een aan voordat je met de upgrade begint.

Ondersteunde upgradescenario's

De ingebouwde upgrade-ervaring ondersteunt geschikte Azure Data Factory-pijplijnen die Mapping Data Flows bevatten. Tijdens het upgradeproces:

  • De geselecteerde Azure Data Factory-pijplijnen worden geüpgraded naar Fabric-pijplijnen.
  • Ondersteunde Mapping Data Flows worden omgezet naar MDF-transformaties in Dataflow Gen2.
  • Pipelines en hun verwezen Mapping Data Flows worden samen geüpgraded.
  • Ondersteunde gekoppelde diensten worden toegewezen aan nieuwe of bestaande Fabric-verbindingen.
  • De oorspronkelijke Azure Data Factory-pijplijnen en Mapping Data Flows zijn ongewijzigd gebleven.

Voordat u upgradet, bekijk de beperkingen van de MDF transform, ondersteunde connectoren, transformaties, authenticatiemethoden en netwerkvereisten.

Upgrade pijplijnen die Mapping Data Flows bevatten

Start de upgrade in Azure Data Factory via View in Fabric (Preview). Je Factory bekijken in Fabric verbetert of verandert je pipelines niet. De upgrade begint pas nadat je de gereedheid hebt beoordeeld, pipelines hebt geselecteerd en expliciet hebt gekozen voor Start upgrade (Preview).

Stap 1: Bekijk je Azure Data Factory in Fabric

  1. Open je Azure Data Factory-portaal.

  2. Selecteer View in Fabric (Preview).

    Screenshot met het View in Fabric Preview-toegangspunt in Azure Data Factory.

  3. Als dit de eerste keer is dat je deze ervaring gebruikt, bekijk en accepteer dan de voorwaarden en kies vervolgens Try Fabric Data Factory.

    Screenshot met de algemene voorwaarden om Fabric Data Factory te proberen.

  4. Volg de onboardingstappen om:

    • Controleer of verkrijg een Fabric-licentie.
    • Kies een Fabric-capaciteit.
    • Maak of hergebruik de Fabric-werkruimte die gekoppeld is aan je Azure Data Factory.
    • Geef de Azure Data Factory als een item weer in de werkruimte.
    • Deel optioneel workspace-toegang met bestaande Azure Data Factory-gebruikers en -groepen.

    Screenshot met de stappen voor het opzetten van een Azure Data Factory in Fabric.

Na de installatie is je Azure Data Factory zichtbaar in Fabric. Er wordt niets geüpgraded en de uitvoering van de pijplijn en facturering blijven in Azure Data Factory.

Voor volledige onboardingdetails raadpleegt u Uw Azure Data Factory-pijplijnen upgraden naar Fabric Data Factory.

Stap 2: Beoordeel de gereedheid

  1. Selecteer in het Azure Data Factory-item in Fabric Beoordelen en upgraden.

    Screenshot met de Assess and Upgrade-knop voor een Azure Data Factory-item in Fabric.

  2. Bekijk de gereedheidsbeoordeling.

  3. Identificeer de pijplijnen met Mapping Data Flows die je wilt upgraden.

  4. Bekijk alle pipelines die zijn gecategoriseerd als Review en behandel niet-ondersteunde of gedeeltelijk ondersteunde functionaliteiten voordat je upgradet.

  5. Selecteer de in aanmerking komende pipelines die je wilt upgraden.

De beoordeling is alleen-leesbaar en wijzigt of upgradet de geselecteerde pijplijnen niet.

Screenshot die Azure Data Factory pipeline readiness assessment resultaten toont in Fabric.

Stap 3: Bekijk de verbindingen

  1. Selecteer Verbindingen controleren.
  2. Bekijk de gekoppelde services van Azure Data Factory die door de geselecteerde pijplijnen en Mapping Data Flows worden gebruikt.
  3. Controleer verbindingen die automatisch zijn aangemaakt.
  4. Voor verbindingen die niet automatisch zijn aangemaakt, selecteer je een bestaande Fabric-verbinding of maak je een nieuwe verbinding aan.
  5. Bevestig dat elke vereiste bron en bestemming is gekoppeld aan een geldige Fabric-verbinding.

Screenshot die de mapping van Azure Data Factory-gekoppelde services aan Fabric-verbindingen toont.

Note

Pipelines kunnen nog steeds worden geüpgraded als sommige verbindingen niet in kaart zijn gebracht. Activiteiten die afhankelijk zijn van niet-gemapte verbindingen worden gedeactiveerd. Configureer de vereiste Fabric-verbindingen en schakel die activiteiten opnieuw in voordat je de geüpgradede pipelines uitvoert.

Stap 4: Start de upgrade

  1. Bekijk de geselecteerde pipelines en koppelingsconfiguraties.
  2. Selecteer Start upgrade (Preview).
  3. Wacht tot de upgrade is voltooid.
  4. Bekijk de status van elk geüpgraded item.

Tijdens de upgrade:

  • Geselecteerde Azure Data Factory-pijplijnen worden geüpgraded naar Fabric-pijplijnen.
  • Ondersteunde mappingdatastromen waarnaar door de geselecteerde pijplijnen wordt verwezen, worden omgezet naar MDF-transformaties in Dataflow Gen2.
  • Pijplijnen en hun Mapping Data Flows worden samen geüpgraded.
  • Items die zijn bijgewerkt, worden geplaatst in een map met als voorvoegsel de naam van de bron-Azure Data Factory.
  • De bron-Azure Data Factory-pijplijnen en Mapping Data Flows blijven ongewijzigd.

Screenshot met de resultaten na het upgraden van Azure Data Factory-pijplijnen naar Fabric.

Valideer bijgewerkte toewijzingsgegevensstroomtransformaties

Na voltooiing van de upgrade open je de upgraderesultaten of de map met de geüpgradede items, en verifieer je de MDF-transformaties voordat je de pipelines uitvoert.

Open het bijgewerkte Dataflow Gen2-item

  1. Open het geüpgradede Dataflow Gen2-item.

  2. Bekijk de geüpgradede MDF-transformatielogica.

  3. Valideer de transformatiegraph.

    Screenshot van de mapping data flow transform ontwerpervaring die de gemigreerde transformatiegrafiek toont.

Sla de bijgewerkte mapping dataflowtransformatie op

  1. Open het menu Opslaan en uitvoeren .

  2. Selecteer Opslaan.

    Schermopname van het menu Opslaan en uitvoeren in de ontwerpervaring voor transformatie van toewijzingsgegevensstromen.

Note

Alleen de actie Opslaan wordt momenteel ondersteund voor MDF-transformaties tijdens openbare preview.

Voer bijgewerkte pijplijnen uit

Na validatie voer je de bijgewerkte Fabric-pipeline uit.

De pijplijnuitvoering configureren

  1. Open de bijgewerkte Fabric-pijplijn.

  2. Selecteer de gegevensstroomactiviteit.

  3. Controleer de geselecteerde MDF-transformquery.

  4. Configureer indien nodig spark-runtime-instellingen.

    Schermopname van de pijplijneditor met de configuratie van de Dataflow-activiteit voor een transformator voor een mapping-gegevensstroom.

Voer de verbeterde pipeline uit

  1. Valideer de pijplijn.

  2. Controleer of alle benodigde verbindingen zijn toegewezen en geauthenticeerd.

  3. Schakel alle activiteiten die je hebt uitgeschakeld vanwege niet-gekoppelde verbindingen weer in.

  4. Voer de pijplijn handmatig uit.

  5. Vergelijk de resultaten ervan met de oorspronkelijke Azure Data Factory-pijplijn.

  6. Na validatie voer je de uitvoering uit of configureer je deze, en schakel je schema's en triggers opnieuw in indien nodig.

    Schermopname van de opties voor pijplijnuitvoering en planning voor de gemigreerde pijplijn.

Valideer upgraderesultaten

Valideer vóór de productieovergang de geüpgradede werklast in een niet-productieomgeving:

  • Bevestig dat je alle vereiste Fabric-verbindingen hebt gekoppeld en geauthenticeerd.
  • Vergelijk het aantal bron- en doelrijen met de oorspronkelijke Azure Data Factory-run.
  • Valideer schema, datatypes, null-behandeling en schema-drift gedrag.
  • Valideer Mapping Gegevensstroom-expressies en transformatieresultaten.
  • Controleer invoeg-, update-, upsert- en verwijdergedrag.
  • Valideer parameters en dynamische inhoud.
  • Bevestig het idempotent gedrag wanneer pijplijnen opnieuw worden uitgevoerd.
  • Bekijk foutafhandeling en -monitoring.
  • Vergelijk runtime-gedrag en prestaties zonder aan te nemen dat de uitvoeringsduur identiek is.
  • Schakel triggers pas weer in en configureer ze pas nadat end-to-end validatie is voltooid.

De oorspronkelijke Azure Data Factory-pijplijnen en Mapping Data Flows blijven beschikbaar voor zij-aan-zij validatie.

Monitor de uitvoering van bijgewerkte mapping data flow-transformaties

Je kunt geüpgradede uitvoeringen van pipeline- en MDF-transformaties monitoren via:

  • Uitvoerdeelvenster van pijplijn
  • Monitoringhub
  • Activiteitsuitvoeringen
  • Details van uitvoering van gegevensstroomactiviteit

Screenshot van het pijplijnuitvoervenster met de status van de uitvoering van de Dataflow-activiteit.

Uitvoeringsdetails bekijken:

  1. Open de details van de pijplijnuitvoering.

  2. Selecteer de gegevensstroomactiviteit in Activiteitsuitvoeringen.

  3. Controleer de uitvoeringsstatus en runtimegegevens.

    Screenshot van de Monitoring Hub die uitvoeringen van pipeline-activiteiten en hun statussen toont.

    Schermopname van de uitvoeringsdetails van de gegevensstroomactiviteit met de verwerking van metrische gegevens.

Limitations

De algemene beperkingen van Azure Data Factory-upgrades gelden ook voor pijplijnen die Mapping Data Flows bevatten. Bekijk bekende beperkingen voordat je pipelines kiest om te upgraden.

De volgende beperkingen gelden momenteel voor MDF-transformaties tijdens de publieke preview:

Oppervlak Limitation
Flowlets Wordt niet ondersteund.
Gegevensstroom bibliotheek Wordt niet ondersteund.
Door de gebruiker gedefinieerde functies (UDF's) Wordt niet ondersteund.
Uitvoering van gegevensstroom MDF-transformaties kunnen alleen worden uitgevoerd via de Dataflow-activiteit van de pipeline. Direct Dataflow Gen2 refresh wordt niet ondersteund.
Beheerd virtueel netwerk Ondersteuning voor beheerde Virtual Network is niet beschikbaar.
Uitvoering van Spark-runtime MDF-transformaties maken momenteel gebruik van de Spark-runtime-infrastructuur, zoals die van Azure Data Factory en Azure Synapse Analytics Mapping Data Flows.
Functiepariteit Niet alle Azure Data Factory Mapping Gegevensstroom-mogelijkheden zijn beschikbaar in de huidige preview.

Verwante inhoud

  • Laatst bijgewerkt om