Upgrade planning voor Azure Data Factory naar Fabric Data Factory

Deze gids behandelt upgradestrategieën, beslissingscriteria en stapsgewijze benaderingen voor het verplaatsen van Azure Data Factory (ADF) pijplijnen naar Fabric Data Factory. Voor best practices op implementatieniveau voor elk upgradecomponent, zie Upgrade best practices.

Waarom upgraden?

Het upgraden van ADF- en Synapse-pijplijnen naar Fabric Data Factory is meer dan een lift-and-shift: het is een kans om governance te vereenvoudigen, patronen te standaardiseren en nieuwe mogelijkheden te gebruiken om je data-integratiestrategie te verbeteren.

Fabric biedt veel nieuwe functies, waaronder:

Zie de vergelijkingshandleiding voor Azure Data Factory en Fabric Data Factory voor een gedetailleerde vergelijking.

Kritieke architectuurverschillen

Voordat je overstapt van Azure Data Factory naar Fabric Data Factory, overweeg dan deze cruciale architectonische verschillen die doorgaans het grootste effect hebben op upgradeplanning:

Categorie Azure Data Factory Fabric Data Factory Impact van de upgrade
Aangepaste code Aangepaste activiteit Azure Batch-activiteit De naam van de activiteit verschilt, maar ondersteunt dezelfde functionaliteit.
Dataflows Datastromen in kaart brengen met uitvoering op basis van Spark Dataflow Gen2 ondersteunt Mapping Gegevensstroom (MDF)-transformaties met Spark-gebaseerde uitvoering. MDF-transformaties zijn momenteel beschikbaar als previewversie. Geschikte Azure Data Factory en Azure Synapse Analytics Mapping Data Flows kunnen worden gemigreerd naar MDF-transformaties in Dataflow Gen2 door gebruik te maken van de ingebouwde migratie-ervaring. Bekijk de ondersteunde connectors, transformaties, authenticatiemethoden en preview-beperkingen vóór migratie. Voor niet-ondersteunde scenario's kunt u de transformatie opnieuw ontwerpen door Power Query te gebruiken in Dataflow Gen2, Fabric Warehouse SQL, notebooks of een andere Fabric-functionaliteit.
Gegevenssets Afzonderlijke, herbruikbare gegevenssetobjecten Eigenschappen worden inline gedefinieerd binnen activiteiten Wanneer u converteert van ADF naar Fabric, bevindt gegevenssetgegevens zich binnen elke activiteit.
Dynamische verbindingen Eigenschappen van gekoppelde services kunnen dynamisch zijn met behulp van parameters Verbindingseigenschappen bieden geen ondersteuning voor dynamische eigenschappen, maar pijplijnactiviteiten kunnen dynamische inhoud gebruiken voor verbindingsobjecten Voor op metagegevens gebaseerde architectuuroplossingen die afhankelijk zijn van geparameteriseerde verbindingen, parametereert u het verbindingsobject in Fabric.
globale parameters Globale parameters Bibliotheek met variabelen Fabric Verschillende implementatiepatronen en datatypes, hoewel we een upgradegids hebben.
HDInsight-activiteiten Vijf afzonderlijke activiteiten (Hive, Pig, MapReduce, Spark, Streaming) Eén HDInsight-activiteit U hebt slechts één activiteitstype nodig bij het converteren, maar alle functionaliteit wordt ondersteund.
Identiteit Beheerde identiteit Fabric Werkruimte-identiteit Verschillende identiteitsmodellen, met een planning die nodig is om te veranderen.
Key Vault Geavanceerde integratie met alle verificatietypen Beperkte integratie via Fabric Key Vault Reference Vergelijk momenteel ondersteunde Key Vault-bronnen en -verificatie met uw bestaande configuraties.
Pijplijnuitvoering Pijplijnactiviteit uitvoeren Pijplijnactiviteit aanroepen met het verbindingstype FabricDataPipeline De naam van de activiteit en de verbindingsvereisten worden gewijzigd bij het converteren.
Plannen Eén trigger voor veel pijplijnen of veel triggers per pijplijn met gecentraliseerd beheer Eén planning per pijplijn of veel planningen per pijplijn zonder hergebruik of centrale hub Fabric vereist momenteel planningsbeheer per pijplijn.

Upgradepaden

Upgradepaden hangen af van je ADF-assets en hun feature-pariteit. De volgende opties zijn beschikbaar:

Azure Data Factory-items in uw Fabric-werkruimte

Voeg een bestaande ADF toe aan je Fabric-werkruimte om directe zichtbaarheid en governance te krijgen terwijl je incrementeel upgradet. Deze aanpak is ideaal voor inventarisatie, eigendomstoewijzing en testen naast elkaar, omdat teams pijplijnen kunnen bekijken, deze kunnen onderbrengen in Fabric-werkruimten en overgangen per domein kunnen plannen. Gebruik Azure Data Factory-items om te catalogiseren wat er bestaat, prioriteit te geven aan de pijplijnen met het hoogste waarde/laagste risico en om conventies (naamgeving, mappen, opnieuw gebruiken van verbindingen) vast te stellen die uw conversiescripts en partnerhulpprogramma's consistent kunnen volgen.

Je mountt in Fabric via het Azure Data Factory-itemtype: Breng je Azure Data Factory naar Fabric.

Upgrade Azure Data Factory-pijplijnen met behulp van de ingebouwde ervaring

Fabric biedt een ingebouwde, assessment-first upgrade-ervaring die je kunt gebruiken om Azure Data Factory-pijplijnen direct via de Azure Data Factory en Fabric-gebruikerservaringen te evalueren en te upgraden – zonder scripts of aangepaste tools. Deze ervaring helpt u bij het volgende:

  • Evalueer de gereedheid van pijplijnen en activiteiten rechtstreeks in Azure Data Factory.
  • Breng compatibiliteitsproblemen in kaart voordat je een upgrade uitvoert.
  • Koppel uw Azure Data Factory aan een Fabric-werkruimte om deze naast elkaar te beoordelen.
  • Upgrade ondersteunde pipelines incrementeel naar Fabric vanuit je gekoppelde Data Factory.
  • Werk ondersteunde Mapping Data Flows in geselecteerde pijplijnen bij naar MDF-transformaties in Dataflow Gen2.
  • Plan herstel of herontwerp voor items die updates nodig hebben, niet-ondersteunde mogelijkheden gebruiken of binnenkort beschikbaar zijn.

Elke pijplijn en activiteit is duidelijk gecategoriseerd (Klaar, Needs review, Binnenkort beschikbaar, of Niet compatibel), waardoor teams upgrades doelbewust plannen en resultaten valideren voordat ze de productieworkloads overschakelen. Deze aanpak is goed geschikt voor klanten die een geleide, risicoarm en incrementele upgrade willen, terwijl ze zicht houden op niet-ondersteunde functies en volgende stappen. Zie Uw Azure Data Factory-pijplijnen upgraden naar Fabric voor stapsgewijze instructies.

De ingebouwde upgrade-ervaring ondersteunt ook in aanmerking komende pijplijnen met Mapping Data Flows. Ondersteunde Mapping Data Flows worden geüpgraded naar MDF-transformaties in Dataflow Gen2, waarbij hun transformatielogica en Spark-gebaseerde uitvoeringsmodel behouden blijven. Deze mogelijkheid is momenteel in preview. Voor vereisten, beperkingen en upgrade-instructies, zie Upgrade Azure Data Factory Mapping Gegevensstroom pipelines to Fabric.

Handmatige upgrade

Handmatige upgrade is noodzakelijk voor complexe pipelines met lage pariteit, maar het is ook een kans om je architectuur te moderniseren en de geïntegreerde functies van Fabric over te nemen. Dit pad vereist meer planning en ontwikkeling vooraf, maar kan langetermijnvoordelen opleveren in onderhoudbaarheid, prestaties en kosten.

Om effectief te upgraden, volg deze stappen:

  1. Evalueren en inventariseren: Catalogiseer alle ADF-assets, waaronder pijplijnen, datasets, gekoppelde services en integratie-runtimes. Afhankelijkheden en gebruikspatronen identificeren.
  2. Identificeer duplicaten en ongebruikte items: Maak ongebruikte of overtollige items in ADF schoon om de upgrade en je data-integratieomgeving te stroomlijnen.
  3. Identificeer hiaten: Gebruik de pijpleidingbeoordelingstool en bekijk connectorpariteit en activiteitspariteit om gaten tussen je ADF-pijpleidingen en Fabric-pijpleidingen te identificeren, en plan voor alternatieven.
  4. Bekijk nieuwe functies: gebruik onze handleiding voor beslissingen over het verplaatsen van gegevens en de handleiding voor beslissingen over gegevensintegratie om te bepalen welke Fabric-hulpprogramma's het beste werken voor uw behoeften.
  5. Plan: Bekijk de beste upgrade-praktijken voor aandachtspunten voor elk van je items, en richtlijnen om het maximale uit de verbeterde mogelijkheden van Fabric te halen.
  6. Als je globale parameters in ADF gebruikt, plan dan om ze te upgraden naar Fabric-variabelenbibliotheken. Zie Globale ADF-parameters converteren naar Fabric-variabelebibliotheken voor gedetailleerde stappen.
  7. ADF-overgang: Overweeg om een Azure Data Factory-item toe te voegen aan Microsoft Fabric als eerste stap in upgrade, zodat een geleidelijke overgang op één platform mogelijk is.
  8. Prioriteer: Rangschik je pijpleidingen op basis van de impact van het bedrijf, complexiteit en het gemak van upgrade.
  9. Automatiseer waar mogelijk: Gebruik de ingebouwde upgrade-ervaring om pipelines incrementeel te beoordelen, upgraden en valideren voordat je productieworkloads verplaatst. Zie het hulpprogramma Upgrade voor meer informatie.
  10. Overweeg hulpprogramma's: gebruik deze hulpmiddelen om recreatie gemakkelijker te maken:
  11. Handmatige upgrade: Voor scenario's die niet door andere upgrademethoden worden ondersteund, bouw ze opnieuw op in Fabric:
    1. Verbindingen opnieuw maken: Stel Verbindingen in Fabric in om Gekoppelde Services in ADF te vervangen
    2. Activiteiten opnieuw maken: Stel uw activiteiten in in uw pijplijnen, waarbij u niet-ondersteunde activiteiten vervangt door Fabric-alternatieven of gebruik de activiteit Pijplijn aanroepen
    3. Triggers plannen en instellen: Schema's en gebeurtenistriggers opnieuw samenstellen in Fabric zodat deze overeenkomen met uw ADF-schema's
  12. Test grondig: Valideer geüpgradede pijplijnen aan de hand van verwachte outputs, prestatiebenchmarks en compliance-eisen.

Voorbeeldscenario's voor upgrades

Overstappen van ADF naar Fabric kan verschillende strategieën omvatten, afhankelijk van uw use-case. Deze sectie beschrijft veelvoorkomende upgradepaden en overwegingen om je te helpen effectief te plannen.

Scenario 1: ADF-pijplijnen en gegevensstromen

Moderniseer je ETL-omgeving door pipelines en datastromen te upgraden naar Fabric. Plan deze elementen:

  • Maak linked services opnieuw aan als Fabric-verbindingen, of wijs linked services toe aan bestaande Fabric-verbindingen tijdens de ingebouwde upgrade-ervaring.
  • Maak globale parameters opnieuw als variabelebibliotheken.
  • Definieer data seteigenschappen inline in pijplijnactiviteiten.
  • Vervang SHIRs (self-hosted integration runtimes) door OPDGs (on-premises data gateways) en VNet IRs door datagateways voor virtuele netwerken.
  • Voor in aanmerking komende pijplijnen met Mapping Data Flows gebruik je de ingebouwde upgrade-ervaring om ondersteunde Mapping Data Flows te upgraden naar MDF-transformaties in Dataflow Gen2.
  • Bekijk de beperkingen van de MDF-transformatie, ondersteunde connectoren, transformaties, authenticatiemethoden en netwerkvereisten voordat u upgradet.
  • Voor het mappen van datastromen die mogelijkheden gebruiken die niet worden ondersteund in de huidige preview, corrigeer de niet-ondersteunde componenten of ontwerp de transformatie opnieuw door Power Query in Dataflow Gen2, Fabric Warehouse SQL, Spark-notebooks of een andere geschikte Fabric-functionaliteit te gebruiken.
  • Bouw niet-ondersteunde ADF-activiteiten opnieuw met behulp van Fabric-alternatieven of de activiteit 'Pijplijn aanroepen'. Niet-ondersteunde activiteiten zijn onder andere:
    • Data Lake Analytics (U-SQL), een afgeschafte Azure-service.
    • Validatieactiviteit, die je kunt herbouwen met Get Metadata, pipeline-lussen en If-activiteiten.
    • Power Query is volledig geïntegreerd in Fabric als gegevensstromen, waarbij M-code opnieuw kan worden gebruikt.
    • Notebook-, Jar- en Python-activiteiten, die je kunt vervangen door de Databricks-activiteit in Fabric.
    • Hive-, Pig-, MapReduce-, Spark- en Streaming-activiteiten, die je kunt vervangen door de HDInsight-activiteit in Fabric.

Voor vereisten en stapsgewijze instructies, zie Upgrade Azure Data Factory Mapping Gegevensstroom pipelines to Fabric.

Hier ziet u bijvoorbeeld de configuratiepagina van de ADF-gegevensset, met de bestandspad- en compressie-instellingen:

Schermopname van de configuratiepagina van de ADF-gegevensset.

En hier volgt een kopieeractiviteit voor Data Factory in Fabric, waarbij compressie en bestandspad inline zijn in de activiteit:

Schermopname van de compressieconfiguratie van de Fabric Copy-activiteit.

Scenario 2: ADF met CDC, SSIS en Airflow

Maak CDC opnieuw als taakitems kopiëren . Kopieer voor Airflow uw DAG's naar de Apache Airflow-aanbieding van Fabric. Voer SSIS-pakketten uit met behulp van ADF-pijplijnen en roep ze aan vanuit Fabric.

Scenario 3: Pipeline-upgrade met behulp van de ingebouwde ervaring

Deze begeleide, assessment-first ervaring helpt je de gereedheid te evalueren, compatibiliteitsverschillen te identificeren en ondersteunde pipelines stapsgewijs te upgraden naar een Fabric-werkruimte—allemaal zonder scripts.

De ingebouwde upgrade-ervaring ondersteunt ook in aanmerking komende pijplijnen die Mapping Data Flows bevatten. Ondersteunde Mapping Data Flows worden geüpgraded naar MDF-transformaties in Dataflow Gen2, waarbij hun transformatielogica en Spark-gebaseerde uitvoeringsmodel behouden blijven. Deze mogelijkheid is momenteel in preview.

Voor meer informatie, zie:

Scenario 4: ADF-items in een Fabric-werkruimte

U kunt een volledige ADF Factory toevoegen in een Fabric werkruimte als een integraal onderdeel. Hiermee kunt u ADF-factory's naast Fabric-artefacten in dezelfde interface beheren. De ADF-gebruikersinterface blijft volledig toegankelijk, zodat u uw ADF-factory-items rechtstreeks vanuit de Fabric werkruimte kunt bewaken, beheren en bewerken. De uitvoering van pijplijnen, activiteiten en integratieruntimes vindt echter nog steeds plaats binnen uw Azure-resources.

Deze functie is nuttig voor organisaties die overstappen op Fabric, omdat het een geïntegreerd overzicht biedt van zowel ADF- als Fabric-bronnen, wat het beheer en de planning van de upgrade vereenvoudigt.

Zie Bring your Azure Data Factory into Fabric voor meer informatie.

Verwante onderwerpen

  • Laatst bijgewerkt om