Oppgraderingsplanlegging for Azure Data Factory til Fabric Data Factory

Denne guiden dekker oppgraderingsstrategier, beslutningskriterier og trinnvise tilnærminger for å flytte Azure Data Factory (ADF)-pipelines til Fabric Data Factory. For beste praksis på implementeringsnivå for hver oppgraderingskomponent, se Oppgradering beste praksis.

Hvorfor oppgradere?

Oppgradering fra ADF- og Synapse-pipelines til Fabric Data Factory er mer enn bare løft og skift: det er en mulighet til å forenkle styring, standardisere mønstre og bruke nye funksjoner for å forbedre din strategi for dataintegrasjon.

Fabric tilbyr mange nye funksjoner, inkludert:

For en detaljert sammenligning, se sammenligningsguiden for Azure Data Factory og Fabric Data Factory.

Kritiske arkitektoniske forskjeller

Før du oppgraderer fra Azure Data Factory til Fabric Data Factory, bør du vurdere disse kritiske arkitektoniske forskjellene som ofte har størst innvirkning på oppgraderingsplanlegging:

Kategori Azure Data Factory Fabric Data Factory Oppgraderingseffekt
Egendefinert kode Egendefinert aktivitet Azure Batch-aktivitet Aktivitetsnavnet er annerledes, men støtter samme funksjonalitet.
Dataflyt Kartlegging av dataflyter med Spark-basert utførelse Dataflow Gen2 støtter Mapping Dataflyt (MDF)-transformasjoner med Spark-basert utførelse. MDF-transformasjoner er for øyeblikket i forhåndsvisning. Kvalifiserte Azure Data Factory og Azure Synapse Analytics Mapping Data Flows kan migreres til MDF-transformasjoner i Dataflow Gen2 ved å bruke den innebygde migreringsopplevelsen. Gå gjennom støttede koblinger, transformasjoner, autentiseringsmetoder og forhåndsvisningsbegrensninger før migrering. For ikke-støttede scenarioer, redesign transformasjonen ved å bruke Power Query i Dataflow Gen2, Fabric Warehouse SQL, notatbøker eller en annen Fabric-funksjon.
Datasett Separate, gjenbrukbare datasettobjekter Eiendommer defineres i linje med aktiviteter Når du konverterer fra ADF til Fabric, finnes 'datasett'-informasjon i hver aktivitet.
Dynamiske forbindelser Egenskaper ved lenket tjeneste kan være dynamiske ved hjelp av parametere Tilkoblingsegenskaper støtter ikke dynamiske egenskaper, men pipeline-aktiviteter kan bruke dynamisk innhold for tilkoblingsobjekter For løsninger basert på metadata Driven Architecture som er avhengige av parameteriserte forbindelser, parameteriser tilkoblingsobjektet i Fabric.
Globale parametere Globale parametere Fabric variabelbibliotek Ulike implementeringsmønstre og datatyper, men vi har en oppgraderingsguide.
HDInsight-aktiviteter Fem separate aktiviteter (Hive, Pig, MapReduce, Spark, Streaming) Enkelt HDInsight-aktivitet Du trenger bare én aktivitetstype når du konverterer, men all funksjonalitet støttes.
Identitet Administrert identitet Fabric Workspace-identitet Ulike identitetsmodeller, med noe planlegging som kreves for å endre seg.
key vault Moden integrasjon med alle autentiseringstyper Begrenset integrasjon via Fabric Key Vault Referanse Sammenlign som for øyeblikket støttes Key Vault kilder og autentisering med dine eksisterende konfigurasjoner.
Pipeline-kjøring Utfør pipelineaktivitet Kall Pipeline-aktivitet med FabricDataPipeline-tilkoblingstype Aktivitetsnavn og tilkoblingskrav endres ved konvertering.
Planlegging Én trigger for mange pipelines eller mange triggere per pipeline med sentralisert administrasjon Én tidsplan per rørledning eller mange tidsplaner per rørledning uten gjenbruk eller sentralt knutepunkt Fabric krever for øyeblikket planlegging per rørledning.

Oppgraderingsbaner

Oppgraderingsveier avhenger av ADF-ressursene dine og deres egenskapsparitet. Alternativene er som følger:

Azure Data Factory items in your Fabric workspace

Legg til en eksisterende ADF i Fabric-arbeidsområdet ditt for å få umiddelbar oversikt og styring mens du oppgraderer gradvis. Denne tilnærmingen er ideell for oppdagelse, eierskapsfordeling og side-ved-side-testing fordi team kan se pipelines, organisere dem under Fabric-arbeidsområder og planlegge cutovers per domene. Bruk Azure Data Factory-elementer for å katalogisere hva som finnes, prioriter pipelines med høyest verdi/lavest risiko først, og etabler konvensjoner (navngivning, mapper, gjenbruk av tilkoblinger) som konverteringsskriptene og partnerverktøyene dine kan følge konsekvent.

Du monterer i Fabric gjennom Azure Data Factory-elementtypen: Bring din Azure Data Factory til Fabric.

Oppgrader Azure Data Factory-pipelines ved å bruke den innebygde opplevelsen

Fabric gir en innebygd, vurderingsbasert oppgraderingsopplevelse som du kan bruke til å evaluere og oppgradere Azure Data Factory-pipelines direkte gjennom Azure Data Factory og Fabric-brukeropplevelser – uten skript eller tilpassede verktøy. Denne erfaringen hjelper deg:

  • Vurder pipeline- og aktivitetsberedskap direkte i Azure Data Factory.
  • Forstå kompatibilitetshull før du oppgraderer.
  • Monter din Azure Data Factory i et Fabric-arbeidsområde for side-ved-side gjennomgang.
  • Oppgrader støttede pipelines gradvis til Fabric fra din monterte datafabrikk.
  • Oppgradering støttet Mapping Data Flows i utvalgte pipelines til MDF-transformasjoner i Dataflow Gen2.
  • Planlegg utbedring eller redesign for elementer som trenger oppdateringer, bruker ikke-støttede funksjoner, eller som snart kommer.

Hver pipeline og aktivitet er tydelig kategorisert (Klar, Trenger gjennomgang, Kommer snart eller Ikke kompatibel), noe som hjelper teamene å planlegge oppgraderinger bevisst og validere resultater før de bytter produksjonsarbeidsbelastning. Denne tilnærmingen passer godt for kunder som ønsker en veiledet, lavrisiko og trinnvis oppgraderingsvei, samtidig som de opprettholder oversikt over ikke-støttede funksjoner og neste steg. For trinnvis veiledning, se Oppgrader dine Azure Data Factory-pipelines til Fabric.

Den innebygde oppgraderingsopplevelsen støtter også kvalifiserte pipelines som inneholder Mapping Data Flows. Støttede kartleggingsdataflyter oppgraderes til MDF-transformasjoner i Dataflow Gen2, samtidig som transformasjonslogikken og Spark-baserte kjøringsmodellen bevares. Denne funksjonen er for øyeblikket i forhåndsversjon. For krav, begrensninger og oppgraderingsinstruksjoner, se Upgrade Azure Data Factory Mapping Dataflyt pipelines to Fabric.

Manuell oppgradering

Manuell oppgradering er nødvendig for komplekse pipelines med lav paritet, men det er også en mulighet til å modernisere arkitekturen din og ta i bruk Fabric sine integrerte funksjoner. Denne veien krever mer forhåndsplanlegging og utvikling, men kan gi langsiktige fordeler når det gjelder vedlikeholdbarhet, ytelse og kostnader.

For å oppgradere effektivt, følg disse trinnene:

  1. Vurder og inventar: Katalogiser alle ADF-ressurser, inkludert pipelines, datasett, koblede tjenester og integrasjonskjøringer. Identifiser avhengigheter og bruksmønstre.
  2. Identifiser duplikater og ubrukte elementer: Rydd opp i ubrukte eller overflødige elementer i ADF for å effektivisere oppgraderingen og dataintegrasjonsmiljøet ditt.
  3. Identifiser hull: Bruk verktøyet for vurdering av rørledninger og vurder paritet i koblinger og aktivitet for å identifisere hull mellom ADF-rørledninger og Fabric-rørledninger, og planlegg alternativer.
  4. Gjennomgå nye funksjoner: Bruk vår databevegelsesbeslutningsguide og dataintegrasjonsbeslutningsguide for å avgjøre hvilke Fabric verktøy som passer best for dine behov.
  5. Plan: Gå gjennom beste praksis for oppgradering for hensyn til hvert av dine produkter, og retningslinjer for å få mest mulig ut av Fabric sine forbedrede egenskaper.
  6. Hvis du bruker globale parametere i ADF, planlegg å oppgradere dem til Fabric-variabelbiblioteker. Se Convert ADF Global Parameters to Fabric Variable Libraries for detaljerte trinn.
  7. ADF-overgang: Vurder å legge til et Azure Data Factory-element i Microsoft Fabric som et første steg i oppgraderingen, slik at man gradvis kan gå over på én plattform.
  8. Prioriter: Ranger rørledningene dine basert på forretningspåvirkning, kompleksitet og hvor lett det er å oppgradere.
  9. Automatiser der du kan: Bruk den innebygde oppgraderingsopplevelsen til å vurdere, oppgradere og validere pipelines gradvis før du flytter produksjonsarbeidsbelastninger. For mer informasjon, se oppgraderingsverktøyet.
  10. Vurder verktøy: Bruk disse verktøyene for å gjøre rekreasjonen enklere:
  11. Manuell oppgradering: For scenarier som ikke støttes av andre oppgraderingsmetoder, bygg dem opp igjen i Fabric:
    1. Gjenskap forbindelser: Sett opp Connections i Fabric for å erstatte Linked Services i ADF
    2. Gjenskap aktiviteter: Sett opp dine aktiviteter i pipelinene dine, og erstatt unsupported activities med Fabric alternativer eller bruk aktiviteten Invoke pipeline
    3. Planlegg og sett triggere: Bygg opp tidsplaner og hendelsestriggere i Fabric for å matche ADF-planene dine
  12. Test grundig: Valider oppgraderte rørledninger mot forventede resultater, ytelsesbenchmarks og samsvarskrav.

Eksempler på oppgraderingsscenarier

Overgangen fra ADF til Fabric kan innebære ulike strategier avhengig av bruksområdet ditt. Denne delen skisserer vanlige oppgraderingsveier og hensyn for å hjelpe deg å planlegge effektivt.

Scenario 1: ADF-pipeliner og dataflyter

Moderniser ETL-miljøet ditt ved å oppgradere pipelines og dataflyter til Fabric. Planlegg for disse elementene:

  • Gjenskap koblede tjenester som Fabric-tilkoblinger, eller kartlegg koblede tjenester til eksisterende Fabric-tilkoblinger under den innebygde oppgraderingsopplevelsen.
  • Gjenskap globale parametere som variabelbiblioteker.
  • Definer datasettegenskaper innebygd i pipelineaktiviteter.
  • Erstatt SHIR-er (selvhostede integrasjonskjøretider) med OPDGer (on-premises datagateways) og VNet IR-er med virtuelle nettverksdatagatewayer.
  • For kvalifiserte pipelines som inneholder Mapping Data Flows, bruk den innebygde oppgraderingsopplevelsen til å oppgradere støttede Mapping Data Flows til MDF-transformasjoner i Dataflow Gen2.
  • Gå gjennom MDF-transformasjonsbegrensningene, støttede koblinger, transformasjoner, autentiseringsmetoder og nettverkskrav før oppgradering.
  • For kartlegging av dataflyter som bruker funksjoner som ikke støttes i den nåværende forhåndsvisningen, bør du rette opp de ikke-støttede komponentene eller redesigne transformasjonen ved å bruke Power Query i Dataflow Gen2, Fabric Warehouse SQL, Spark-notatbøker eller en annen passende Fabric-funksjonalitet.
  • Bygg opp ustøttede ADF-aktiviteter ved å bruke Fabric alternativer eller aktiviteten Invoke pipeline. Ikke-støttede aktiviteter inkluderer:
    • Data Lake Analytics (U-SQL), en avskrevet Azure-tjeneste.
    • Valideringsaktivitet, som du kan bygge opp igjen ved å bruke Get Metadata, pipeline-løkker og Hvis-aktiviteter.
    • Power Query, som er fullstendig integrert i Fabric som dataflyter der M-kode kan brukes på nytt.
    • Notebook-, Jar- og Python-aktiviteter, som du kan erstatte med Databricks-aktiviteten i Fabric.
    • Hive-, Pig-, MapReduce-, Spark- og Streaming-aktiviteter, som du kan erstatte med HDInsight-aktiviteten i Fabric.

For krav og trinnvise instruksjoner, se Upgrade Azure Data Factory Mapping Dataflyt pipelines to Fabric.

Som et eksempel, her er ADF-datasettkonfigurasjonssiden, med dens filsti og komprimeringsinnstillinger:

Skjermbilde av konfigurasjonssiden for ADF-datasettet.

Og her er en Copy activity for Data Factory in Fabric, hvor komprimering og filvei er innebygd i aktiviteten:

Skjermbilde av Fabric Copy activity komprimeringskonfigurasjon.

Scenario 2: ADF med CDC, SSIS og Airflow

Opprett CDC på nytt som Kopier jobbelementer . For Airflow, kopier DAG-ene dine inn i Fabric s Apache Airflow-tilbud. Kjør SSIS-pakker ved bruk av ADF-pipelines og kall dem fra Fabric.

Scenario 3: Oppgradering av rørledningen ved bruk av den innebygde opplevelsen

Denne veiledede, vurderingsorienterte erfaringen hjelper deg å evaluere beredskap, identifisere kompatibilitetshull og oppgradere støttede pipelines gradvis til et Fabric-arbeidsområde – alt uten skript.

Den innebygde oppgraderingsopplevelsen støtter også kvalifiserte pipelines som inneholder Mapping Data Flows. Støttede kartleggingsdataflyter oppgraderes til MDF-transformasjoner i Dataflow Gen2, samtidig som transformasjonslogikken og Spark-baserte kjøringsmodellen bevares. Denne funksjonen er for øyeblikket i forhåndsversjon.

Hvis du vil ha mer informasjon, kan du se:

Scenario 4: ADF-elementer i et Fabric-arbeidsområde

Du kan legge til en hel ADF-fabrikk i et Fabric-arbeidsområde som en native gjenstand. Dette lar deg administrere ADF-fabrikker sammen med Fabric-artefakter innenfor samme grensesnitt. ADF-grensesnittet forblir fullt tilgjengelig, slik at du kan overvåke, administrere og redigere ADF-fabrikkelementene direkte fra Fabric-arbeidsområdet. Likevel skjer kjøring av pipelines, aktiviteter og integrasjonskjøretider fortsatt innenfor dine Azure-ressurser.

Denne funksjonen er nyttig for organisasjoner som går over til Fabric, da den gir en samlet oversikt over både ADF- og Fabric-ressurser, noe som forenkler administrasjon og planlegging av oppgraderingen.

For mer informasjon, se Bring din Azure Data Factory inn i Fabric.