Migration best practices for Azure Data Factory til Fabric Data Factory

Denne artikel giver implementeringsniveau bedste praksis for hver komponent af en Azure Data Factory (ADF) til Fabric Data Factory-migrering: forbindelser, integrationsruntimes, aktiviteter, dataflows, globale parametre og værktøjer. For overordnet migreringsplanlægning, herunder valg af migrationssti og prioritering af pipelines, se Plan your migration from Azure Data Factory to Fabric.

Overvejelser før migrering

Før du migrerer, skal du vurdere, hvad der skal genbruges, oversættes eller redesignes. Følg disse trin for at sikre en jævn overgang:

  1. Identificer godkendelsesmønstre, f.eks. administreret identitet eller nøglebaseret godkendelse.
  2. Gennemse netværkskrav, herunder private slutpunkter og gateways.
  3. Tilknyt planlægning og udløs semantik, og juster overvågnings- og alarmopsætninger.
  4. Sammenlign ADF-funktioner med deres Fabric-modstykker og noter eventuelle huller som SSIS eller dataflows.
  5. Definer ikke-funktionelle mål, f.eks. SLA'er, gennemløb, omkostningsgrænser og observerbarhed.
  6. Byg et testscenarie med eksempeldatasæt og forventede output for objektivt at sammenligne ADF- og Fabric-kørsler.
  7. Planlæg for hemmelighedsrotation, navngivningskonventioner og arbejdsområdetaksonomi, så din migration forbedrer – ikke blot genskaber – din nuværende dataintegrationsstrategi.

En faseopdelt tilgang med side-om-side validerings- og rollback-planer minimerer risikoen, samtidig med at den muliggør hurtigere eksekvering, centraliseret overvågning og dybere integration med Microsoft Fabric.

Ved store migrationer kan du overveje at samarbejde med certificerede Microsoft-partnere eller dit Microsoft-konto-team for vejledning.

Best practice for migrering af ADF-tilknyttede tjenester og datasæt til Fabric-forbindelser

I Azure Data Factory (ADF) definerer linkede services og datasæt forbindelser og datastrukturer. I Fabric mapper disse til forbindelser og aktivitetsindstillinger, med et stærkere fokus på genbrug og managed identity på arbejdsområdesniveau. Sådan tilpasser du dine ADF-aktiver:

  1. Gennemgå kontinuiteten mellem Connector mellem Azure Data Factory og Fabric for at bekræfte understøttelse af dine datakilder og sinks.
  2. Konsolider redundante forbindelser for at strømline administrationen.
  3. Anvend administreret identitet for sikker og ensartet godkendelse.
  4. Standardiser parameterisering af mapper og tabeller ved hjælp af klare navngivningskonventioner, f.eks.: conn-sql-warehouse-sales eller ds-lh-raw-orders.

For at sikre ensartethed og skalerbarhed skal du dokumentere hver kilde og destination fuldt ud med:

  • Ejere
  • Følsomhedsniveauer
  • Indstillinger for forsøg igen

Denne dokumentation hjælper med at lave skabeloner til handlinger på tværs af pipelines og forbedrer styringen.

Integrationskørsler og OPDG, virtuel netværksgateway

Azure Data Factory (ADF) bruger Integration Runtimes (IRs til at definere beregningsressourcer til databehandling. Disse omfatter:

  • Cloud IRs til Azure-hostet compute.
  • Selvhostede IR'er (SHIR'er) til lokale eller private netværkskilder.
  • SSIS IR'er for SQL Server Integration Services.
  • VNet-aktiverede IR'er til sikker netværksforbindelse.

I Fabric mapper disse til cloud execution, On-premises Data Gateway (OPDG) og virtuelt netværk Data Gateway muligheder. Sådan planlægger du din migrering:

  1. Identificer pipelines, der er afhængige af SHIR'er, og planlæg deres gatewaykortlægning og gennemløbsstørrelse.
  2. Valider DNS, udgående, firewallregler og godkendelse for hver connector.
  3. Øv failover-scenarier for at sikre pålidelighed.
  4. Når det er muligt, skal du migrere til private slutpunkter eller virtuelle netværksdatagateways for at forenkle sikkerhedsgennemgange og reducere driftsomkostninger.

Fabric forenkler compute-styring ved at bruge cloud-baserede ressourcer inden for dine Fabric-kapaciteter. SSIS IR'er er ikke tilgængelige i Fabric. Til forbindelse i det lokale miljø skal du bruge OPDG ( On-premises Data Gateway ). For sikker netværksforbindelse brug virtuelt netværk Data Gateway.

Ved overførsel:

  • Offentlige netværk Azure IR'er behøver ikke flyttes.
  • Genskab SHIR'er som OPDG'er.
  • Erstat VNet-aktiverede Azure IRs med virtuelt netværk Data Gateways.

Bedste praksis for migrering af ADF-pipelineaktiviteter til Fabric

Alle kerneaktiviteter i Azure Data Factory (ADF), såsom Copy, Lookup, Stored Procedure/SQL Script, Web og Control flow, har direkte ækvivalenter i Fabric. Der er dog nogle forskelle i egenskaber, udtrykssyntaks og grænser. Når du overfører, skal du gennemgå følgende:

  • Politikker og timeouts for at prøve igen.
  • Sideinddelingsindstillinger for REST-kilder.
  • Konfigurationer af binære kopier i forhold til tabelkopier.
  • Foreach og filtermønstre.
  • Systemvariabler, der bruges i dynamisk indhold.

Fabric giver ofte flere native muligheder til visse opgaver. Du kan f.eks. bruge SQL-script på et lagersted i stedet for et generisk Stored Procedure-kald for at opnå bedre afstamning og overvågning. Hvis du vil strømline migreringen, skal du centralisere almindelige udtryk som stier, datoer og lejerspecifikke URI'er i pipelineparametre. Dette reducerer afdrift og fremskynder test.

For mere information, se Aktivitetskontinuitet mellem Azure Data Factory og Fabric.

Forskelle i dataflow

Azure Data Factory (ADF) Mapping Data Flows kortlægger ikke direkte til Fabric. I stedet skal du typisk omarbejde dem ved hjælp af en af følgende muligheder:

  • Dataflow Gen2 til rækkesættransformationer og styrede transformationer med lav kode.
  • Fabric Warehouse SQL til set-baserede ELT-opgaver, som MERGE eller ELT-operationer tæt på dataene.
  • Spark notesbøger til avancerede transformationer, kompleks logik eller behandling i stor skala.

Når du migrerer, skal du validere følgende:

  • Datatyper og null-håndtering.
  • Surrogatnøgler og langsomt skiftende dimensioner.
  • Idempotente ELT-mønstre, såsom iscenesættelse og MERGE, for at sikre forudsigelige genløb.

Du kan finde oplysninger om overførselsscenarier under Overfør fra Dataflow Gen1 til Dataflow Gen2.

Globale parametre i Azure Data Factory

Fabric bruger arbejdsområde-niveau Variable Libraries til at definere konstanter på tværs af Fabric elementer. Når du migrerer til Microsoft Fabric Data Factory, skal du konvertere dine globale parametre fra Azure Data Factory til variable biblioteker.

For fuld vejledning om konvertering, se Convert ADF Global Parameters to Fabric Variable Libraries.

Azure Marketplace partnertilbud

Betroede migreringspartnere, som Bitwise Global, leverer værktøjer til at hjælpe med din migrering. Disse værktøjer kan:

  • Scan dit Azure Data Factory (ADF) miljø.
  • Generer mål-Fabric-artefakter.
  • Udfør konsekvensanalyse og afstamningssporing.
  • Opret automatiserede testplaner.

Disse løsninger er især nyttige, hvis du har:

  • Hundredvis af rørledninger.
  • Forskellige stik.
  • Strenge krav til nedetid.

Partnerværktøjer standardiserer tilknytningsregler, genererer konverteringsrapporter og kører parallelle valideringstests. Dette giver dig mulighed for at sammenligne rækkeantal, kontrolsummer og ydeevne mellem dine gamle og nye miljøer. Selvom du ikke bruger en partner til hele migreringen, kan deres registrerings- og vurderingsmoduler hjælpe dig med at starte din interne planlægning og reducere usikkerheder.

Brug Copilot og AI-værktøjer til at accelerere ADF-til-Fabric-migreringen

Store sprogmodeller (LLM'er) som Microsoft Copilot, ChatGPT og Claude kan fremskynde migrationsopgaver. Disse værktøjer er nyttige til:

  • Refaktorering af udtryk.
  • Konvertering af Azure Data Factory (ADF) JSON til Fabric syntax.
  • Skrivning af MERGE udsagn.
  • Generering af forbindelsesskabeloner.
  • Udarbejdelse af valideringsscripts.

Du kan også bruge dem til at oprette dokumentation, f.eks. runbooks, dataordbøger og migreringstjeklister, så teknikere og operatører er på linje. Hold dog disse værktøjer i løkken, ikke ansvarlige:

  • Undgå at indsætte følsomme oplysninger i AI-værktøjer.
  • Validere alle elementer i et udviklingsmiljø.
  • Brug automatiserede tests som rækketællinger, skema-sammenligninger og forretningsregeltjek til at opdage subtile problemer, såsom type-mismatches eller lokal-specifik datoparsing.

For mere information, se Use Copilot in Data Factory og AI i Microsoft Fabric.

Migrationsstier

For detaljeret vejledning om migrationsstier (herunder montering af ADF-elementer for kontinuitet, brug af den indbyggede opgraderingsoplevelse, PowerShell-konvertering og replatformingstrategier), se Migrationsstier i migrationsplanlægningsguiden.

Relateret indhold

Sammenlign Azure Data Factory med Data Factory i Fabric

  • Last updated on