Upgrade Azure Data Factory pipelines with Mapping Data Flows to Fabric (Preview)

Important

Azure Data Factory Mapping Data Flows to Fabric -päivitykset ovat tällä hetkellä julkisessa esikatselussa ja voi muuttua.

Käytä Azure Data Factory -sisäänrakennettua päivityskokemusta päivittääksesi kelvolliset putket, jotka sisältävät Mapping Data Flows -toimintoja, Microsoft Fabric Data Factoryyn. Päivityksen aikana tuetut Mapping Data Flows muunnetaan mapping data flow (MDF) -muunnoksiksi Dataflow Gen2:ssa, ja niihin liittyvät putket päivitetään Fabric-putkistoiksi.

Tässä artikkelissa kuvataan lisävalidointi-, suoritus- ja seurantavaiheita päivitetyille MDF-muunnoksille. Täydellisen Azure Data Factory -päivityskokemuksen yleiskatsauksen löydät kohdasta Upgrade your Azure Data Factory pipelines to Fabric Data Factory.

Edellytykset

Ennen kuin aloitat päivityksen, varmista, että sinulla on seuraavat ominaisuudet:

  • Azure Data Factory -instanssi, jossa on vähintään yksi putki, joka sisältää Mapping tietovuo.
  • Lupa käyttää Azure Data Factory -instanssia ja sen putkistoja.
  • Pääsy Microsoft Fabric-yhteensopivaan vuokralaiseen.
  • Fabric-lisenssi. Jos sinulla ei ole sellaista, View in Fabric (Preview) -käyttöönotto kehottaa sinua hakemaan ilmaisen lisenssin, jos itsepalvelurekisteröityminen on käytössä vuokralaisellasi.
  • Pääsy Fabric-kapasiteettiin, kuten Trial-kapasiteettiin.
  • Osallistujan tai korkeammat oikeudet luoda ja päivittää kohteita Fabric-työtilassa.
  • Fabric-yhteydet lähde- ja kohdetietovarastoille, joita ei luoda automaattisesti päivityksen aikana.

Päivityskokemus luo tuetut Fabric-yhteydet automaattisesti, kun niiden Azure Data Factory -todennusasetukset voidaan kartoittaa turvallisesti. Muita yhteyksiä varten valitse olemassa oleva Fabric-yhteys tai luo sellainen ennen päivityksen aloittamista.

Tuetut päivitysskenaariot

Sisäänrakennettu päivityskokemus tukee kelvollisia Azure Data Factory -putkistoja, jotka sisältävät Mapping Data Flows -prosesseja. Päivitysprosessin aikana:

  • Valitut Azure Data Factory -putket päivitetään Fabric-putkistoiksi.
  • Tuetut Mapping Data Flow't muunnetaan MDF-muunnoksiksi Dataflow Gen2:ssa.
  • Putket ja niiden viitatut Mapping Data Flows päivitetään yhdessä.
  • Tuetut linkitetyt palvelut on yhdistetty uusiin tai olemassa oleviin Fabric-yhteyksiin.
  • Alkuperäiset Azure Data Factory -putket ja Mapping Data Flows ovat pysyneet ennallaan.

Ennen päivitystä tarkista MDF-muunnoksen rajoitukset, tuetut liittimet, muunnokset, todennusmenetelmät ja verkkovaatimukset.

Päivitä putkistoja, jotka sisältävät Mapping Data Flow -virtoja

Aloita päivitys Azure Data Factory:ssa View in Fabric (Preview) -toiminnon kautta. Tehtaan katsominen Fabric-palvelussa ei päivitä tai muuta putkistoasi. Päivitys alkaa vasta, kun olet tarkistanut valmiuden, valitsenut putket ja valitsenut nimenomaisesti Käynnistä päivityksen (Esikatselu).

Vaihe 1: Katso Azure Data Factory Fabric-versiossa

  1. Avaa Azure Data Factory -portaalisi.

  2. Valitse View Fabric (Preview)-tiedostossa.

    Kuvakaappaus, jossa näkyy View in Fabric Preview -sisäänkäyntipiste Azure Data Factory:ssa.

  3. Jos käytät tätä ensimmäistä kertaa, tutustu ja hyväksy ehdot, ja valitse sitten Try Fabric Data Factory.

    Kuvakaappaus, jossa on ehdot ja ehdot Fabric Data Factoryn kokeilemiseksi.

  4. Seuraa perehdytysvaiheita seuraavasti:

    • Varmista tai hanki Fabric-lisenssi.
    • Valitse Fabric-kapasiteetti.
    • Luo tai käytä uudelleen Azure Data Factory -Fabric-työtilaa.
    • pinta Azure Data Factory työtilan kohteena.
    • Voit halutessasi jakaa työtilakäyttö olemassa olevien Azure Data Factory -käyttäjien ja ryhmien kanssa.

    Kuvakaappaus, joka näyttää vaiheet Azure Data Factory:n perustamiseen Fabric-tilassa.

Asennuksen jälkeen Azure Data Factory näkyy Fabric-tiedostossa. Mikään ei päivitetä, ja putkiston suoritus sekä laskutus pysyvät Azure Data Factory:ssä.

Täydelliset perehdytystiedot löydät kohdasta Upgrade your Azure Data Factory pipelines to Fabric Data Factory.

Vaihe 2: Arviointivalmius

  1. Azure Data Factory -kohdassa Fabric-kohdassa valitse Assess ja päivitä.

    Kuvakaappaus, jossa näkyy Assess and Upgrade -painike Azure Data Factory -kohteelle Fabric-ohjelmassa.

  2. Käy läpi valmiusarviointi.

  3. Tunnista putket, jotka sisältävät Mapping Data Flows -toimintoja, joita haluat päivittää.

  4. Tarkista kaikki Review-kategoriaan kuuluvat putket ja käsittele tuettomia tai osittain tuettuja ominaisuuksia ennen päivitystä.

  5. Valitse ne kelvolliset putket, joita haluat päivittää.

Arviointi on vain luku -tilassa eikä muuta tai päivitä valittuja putkistoja.

Kuvakaappaus, joka näyttää Azure Data Factory pipeline readiness -arvioinnin tulokset Fabric-muodossa.

Vaihe 3: Tarkista yhteydet

  1. Valitse Tarkista yhteydet.
  2. Tutustu valittujen putkien ja Mapping Data Flowsin käyttämiin Azure Data Factory -linkitettyihin palveluihin.
  3. Vahvista automaattisesti luodut yhteydet.
  4. Yhteyksille, joita ei luotu automaattisesti, valitse olemassa oleva Fabric-yhteys tai luo uusi yhteys.
  5. Varmista, että jokainen vaadittu lähde ja kohde on kartoitettu kelvolliseksi Fabric-yhteydeksi.

Kuvakaappaus, joka näyttää Azure Data Factory -linkitettyjen palveluiden ja Fabric-yhteyksien kartoituksen.

Muistio

Putkistoja voi silti päivittää, jos jotkin yhteydet eivät ole kartoitettuja. Toiminnot, jotka perustuvat kartoittamattomiin yhteyksiin, deaktivoidaan. Määritä tarvittavat Fabric-yhteydet ja ota ne uudelleen käyttöön ennen päivitettyjen putkien ajamista.

Vaihe 4: Aloita päivitys

  1. Tarkista valitut putket ja yhteyskartoitukset.
  2. Valitse Aloita päivitys (Esikatselu).
  3. Odota, että päivitys valmistuu.
  4. Tarkista jokaisen päivitetyn tuotteen tila.

Päivityksen aikana:

  • Valitut Azure Data Factory -putket päivitetään Fabric-putkistoiksi.
  • Valittujen putkien tukemat Mapping Data Flow't muunnetaan MDF-muunnoksiksi Dataflow Gen2:ssa.
  • Putket ja niiden Mapping Data Flows päivitetään yhdessä.
  • Päivitetyt kohteet sijoitetaan kansioon, jonka etuliitteellä on lähdenimi Azure Data Factory.
  • Lähde-Azure Data Factory -putket ja Mapping Data Flows pysyvät ennallaan.

Kuvakaappaus, joka näyttää tulokset Azure Data Factory -putkiston päivittämisen jälkeen Fabric-versioksi.

Validoi päivitetyt mapping-datavirran muunnokset

Päivityksen päätyttyä avaa päivitystulokset tai kansio, jossa on päivitetyt kohteet, ja validoi MDF-muunnokset ennen putkien suorittamista.

Avaa päivitetty Dataflow Gen2 -tuote

  1. Avaa päivitetty Dataflow Gen2 -tuote.

  2. Tarkista päivitetty MDF-muunnoslogiikka.

  3. Validoi muunnoskaavio.

    Kuvakaappaus mapping data flow transform authoring experience, jossa näkyy siirretty transformaatiograafi.

Tallenna päivitetty kartoitusdatavirran muunnos

  1. Avaa Tallenna ja käynnistä -valikko.

  2. Valitse Tallenna.

    Kuvakaappaus Tallenna ja suorita -valikosta mapping data flow transform authoring experiencessa.

Muistio

MDF-muunnoksilla julkisessa esikatselussa tuetaan tällä hetkellä vain Save-toimintoa .

Päivitettyjen putkien ajaminen

Validoinnin jälkeen aja päivitetty Fabric-putki.

Määritä putkisto

  1. Avaa päivitetty Fabric-putkisto.

  2. Valitse Dataflow-aktiviteetti.

  3. Tarkista valittu MDF-muunnoskysely.

  4. Säädä tarvittaessa Sparkin ajonaika-asetukset.

    Kuvakaappaus pipeline-editorista, joka näyttää Dataflow-aktiviteettikonfiguraatiota mapping data flow -muunnokselle.

Suorita päivitetty putkisto

  1. Vahvista putkisto.

  2. Varmista, että kaikki tarvittavat yhteydet on kartoitettu ja todennettu.

  3. Ota uudelleen käyttöön kaikki toiminnot, jotka olet poistanut käytöstä kartoittamattomien yhteyksien vuoksi.

  4. Aja putki manuaalisesti.

  5. Vertaa sen tuloksia alkuperäiseen Azure Data Factory -putkistoon.

  6. Validoinnin jälkeen suorita tai konfiguroi ja ota aikataulut ja laukaisimet uudelleen käyttöön tarpeen mukaan.

    Kuvakaappaus siirretyn putken ajo- ja ajoitusvaihtoehdoista.

Vahvista päivitystulokset

Ennen tuotannon leikkausta validoi päivitetty työkuorma ei-tuotantoympäristössä:

  • Varmista, että olet kartoittanut ja todentanut kaikki tarvittavat Fabric-yhteydet.
  • Vertaa lähde- ja sink-rivimääriä alkuperäiseen Azure Data Factory -suoritukseen.
  • Validoi skeema, tietotyypit, nollakäsittely ja skeeman drift-käyttäytyminen.
  • Validoi Mapping tietovuo -lausekkeet ja muunnostulokset.
  • Tarkista lisäys-, päivitys-, lisä- ja poistokäyttäytyminen.
  • Validoi parametrit ja dynaaminen sisältö.
  • Vahvista idempotentti käyttäytyminen, kun putkia ajetaan uudelleen.
  • Tarkista virheiden käsittely ja seuranta.
  • Vertaa ajonaikaista käyttäytymistä ja suorituskykyä olettamatta samanlaista suoritusaikaa.
  • Ota laukaisijat uudelleen käyttöön ja konfiguroi vasta päästä päähän -validoinnin jälkeen.

Alkuperäiset Azure Data Factory -putket ja Mapping Data Flows ovat edelleen käytettävissä rinnakkain validointia varten.

Seuraa päivitettyjen kartoitustietojen virran muunnossuorituksia

Voit seurata päivitettyjen putkisto- ja MDF-muunnosten suorituksia seuraavasti:

  • Putkiston lähtöpaneeli
  • Valvontakeskus
  • Toimintakierrokset
  • Datavirran toiminnan suorituksen yksityiskohdat

Kuvakaappaus putkiston tulospaneelista, jossa näkyy Dataflow-aktiviteetin suoritustila.

Suorituksen yksityiskohtien tarkastelu:

  1. Avaa putkiston ajotiedot.

  2. Valitse Dataflow-aktiviteetti Activity Runsista.

  3. Tarkista suorituksen tila ja ajonaikaiset tiedot.

    Kuvakaappaus Monitoring Hubista, joka näyttää putkilinjan aktiivisuuden suoritukset ja niiden tilat.

    Kuvakaappaus Dataflow-toiminnan suorituksen yksityiskohdista, jotka näyttävät prosessointimittarit.

Rajoitukset

Yleiset Azure Data Factory -päivitysrajoitukset koskevat myös putkistoja, jotka sisältävät Mapping Data Flows. Tarkista tunnetut rajoitukset ennen kuin valitset päivitettävät putket.

Seuraavat rajoitukset koskevat tällä hetkellä MDF-muunnoksia julkisessa esikatselussa:

alue Rajoitus
Virtaukset Ei tueta.
tietovuo Library Ei tueta.
Käyttäjän määrittelemät funktiot (UDF) Ei tueta.
Datavirran suoritus MDF-muunnokset voidaan suorittaa vain putkiston datavirtatoiminnon kautta. Suora Dataflow Gen2 -päivitys ei ole tuettu.
Managed näennäisverkko Managed näennäisverkko -tuki ei ole saatavilla.
Sparkin suoritusaikainen suoritus MDF-muunnokset käyttävät tällä hetkellä Sparkin ajonaikaista infrastruktuuria, joka muistuttaa Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flowsia.
Ominaisuuspariteetti Kaikki Azure Data Factory Mapping tietovuo -ominaisuudet eivät ole saatavilla nykyisessä esikatselussa.

Liittyvä sisältö

  • Viimeksi päivitetty