Upgrade planning for Azure Data Factory to Fabric Data Factory

Tämä opas kattaa päivitysstrategiat, päätöskriteerit ja vaiheittaiset lähestymistavat Azure Data Factory (ADF) -putkien siirtämiseksi Fabric Data Factoryyn. Toteutustason parhaista käytännöistä jokaiselle päivityskomponentille löytyy kohdasta Päivitys parhaat käytännöt.

Miksi päivittää?

Päivittäminen ADF- ja Synapse-putkista Fabric Data Factoryyn on enemmän kuin nosto-ja-siirto: se on mahdollisuus yksinkertaistaa hallintaa, standardoida kaavoja ja käyttää uusia ominaisuuksia datan integrointistrategian parantamiseksi.

Fabric tarjoaa monia uusia ominaisuuksia, kuten:

Yksityiskohtaisen vertailun löydät the Azure Data Factory and Fabric Data Factory -vertailuoppaasta.

Keskeiset arkkitehtoniset erot

Ennen kuin päivität Azure Data Factory:sta Fabric Data Factoryyn, pohdi näitä keskeisiä arkkitehtonisia eroja, joilla on suurin vaikutus päivityssuunnitteluun:

Luokka Azure Data Factory Fabric Data Factory Päivityksen vaikutus
Mukautettu koodi Räätälöity toiminta aktiviteetin Azure-erä Toiminnan nimi on erilainen, mutta tukee samaa toiminnallisuutta.
Tietovuot Datavirtojen kartoittaminen Spark-pohjaisella suorituksella Dataflow Gen2 tukee Mapping tietovuo (MDF) -muunnoksia Spark-pohjaisella suorituksella. MDF-muunnokset ovat tällä hetkellä esikatseluvaiheessa. Eligible Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flows voidaan siirtää MDF-muunnoksiin Dataflow Gen2:ssa käyttämällä sisäänrakennettua migraatiokokemusta. Käy läpi tuetut liittimet, muunnokset, todennusmenetelmät ja esikatselurajoitukset ennen siirtoa. Tuettavissa tilanteissa muunnos uudistetaan käyttämällä Power Query Dataflow Gen2:ssa, Fabric Warehouse SQL:ää, muistikirjoja tai muuta Fabric-ominaisuutta.
Tietokokonaisuuksien Erilliset, uudelleenkäytettävät tietoaineiston objektit Ominaisuudet määritellään toimintojen sisällä Kun muunnat ADF:stä Fabric-muotoon, jokaisessa toiminnossa on 'dataset'-tietoa.
Dynaamiset yhteydet Linkitetyt palveluominaisuudet voivat olla dynaamisia parametrien avulla Yhteysominaisuudet eivät tue dynaamisia ominaisuuksia, mutta putkistotoiminnot voivat käyttää dynaamista sisältöä yhteysobjekteina Metatietopohjaisiin arkkitehtuureihin perustuvissa ratkaisuissa, jotka perustuvat parametrisoituihin yhteyksiin, parametrisoi yhteysobjekti Fabric-ohjelmassa.
Globaalit parametrit Yleiset parametrit Fabric Muuttuva kirjasto Erilaisia toteutusmalleja ja tietotyyppejä, vaikka meillä on päivitysohje.
HDInsightin toiminta Viisi erillistä aktiviteettia (Hive, Pig, MapReduce, Spark, Streaming) Yksittäinen HDInsight-toiminta Tarvitset vain yhden aktiviteettityypin muunnoksessa, mutta kaikki toiminnallisuus on tuettu.
Käyttäjätiedot Hallitut käyttäjätiedot Fabric Työtilan identiteetti Erilaiset identiteettimallit, joihin vaadittiin jonkin verran suunnittelua.
Key Vault Kypsä integraatio kaikilla tunnistautumistyypeillä Rajoitettu integraatio Fabric Key Vault Reference Vertaa tällä hetkellä tuetut Key Vault-lähteet ja autentikointi olemassa oleviin kokoonpanoihisi.
Putkiston toteutus Suorita putkitoiminto Kutsu Pipeline-toiminto FabricDataPipeline-yhteystyypillä Toiminnon nimi ja yhteysvaatimukset muuttuvat muunnoksen yhteydessä.
Aikataulutus Yksi laukaisija monille putkistoille tai monille laukaisuille per putki keskitetyllä hallinnalla Yksi aikataulu per putki tai useita aikatauluja per putki ilman aikataulujen uudelleenkäyttöä tai keskitettyä keskusta Fabric vaatii tällä hetkellä putkikohtaista aikataulujen hallintaa.

Päivityspolut

Päivityspolut riippuvat ADF:n resursseistasi ja niiden ominaisuuksien pariteetista. Vaihtoehtoja ovat:

Azure Data Factory -kohteet Fabric-työtilassasi

Lisää olemassa oleva ADF Fabric-työtilaasi saadaksesi välittömän näkyvyyden ja hallinnan samalla kun päivität vähitellen. Tämä lähestymistapa on ihanteellinen löytämiseen, omistajuuden jakamiseen ja rinnakkaiseen testaukseen, koska tiimit voivat nähdä putkistoja, järjestää ne Fabric-työtiloille ja suunnitella leikkauksia toimialueittain. Käytä Azure Data Factory -aluksia luetteloidaksesi olemassa olevat asiat, priorisoi ensin arvokkaimmat ja pienimmän riskin putket sekä luo konventioita (nimitys, kansiot, yhteyden uudelleenkäyttö), joita muunnosskriptit ja kumppanityökalut voivat noudattaa johdonmukaisesti.

Liität Fabric-tiedoston Azure Data Factory -esinetyypin kautta: Bring your Azure Data Factory to Fabric.

Päivitä Azure Data Factory -putket sisäänrakennetun kokemuksen avulla

Fabric tarjoaa sisäänrakennetun, arviointiin perustuvan päivityskokemuksen, jonka avulla voit arvioida ja päivittää Azure Data Factory -putkia suoraan Azure Data Factory- ja Fabric-käyttäjäkokemusten kautta – ilman skriptejä tai räätälöityjä työkaluja. Tämä kokemus auttaa sinua:

  • Arvioi putken ja aktiviteettien valmius suoraan Azure Data Factory:ssa.
  • Ymmärrä yhteensopivuusaukot ennen päivitystä.
  • Yhdistä Azure Data Factory Fabric-työtilaan rinnakkaista tarkastelua varten.
  • Päivitä tuetut putket asteittain Fabric-tilaan asennettujen datatehtaiden kautta.
  • Päivitä tuetut Mapping Data Flows -toiminnot valituissa putkistoissa MDF-muunnoksiksi Dataflow Gen2:ssa.
  • Suunnittele korjaus- tai uudelleensuunnittelu tuotteille, jotka vaativat päivityksiä, käyttävät tuettuja ominaisuuksia tai ovat tulossa pian.

Jokainen putki ja toiminta on selkeästi luokiteltu (Valmis, Tarvitsee tarkastelua, Tulossa pian tai Ei yhteensopiva), mikä auttaa tiimejä suunnittelemaan päivityksiä tarkoituksellisesti ja varmistamaan tulokset ennen tuotantokuormien vaihtamista. Tämä lähestymistapa sopii hyvin asiakkaille, jotka haluavat ohjautuvan, vähäriskisen ja asteittaisen päivityspolun, samalla kun näkyvyys tuettuihin ominaisuuksiin ja seuraaviin vaiheisiin säilyy. Vaiheittaista ohjeistusta löytyy kohdasta Upgrade your Azure Data Factory pipelines to Fabric.

Sisäänrakennettu päivityskokemus tukee myös kelvollisia putkia, jotka sisältävät Mapping Data Flows. Tuetut Mapping Data Flows päivitetään MDF-muunnoksiksi Dataflow Gen2:ssa, säilyttäen niiden muunnoslogiikan ja Spark-pohjaisen suoritusmallin. Tämä ominaisuus on tällä hetkellä esikatseluvaiheessa. Vaatimuksista, rajoituksista ja päivitysohjeista löytyy kohdasta Upgrade Azure Data Factory Mapping tietovuo pipelines to Fabric.

Manuaalinen päivitys

Manuaalinen päivitys on tarpeen monimutkaisissa putkistoissa, joissa on matala pariteetti, mutta se on myös mahdollisuus modernisoida arkkitehtuuriasi ja ottaa käyttöön Fabric:n integroidut ominaisuudet. Tämä polku vaatii enemmän ennakointia ja kehitystä, mutta voi tuottaa pitkäaikaisia hyötyjä ylläpidossa, suorituskyvyssä ja kustannuksissa.

Päivittääksesi tehokkaasti, noudata näitä ohjeita:

  1. Arvioi ja inventoi: Luetteloi kaikki ADF-resurssit, mukaan lukien putket, aineistot, linkitetyt palvelut ja integraatioajonaikat. Tunnista riippuvuuksia ja käyttötottumuksia.
  2. Tunnista kaksoiskappaleet ja käyttämättömät kohteet: Siivoa käyttämättömät tai päällekkäiset esineet ADF:ssä, jotta päivitys ja datan integrointiympäristö sujuvoittavat.
  3. Tunnista aukot: Käytä putkiston arviointityökalua ja tarkastele liitinpariteettia sekä toimintapariteettia tunnistaaksesi aukot ADF- ja Fabric-putkien välillä sekä suunnitellaksesi vaihtoehtoja.
  4. Tutustu uusiin ominaisuuksiin: Käytä data movement decision guidea ja data integration decision guidea päättääksesi, mitkä Fabric työkalut sopivat parhaiten tarpeisiisi.
  5. Suunnitelma: Käy läpi päivityskäytännöt, huomioitavat huomioitavat jokaisen tuotteesi osalta sekä ohjeet Fabric:n parannettujen ominaisuuksien parhaan hyödyn saamiseksi.
  6. Jos käytät ADF:ssä globaaleja parametreja, suunnittele niiden päivittämistä Fabric-muuttujakirjastoihin. Katso Muunna ADF:n globaalit parametrit Fabric muuttujakirjastoiksi yksityiskohtia varten.
  7. ADF-siirtymä: Harkitse Azure Data Factory -tuotteen lisäämistä Microsoft Fabric -sovellukseen ensimmäisenä askeleena päivityksessä, mahdollistaen asteittaisen siirtymän yhdellä alustalla.
  8. Priorisoi: Järjestä putkesi liiketoiminnan vaikutuksen, monimutkaisuuden ja helppouden perusteella.
  9. Automatisoi siellä, missä voit: Käytä sisäänrakennettua päivityskokemusta arvioidaksesi, päivittääksesi ja validoidaksesi putkia asteittain ennen tuotantokuormien siirtämistä. Lisätietoja löytyy Päivitystyökalusta.
  10. Harkitse työkalujen käyttöä: Käytä näitä työkaluja helpottaaksesi vapaa-ajan tekemistä:
  11. Manuaalinen päivitys: Jos muut päivitysmenetelmät eivät tue skenaarioita, rakenna ne uudelleen Fabric-muodossa:
    1. Recreate connections: Aseta Connections Fabric korvaamaan Linked Services ADF:ssä
    2. Recreate activities: Aseta activities putkistoihisi, korvaa tuetut aktiviteetit Fabric vaihtoehdoilla tai käytä Invoke-putkitoimintoa
    3. Aikatauluta ja aseta laukaisimet: Rakennetaan aikataulut ja tapahtumalaukaisijat uudelleen Fabric vastaamaan ADF-aikataulujasi
  12. Testaa huolellisesti: Validoi päivitetyt putket odotettuihin tuloksiin, suorituskykymittareihin ja vaatimustenmukaisuusvaatimuksiin nähden.

Esimerkkipäivitysskenaariot

Siirtyminen ADF:stä Fabric-alalle voi vaatia erilaisia strategioita käyttötarkoituksen mukaan. Tässä osiossa esitellään yleisimmät päivityspolut ja huomioitavat seikat tehokkaan suunnittelun tukemiseksi.

Skenaario 1: ADF:n putkistot ja tietovirrat

Modernisoi ETL-ympäristösi päivittämällä putket ja datavirrat Fabric-järjestelmään. Suunnittele nämä elementit:

  • Luo linkitetyt palvelut uudelleen Fabric-yhteyksinä tai yhdistä linkitetyt palvelut olemassa oleviin Fabric-yhteyksiin sisäänrakennetun päivityskokemuksen aikana.
  • Luo uudelleen globaalit parametrit muuttujakirjastoina.
  • Määritä tietojoukon ominaisuudet putken aktiviteeteissa.
  • Korvaa SHIR:t (itseisännöidyn integraation ajontimet) OPDG:illä (on-premises data gateways) ja VNet IR:t virtuaalisilla verkkodataporteilla.
  • Kelvollisten putkien kohdalla, jotka sisältävät Mapping Data Flow -virtoja, käytä sisäänrakennettua päivityskokemusta päivittääksesi tuetut Mapping Data Flows MDF-muunnoksiksi Dataflow Gen2:ssa.
  • Tarkista MDF-muunnoksen rajoitukset, tuetut liittimet, muunnokset, todennusmenetelmät ja verkkovaatimukset ennen päivitystä.
  • Mapping Data Flowsissa, jotka käyttävät ominaisuuksia, joita nykyinen esikatselu ei tue, korjaa tuettomat komponentit tai suunnittele muunnos uudelleen käyttämällä Power Query Dataflow Gen2:ssa, Fabric Warehouse SQL:ää, Spark-muistikirjoja tai muuta sopivaa Fabric-ominaisuutta.
  • Rakenna uudelleen tukemattomat ADF-toiminnot käyttäen Fabric vaihtoehtoja tai Invoke-putkitoimintoa. Tukemattomia toimintoja ovat muun muassa seuraavat:
    • Data Lake Analytics (U-SQL), vanhentunut Azure-palvelu.
    • Validointitoiminto, jonka voi rakentaa uudelleen käyttämällä Get Metadataa, putkisilmukoita ja If-toimintoja.
    • Power Query, joka on täysin integroitu Fabriciin tietovuona, joissa M-koodia voidaan käyttää uudelleen.
    • Notebook-, Jar- ja Python-toiminnot, jotka voit korvata Databricks-toiminnolla Fabric-ohjelmassa.
    • Hive-, Pig-, MapReduce-, Spark- ja Streaming-aktiviteetit, jotka voit korvata Fabric:n HDInsight-aktiviteetilla.

Vaatimuksista ja vaiheittaisista ohjeista löytyy kohdasta Upgrade Azure Data Factory Mapping tietovuo pipelines to Fabric.

Esimerkkinä tässä on ADF-datasetin konfiguraatiosivu, jossa on tiedostopolku ja pakkausasetukset:

Kuvakaappaus ADF-aineiston konfiguraatiosivusta.

Ja tässä on Copy activity Data Factorylle Fabric-tilassa, jossa pakkaus ja tiedostopolku ovat toiminnossa rivissä:

Kuvakaappaus Fabric Copy activity pakkauskonfiguraatiosta.

Skenaario 2: ADF CDC:n, SSIS:n ja ilmavirran kanssa

Luo CDC uudelleen kopiointityökohteina . Airflow'ta varten kopioi DAG:si Fabric:n Apache Airflow -palveluun. Suorita SSIS-paketteja ADF-putkilla ja kutsu ne Fabric-ohjelmasta.

Skenaario 3: Putkiston päivitys sisäänrakennetun kokemuksen avulla

Tämä ohjattu, arviointiin perustuva kokemus auttaa arvioimaan valmiutta, tunnistamaan yhteensopivuusaukot ja päivittämään tuetut putket asteittain Fabric-työtilaan—kaikki ilman skriptejä.

Sisäänrakennettu päivityskokemus tukee myös kelvollisia putkia, jotka sisältävät Mapping Data Flows. Tuetut Mapping Data Flows päivitetään MDF-muunnoksiksi Dataflow Gen2:ssa, säilyttäen niiden muunnoslogiikan ja Spark-pohjaisen suoritusmallin. Tämä ominaisuus on tällä hetkellä esikatseluvaiheessa.

Lisätietoja on seuraavissa artikkeleissa:

Skenaario 4: ADF-esineet Fabric-työtilassa

Voit lisätä kokonaisen ADF-tehtaan Fabric-työtilaan natiivina tuotteena. Tämä antaa sinun hallita ADF-tehtaita yhdessä Fabric-artefaktien kanssa samassa käyttöliittymässä. ADF:n käyttöliittymä pysyy täysin saavutettavana, mahdollistaen ADF:n tehdastuotteiden valvonnan, hallinnan ja muokkaamisen suoraan Fabric-työtilasta. Kuitenkin putkistojen, toimintojen ja integraatioajonojen suoritus tapahtuu edelleen Azure-resursseissasi.

Tämä ominaisuus on hyödyllinen organisaatioille, jotka siirtyvät Fabric-järjestelmään, sillä se tarjoaa yhtenäisen näkymän sekä ADF- että Fabric-resursseihin, mikä yksinkertaistaa päivityksen hallintaa ja suunnittelua.

Lisätietoja löytyy osoitteesta Bring your Azure Data Factory into Fabric.

Liittyvä sisältö

  • Viimeksi päivitetty