Mikä on Microsoft Fabricin Data Factory?

Microsoft Fabricin Data Factory auttaa sinua ratkaisemaan yhden liiketoiminnan vaikeimmista haasteista: hajallaan olevien tietojen muuttamisen hyödyllisiksi merkityksellisiksi tiedoiksi.

Organisaatiosi tiedot sijaitsevat monissa eri paikoissa: tietokannoissa, tiedostoissa, pilvipalveluissa ja vanhoissa järjestelmissä. Tämä monimuotoisuus vaikeuttaa kokonaiskuvan saamista yrityksestäsi. Data Factory yhdistää yli 170 tietolähteeseen, mukaan lukien monipilviympäristöt ja hybridiasetukset paikallisilla porteilla. Sen avulla voit siirtää ja muuntaa tietojasi suuressa mittakaavassa ja muuntaa ne muotoihin, jotka toimivat hyvin analytiikassa ja päätöksenteossa.

Kaavio tietojen integrointipinosta Microsoft Fabricissa.

Olitpa sitten yrityskäyttäjä, joka rakentaa ensimmäistä data-analytiikkastrategiaansa, tai kehittäjä, joka kehittää monimutkaisia työvirtoja, löydät oikeat työkalut:

  • Kokoa tietosi yhteen
  • Siivoa se
  • Valmistele se analysoitavaksi Lakehousessa tai tietovarastossa
  • Automatisoi tietotyönkulut

Mitä tietojen integrointi on?

Tietojen integrointi on prosessi, jossa strategiset tiedot kootaan yhteen, jotta voit käyttää ja analysoida niitä. Se on keskeinen osa mitä tahansa yritystä, joka haluaa tehdä tietoon perustuvia päätöksiä.

On monia tapoja integroida tietojasi, mutta yksi yleisimmistä strategioista on ETL. ETL on lyhenne sanoista Extract, Transform, Load. Se ottaa tietoja monista eri lähteistä, muuntaa ne analysoitavaan muotoon ja lataa ne yhteiseen kohdejärjestelmään analysointia tai raportointia varten. Kun otat ETL-prosessin käyttöön yrityksesi data-alustalla, se parantaa tietojen johdonmukaisuutta, laatua ja saavutettavuutta.

Kukin vaihe tekee seuraavaa:

  • Poiminta: Lukee tiedot lähteistäsi ja siirtää ne keskitettyyn tallennuspaikkaan. Lähteet voivat olla tietokantoja, tiedostoja, sovellusliittymiä, verkkosivustoja ja paljon muuta.
  • Muunna: Puhdistaa, rikastaa ja muuntaa tietosi helposti analysoitavaan muotoon. Voit esimerkiksi verrata SQL-tietokannan myyntitietoja skannattuihin historiallisiin myyntiasiakirjoihin. Kun olet poiminut tiedot, sinun on muunnettava tiedot kustakin lähteestä niin, että ne ovat samassa muodossa, tarkistettava vioittuminen tai kaksoiskappaleet ja yhdistettävä tiedot yhdeksi tietojoukoksi.
  • Lataus: Kirjoittaa muunnetut tiedot kohdejärjestelmään, kuten tietovarastoon tai datajärveen. Kohdejärjestelmässä voit suorittaa kyselyitä ja raportteja tiedoistasi.

ETL vai ELT?

Kun työskentelet datan kanssa, sillä on merkitystä, miten liikut ja muunnat, ja jokaisella organisaatiolla on erilaiset tarpeet. Esimerkiksi tarkastellaan ETL:ää (Extract, Transform, Load) ja ELT (Extract, Load, Transform). Jokaisella menetelmällä on vahvuutensa riippuen suorituskyvystä, skaalautuvuudesta ja kustannuksista.

ETL: Muunna tietosi ennen kuin lataat ne määränpäähänsä. Tämä menetelmä toimii hyvin, kun sinun täytyy puhdistaa, standardoida tai rikastaa dataa sen liikkuessa. Esimerkiksi käytä Data Factoryn Dataflow Gen2:ta muunnoksien toteuttamiseen laajassa mittakaavassa ennen datan lataamista varastoon tai Lakehouseen.

ELT: Lataa ensin raakadata ja muunna se sitten sinne, missä se on tallennettu. Tämä lähestymistapa käyttää analytiikkamoottoreiden, kuten Fabricin OneLake-, Spark Notebook- tai SQL-pohjaisten työkalujen, tehoa. ELT toimii hyvin suurten tietojoukkojen käsittelyssä nykyaikaisella, pilvimittakaavan laskennalla.

Fabric Data Factory tukee molempia. Voit toimia seuraavasti:

  • Luo klassisia ETL-putkia tietojen välitöntä laatua ja valmiutta varten
  • ELT-työnkulkujen avulla voit hyödyntää integroitua laskentaa ja tallennusta suuren mittakaavan muunnoksissa
  • Yhdistä molemmat lähestymistavat samaan ratkaisuun joustavuuden takaamiseksi

Data Factory on tehokas tietojen integrointiratkaisu

Data Factory muodostaa yhteyden tietoihisi, siirtää niitä, muuntaa niitä ja organisoi tietojen siirto- ja muunnostehtävät yhdestä paikasta. Sinä päätät, mikä strategia toimii parhaiten yrityksellesi, ja Data Factory tarjoaa työkalut sen toteuttamiseen.

Yhdistä tietoihisi: Data Factory muodostaa yhteyden tietolähteihisi ja kohteihisi paikallisesti, pilvipalvelussa tai monen pilvipalvelun ympäristöissä. Se tukee monenlaisia tietolähteitä, kuten tietokantoja, tietojärviä, tiedostojärjestelmiä, ohjelmointirajapintoja ja paljon muuta. Katso käytettävissä olevista yhdistimistä täydellinen luettelo tuetuista tietolähteistä ja kohteista.

Siirrä tietoja: Data Factory tarjoaa useita tapoja siirtää tietoja lähteestä kohteeseen tai tarjota helpon pääsyn olemassa oleviin tietoihin tarpeidesi mukaan.

  • Kopiointityö – Ensisijainen ratkaisu yksinkertaistettuun tiedonsiirtoon, joka tukee natiivisti useita toimitustyylejä, kuten joukkokopiointia, lisäävää kopiointia ja CDC-replikointia. Se tarjoaa myös joustavuutta käsitellä laajaa valikoimaa skenaarioita monista lähteistä moniin määränpäihin – kaikki intuitiivisen ja helppokäyttöisen kokemuksen kautta.
  • Kopiointitoiminto - Siirtää tietoja paikasta toiseen missä tahansa mittakaavassa laajan mukautuksen, useiden lähteiden ja kohteiden tuen sekä rinnakkaiskopioinnin manuaalisen hallinnan suorituskyvyn parantamiseksi.
  • Peilaus – Luo lähes reaaliaikainen kopio operatiivisesta tietokannastasi OneLakessa Microsoft Fabricissa, jotta analytiikka ja raportointi on helpompaa.

Katso datan siirtopäätösopas , joka auttaa sinua valitsemaan oikean datan siirtomenetelmän omaan tilanteeseesi.

Muunna: Data Factory tarjoaa toimintoja, joiden avulla voit yhdistää sinut mukautettuihin muunnoskomentosarjoihin tai tehokkaaseen tietovoiden suunnitteluohjelmaan.

  • Putkiaktiviteetit – Fabric-muistikirja, HDInsight-toiminto, Spark-työn määritys, tallennettu toimintosarja, SQL-komentosarjat ja paljon muuta. Näiden toimintojen avulla voit suorittaa mukautettua koodia tai komentosarjoja tietojen muuntamiseksi.
  • Dataflow Gen2 – Muunna datasi low-code-käyttöliittymällä, jossa on yli 300 muunnosta. Voit suorittaa liitoksia, koosteita, tietojen puhdistusta, mukautettuja muunnoksia ja paljon muuta.
  • dbt-työ – dbt-työ Microsoft Fabricissa mahdollistaa SQL-pohjaiset tietomuunnokset suoraan Fabricissa. He tarjoavat yksinkertaisen, koodittoman ratkaisun dbt-mallien rakentamiseen, testaamiseen ja käyttöönottoon Fabric-tietovarastosi päälle.

Orkestrointi: Data Factoryn avulla voit luoda putkia, jotka voivat suorittaa useita tietojen siirtoja, muunnoksia ja muita toimintoja yhdessä työnkulussa.

Tekoälypohjainen dataintegraatio

Tekoäly näkyy Data Factoryssa auttamaan sinua saamaan enemmän aikaan vähemmällä vaivalla. Copilot Data Factorylle antaa sinun suunnitella, muokata ja hallita putkia ja datavirtoja luonnollisen kielen avulla. Voit kirjoittaa selkoenglanninkielisiä kehotteita, ja Copilot muuttaa ne toimiviksi ETL-vaiheiksi.

Copilot tekee myös yhteenvedon olemassa olevista tietovuokyselyistäsi ja putkistasi, jotta ymmärrät nopeasti, mitä ne tekevät. Jos kohtaat virheitä, Copilot selittää, mikä meni pieleen ja ehdottaa tapoja korjata se.

Lisätietoja on kohdassa Copilot Fabricissa Data Factory -kuormituksessa.

Mitä tarvitset aloittaaksesi?

Entä jos käytät jo Azure Data Factory?

Microsoft Fabricin Data Factory on Azure Data Factoryn seuraava sukupolvi, joka on suunniteltu käsittelemään monimutkaisimpia tietojen integrointihaasteita yksinkertaisemmalla lähestymistavalla.

Katso vertailuoppaasta näiden kahden palvelun keskeiset erot, jotta voit tehdä oikean valinnan yrityksellesi.

Kun olet valmis siirtymään, seuraa Azure Data Factory- ja Azure Synapse -putkistosi migraatio-ohjetta.

Mikä on Fabric Data Factory Pipeline SLA?

Fabric-putkien SLA vastaa Azure Data Factory:n SLA:ta: "Microsoft takaa, että se käsittelee onnistuneesti pyyntöjä suorittaa toimintoja Data Factoryn resursseihin vähintään 99,9 prosentissa ajasta. Se takaa myös, että kaikki toiminnot käynnistyvät neljän minuutin sisällä suunnitelluista suoritusajoista vähintään 99,9 prosentissa ajasta. Lue koko Data Factoryn palvelutasosopimus (SLA)."

Liittyvä sisältö

Saat lisätietoja ja pääset alkuun Microsoft Fabricin kanssa seuraamalla seuraavia ohjeita:

  • Last updated on