Microsoft Fabric -päätösopas: Tietojen siirtostrategian valitseminen

Microsoft Fabric tarjoaa useita tapoja tuoda dataa alustalle. Tämä opas antaa selkeän suosituksen yleisimmistä skenaarioista ja tarjoaa yksityiskohtaiset ominaisuusvertailut , kun tarvitset syvempää tutkimusta.

Pikasuositus: Mitä datan siirtovaihtoehtoa minun pitäisi käyttää?

Käytä medaljonkiarkkitehtuuria ohjenuorana:

• Kultadata (käsittelydatan raportointi ja analytiikka) – Käytä peilausta. Jos sinulla on jo ETL-käsittelyä muualla ja tarvitset pääasiassa kuratoitua dataa Fabriciin raportointia varten, peilaus on yksinkertaisin ja kustannustehokkain valinta. Se on ilmainen, vaatii vain vähän asetuksia ja kopioi datasi jatkuvasti OneLakeen.

• Pronssidata (raaka vastaanotto) – Aloita Kopioi-työstä. Kun vastaanotat raakadataa, tarvitset nopeasti muunnokset, skeemakartoituksen, ajoituksen hallinnan ja asteittaisen latauksen. Kopiointityö antaa nämä ominaisuudet natiivisti ilman putkien rakentamisen monimutkaisuutta.

• Reaaliaikainen suoratoistodata – Käytä tapahtumavirtoja. Pienen viiveen, tapahtumalähtöisen vastaanoton ja käsittelyn osalta Eventstreams tarjoaa reaaliaikaisia putkistoja, joissa on koodittomia muunnoksia ja reititystä useisiin kohteisiin.

• Monimutkainen orkestrointi – Putket antavat tarvitsemasi orkestroinnin joustavuuden, ja putkistoissa kopiointitoiminnot tarjoavat datan objektien parametrisoinnin sekä metatietopohjaisen datan vastaanoton. Muuten kopioimistyön ja kopiointitoiminnan toiminta ovat tasa-arvoisia putkessa.

Täydellisen rinnakkaisen erittelyn ominaisuuksista ja tuetuista ominaisuuksista löydät yksityiskohtaisesta ominaisuusvertailusta.

Keskeiset käsitteet

• Peilaus tarjoaa yksinkertaisen ja maksuttoman tavan peilata operatiiviset tiedot Fabriciin analytiikkaa varten. Se on optimoitu helppokäyttöiseksi minimaalisella asennuksella, ja se kirjoittaa yhteen vain luku -kohteeseen OneLakessa.

• Pipelinesin kopiointitoiminnot on luotu käyttäjille, jotka tarvitsevat organisoituja, putkipohjaisia tietojen käsittelytyönkulkuja. Voit mukauttaa sitä laajasti ja lisätä muunnoslogiikkaa, mutta sinun on määritettävä ja hallittava putken osia itse, mukaan lukien viimeisen suorituksen tilan seuranta lisäävää kopiota varten.

• Kopiointityö helpottaa tietojen käsittelyä useiden toimitustyylien alkuperäisellä tuella, mukaan lukien joukkokopiointi, lisäävä kopiointi ja CDC-replikointi, eikä sinun tarvitse rakentaa putkia, mutta voit silti käyttää monia lisäasetuksia. Se tukee monia lähteitä ja kohteita, ja se toimii hyvin, kun haluat enemmän hallintaa kuin peilaus, mutta vähemmän monimutkaista kuin putkien hallinta kopiointitoiminnolla.

• Tapahtumavirrat: Suunniteltu suoratoistettavien tietojen reaaliaikaiseen käsittelyyn, muuntamiseen ja käsittelyyn. Tukee pienen viiveen putkia, rakenteen hallintaa ja reititystä kohteisiin, kuten Eventhouse, Lakehouse, Activator ja mukautetut päätepisteet, jotka tukevat (AMQP-, Kafka- ja HTTP-päätepisteet).

Yksityiskohtainen ominaisuuksien vertailu

Seuraavat taulukot vertaavat kunkin datan siirtovaihtoehdon kaikkia ominaisuuksia. Käytä tätä osiota, kun sinun täytyy arvioida skenaariosi erityispiirteitä.

Skenaariot

Tutustu näihin skenaarioihin, jotta voit valita, mikä tietojen siirtostrategia sopii parhaiten tarpeisiisi.

Tilanne 1

James on talouspäällikkö vakuutusyhtiössä. Hänen tiiminsä käyttää Azure SQL Databasea käytäntötietojen, vaatimusten ja asiakastietojen seuraamiseen useissa liiketoimintayksiköissä. Johtoryhmä haluaa luoda reaaliaikaisia kojetauluja liiketoiminnan suorituskyvyn seurantaan, mutta James ei voi antaa analytiikkakyselyjen hidastaa käyttöjärjestelmiä, jotka käsittelevät tuhansia päivittäisiä tapahtumia.

Jamesilla on jo ETL-prosessointi käytössä, ja hänen tiiminsä tarvitsee Fabricissa saatavilla olevat käsitellyt, kultatasoiset tiedot johtajien raportointia varten. Hän ei halua hallita aikataulutusta, määrittää lisäkuormia tai huolehtia taulukon valinnasta – hän tarvitsee kaiken peilattavaksi automaattisesti. Koska tämä koskee vain raportointia, datan pitäminen vain luku -muodossa OneLakessa toimii täydellisesti. Ratkaisun on myös oltava kustannustehokas, koska se tulee hänen osastonsa budjetista.

James valitsee peilauksen. Peilaus tarjoaa hänen tarvitsemansa CDC-pohjaisen jatkuvan replikoinnin ja käsittelee automaattisesti kaikki taulukot ilman konfiguraatiota. Yksinkertainen asennus tarkoittaa, että hän ei tarvitse teknistä asiantuntemusta, ja ilmainen hinta sopii hänen budjettiinsa. OneLaken vain luku -taulukkomuoto antaa hänen tiimilleen tarvittavan analytiikkapääsyn vaikuttamatta operatiiviseen suorituskykyyn.

Tilanne 2

Lisa on liiketoiminta-analyytikko logistiikkayrityksessä. Hänen täytyy syöttää raakalähetystiedot useista Snowflake-tietokannoista Fabric Lakehouse -taulukoihin toimitusketjun analysointia varten. Tiedot sisältävät sekä alkuperäisen kuorman historialliset tiedot että päivän aikana saapuvat uudet lähetykset. Lisa haluaa suorittaa tämän prosessin mukautetun aikataulun mukaan - 4 tunnin välein työaikana.

Koska Lisa tuo pronssitason raakadataa, hän tietää tarvitsevansa nopeasti muunnokset, skeemakartoitukset ja aikataulutuksen hallinnan. Hänen täytyy valita tietyt taulukot jokaisesta Snowflake-instanssista, kartoittaa sarakkeet standardoituihin nimiin ja käyttää Upsert-käyttäytymistä käsittelemään päivityksiä olemassa oleviin lähetystietueisiin. Hän haluaa myös edistynyttä seurantaa datan laadun ja käsittelysuorituskyvyn seuraamiseksi.

Lisa valitsee Kopioi-työn. Copy Job tarjoaa tarvitsemansa räätälöidyn aikataulutuksen, tukee kaikkia tietolähteitä, mukaan lukien Snowflake, ja tarjoaa taulukoiden ja sarakkeiden hallintaominaisuudet monialueiseen asetukseensa. Natiivi tuki inkrementaalille kopioinnille, vesileimapohjaisella tunnistuksella ja yläsert-käyttäytymisellä, mahdollistaa näiden vaatimusten hoitamisen ilman putkien rakentamista.

Skenaario 3

David on vanhempi datainsinööri televiestintäyrityksessä. Hän rakentaa monimutkaista tietojen käsittelytyönkulkua, jonka on poimittava asiakkaiden käyttötiedot Oraclesta mukautettujen SQL-kyselyiden avulla, otettava käyttöön liiketoiminnan muunnoksia ja ladattava ne useisiin kohteisiin, mukaan lukien sekä Fabric Warehouse että ulkoiset järjestelmät. Työnkulun on myös koordinoitava muiden putkitoimintojen, kuten tietojen validointi- ja ilmoitusvaiheiden, kanssa.

David tarvitsee kopiointiprosessin täyden hallinnan, mukaan lukien mahdollisuuden käyttää käyttäjän määrittämiä kyselyitä taulukoiden liittämiseen ja tietojen suodattamiseen lähteessä. Hän tarvitsee edistyneitä ja täysin muokattavissa olevia konfigurointivaihtoehtoja, ennustettavaa suorituskykyä suurille tietomäärille ja kykyä integroida kopiointiprosessi laajempiin putkilinjan orkestrointityönkulkuihin, joissa on riippuvuuksia ja virheiden käsittelyä.

David tarkistaa käytettävissä olevat vaihtoehdot ja valitsee Kopioi aktiviteetit putkistoissa. Tämä lähestymistapa antaa hänelle tarvitsemansa edistyneen ja täysin mukautettavan kokoonpanon, tukee käyttäjän määrittämiä kyselyitä monimutkaista tietojen poimintaa varten ja tarjoaa hänen työnkulkunsa edellyttämän putkipohjaisen orkestroinnin. Edistyneet valvonta- ja auditointiominaisuudet auttavat häntä seuraamaan monimutkaista prosessia, kun taas putkikehyksen avulla hän voi koordinoida kopiointitoimintoja muiden tietojenkäsittelyvaiheiden kanssa.

Skenaario 4

Ash on tuotepäällikkö teleyrityksessä. Hänen tiiminsä on seurattava asiakastuen mittareita, kuten puhelumääriä, odotusaikoja ja agenttien suorituskykyä, reaaliajassa varmistaakseen SLA-vaatimustenmukaisuuden ja parantaakseen asiakastyytyväisyyttä. Tiedot tulevat useista käyttöjärjestelmistä, mukaan lukien CRM-alustat, puhelinkeskuslokit ja agenttien määritystietokannat, ja niitä saapuu usein koko päivän ajan.

Ash käyttää Fabric Eventstreamsia näiden liikkeessä olevien tietojen käsittelyyn ja muuntamiseen. Hän määrittää suoratoistoyhdistimet hakemaan tietoja eri lähteistä, ottaa käyttöön muunnoksia koodittoman kokemuksen avulla ja reitittää käsitellyt tapahtumat Eventhouseen reaaliaikaista analytiikkaa varten. Hän integroi Data Activatorin käynnistääkseen hälytyksiä ja automatisoituja työnkulkuja, kun SLA-kynnysarvoja ylitetään, jotta hän voi lähettää ilmoituksia esimiehille tai säätää henkilöstömäärää dynaamisesti.

Tuloksena on reaaliaikainen hallintapaneeli, joka päivittyy sekunneissa, antaen Ashin tiimille näkyvyyden reaaliaikaisiin suorituskykymittareihin ja mahdollistaen nopeat, dataan perustuvat päätökset. Tämä suoratoistoarkkitehtuuri eliminoi eräputkien viiveen ja antaa yritykselle mahdollisuuden vastata välittömästi asiakkaiden tarpeisiin.

Aloittaminen

Nyt kun sinulla on käsitys siitä, mitä tietojen siirtostrategiaa kannattaa käyttää, voit aloittaa näiden resurssien käytön:

• Peilauksen käytön aloittaminen
• Tapahtumavirtojen käytön aloittaminen
• Luo kopiointityö
• Luo kopiointiaktiviteetti