Dataversen integrointi yritystietojen kanssa Microsoft Fabric käyttämällä mitaliarkkitehtuuria

Tämä viitearkkitehtuuri näyttää, miten Voit integroida Dataversen yritystietoihin Microsoft Fabric ja luoda hallitun analytiikkaympäristön käyttämällä medalliomenetelmää. Mitaliarkkitehtuuri järjestää tiedot pronssi-, hopea- ja kultakerroksiksi, jotta tiimit voivat säilyttää raakalähdetiedot, luoda yhteensopivia ja uudelleenkäytettäviä tietojoukkoja sekä julkaista koottuja malleja, jotka on optimoitu analytiikka- ja tekoälykokemuksia varten. Lue lisää medallion-arkkitehtuurin periaatteista kohdasta Mikä on medallion Lakehouse -arkkitehtuuri?

Arkkitehtuurikaavio

Korkealla tasolla arkkitehtuuri erottaa käsittely-, muuntamis-, hallinto- ja kulutusvastuut, jotta jokainen kerros voidaan skaalata itsenäisesti. Peilaat Dataverse-tiedot OneLakeen linkin kautta Fabric, käytät muita kuin Dataverse-lähteitä Fabric jaksojen kautta ja julkaiset valittuja tietotuotteita hallittujen kultakerrosmallien kautta yrityskäyttöön.

Kaaviossa näytetään käyttäjätietojen ja käyttöoikeuksien ohjausobjektit koko arkkitehtuurissa. Tiedot lisätään Dataverse-peilauksen tai ulkoisen käsittelysuhteen kautta ja ne liikkuvat pronssi-, hopea- ja kultakerrosten läpi. Power BI, Copilot, tietoagentit ja toiminnalliset raportoinnin kokemukset kuluttavat tietoja.

Pidä hallintoa ristiinleikkauksena yksittäisen arkkitehtuurikomponentin sijaan. Käyttäjätiedot, roolipohjaisen käytön hallinta (RBAC), historiatiedot, käyttöönottoputket ja sertifioidut semanttiset mallit toimivat yhdessä hallitakseen käyttöä, hallitakseen muutoksia ja säilyttääkseen luottamuksen koko tietojen elinkaaressa.

Workflow

Työnkulku noudattaa tietojen elinkaarta suojatusta käytöstä ja käsittelystä muunnos-, hallittujen mallinnus-, kulutus- ja käyttöönottotoimintojen kautta.

Käyttäjätiedot ja suojaus

Määritä ensin käyttäjätietojen ja käyttöoikeuksien hallinta, jotta jokainen loppuvaiheen Fabric artefakti perii hallitun suojausmallin.

• Käytä kertakirjautumista JumpCloudin kanssa tunnistetietopalveluna, joka on integroitu Microsoft Entra ID:n kanssa Power Platform-, Fabric- ja kulutustyökalujen käyttöä varten.

• Käytä roolipohjaisen käytön hallintaa (RBAC) työtilassa, kohteessa (Lakehouse, Warehouse, Eventhouse, Semanttinen malli), objektissa (taulukko, näkymä, tiedosto) sekä rivi- ja saraketasoissa (RLS, CLS).

• Yhdistä käyttöoikeusryhmät persoonan rooliin: suunnittelu, liiketoimintatietojen (BUSINESS intelligence, BI) kehittäjät, tutkijat, yritysanalyytikot ja sovellusten tekijät.

Käsittely: pronssitaso

Pronssi käyttää kahta käsittelykaistaa: hallittu Dataverse-peilaus linkin kautta Fabric ja putkipohjainen käsittely muille kuin Dataverse-lähteille.

• Yhdistetty Dataverse Lakehouse (Pronssi): Käyttöön otettu ja täysin hallittu Link to Fabricin kautta. Peilaa Dataverse-taulut OneLakeen inkrementaalisilla päivityksillä sekä Parquet- ja Delta-muodoissa toimien Dataverse-toimialueiden auktoritatiivisena, raakana lähdedatana.

• Enterprise tietovarasto (EDW) Lakehouse (pronssi – muut kuin dataverse-lähteet): Käyttää tietoja ulkoisista järjestelmistä, kuten tiedostoista, ohjelmointirajapinnoista ja tulevista lähdesovelluksista. Fabric tietoputket tukevat erän ja ELT:n (poimiminen, lataaminen, muuntaminen) orkestrointia, kun taas Dataflow Gen2 tukee tarvittaessa koodittomana ja vähäistä koodausta.

Muunnos ja vastaavuus: hopeataso

Käytä muunnoslogiikkaa käyttämällä oikeaa Fabric kuormitusta kullekin tehtävälle:

• Orkestrointi-, riippuvuus- ja aikataulutusputket.
• Dataflow Gen2 vähäkoodiseen entiteettien muotoiluun, asetusjoukkojen dekoodaukseen ja kevyeen vaatimustenmukaisuuden varmistamiseen.
• Muistikirjat (Spark/Python) skaalattavia liitoksia, historisointia (SCD) ja edistynyttä tietotekniikkaa varten.

Hopea (yhteensopiva): Normalisoi Dataverse-entiteetit (esimerkiksi Tili, Yhteyshenkilö, Mahdollisuus, Aktiviteetit). Tasoita entiteetit. Muodosta haut. Määritä asetusjoukoille selitteet, jotka voidaan lukea. Yhtenäistä järjestelmien väliset tunnisteet. Standardoi muut kuin Dataverse-lähteet yleisiin dimensioihin ja vaatimustenmukaisuusavaimiin.

Kuratoitu mallinnus: Kultataso

Kulta (tähtirakenne): Kootut fakta- ja dimensiomallit, jotka on kohdistettu liiketoiminnan toimialueisiin (esimerkiksi Myynti, Putki, Asiakas 360, Palvelu). Suorituskykyyn optimoitu suunnittelu sisältää korvaavat avaimet, päivämäärädimensiot, tarvittaessa degeneroituneet dimensiot sekä inkrementaalisia tai osiointistrategioita. Kaavio esittää kultakerroksen lakehousena, koska kustannustehokkuus on ensisijainen suunnittelutavoite. Voit käyttää varastoa myös silloin, kun kuormitus edellyttää vahvempaa suhteellista mallinnusta, SQL-first-kehitystä tai varastokohtaista suorituskyky- ja hallinto-ominaisuutta.

Kun kultadatatuotteet on järjestetty, semanttiset mallit tarjoavat hallitun liiketoimintatason, jota käytetään raportoinnissa, Copilot ja tietoagenteissa.

Semanttiset mallit ja kulutus

• Luo semanttisia malleja kullalla, sertifioi niitä ja hallitse niitä Power BI, Copilot ja tietoagenttien palvelemiseksi.

• Käytä Linked Dataverse Lakehousea toimintaraportointiin mahdollisimman pienellä muotoilulla. Käytä hopeaa tai kultaa yrityksen sisällössä johdonmukaisuuden ja skaalauksen tukemiseksi.

DevOps ja elinkaari

Elinkaaren hallinta rivittää työnkulun, joten artefaktit siirtyvät johdonmukaisesti kehityksestä tuotantoon lähdehallinnan, vahvistuksen ja ympäristökohtaisen kokoonpanon avulla.

• Integroi Git Source Control (Azure DevOps) kehitystyötilaan versiointia ja vertaisarviointia varten.

• Käytä Fabric käyttöönottoputkia automatisoidaksesi ylentämisen kehityksestä testaukseen tuotantoon ympäristökohtaisilla muuttujilla, tietolähdesäännöillä ja vahvistusporteilla.

• Määritä selkeä artefaktin omistajuus: suunnittelu omistaa putket ja muistikirjat, liiketoimintatietojen (BI) tiimi omistaa semanttiset mallit ja tuotteiden omistajat hallitsevat suorituskykyilmaisimia ja määritelmiä.

Tuloksena on hallittu analytiikkajakso, jossa raakalähdetiedot säilytetään, vaatimustenmukaiset tiedot ovat uudelleenkäytettäviä, kuratoituihin malleihin luotetaan ja sertifioidut semanttiset tasot tukevat kulutuskokemuksia.

Skenaarion tiedot

Ensisijainen tavoite: Tarjoaa skaalattavan ja tuettavan analytiikan perustan Dataverse- ja muille kuin Dataverse-lähteille, jotka nopeuttavat Power Platform -skenaarioita ja valmistelevat tietoalueen Copilot ja Enterprise BI:tä varten.

Tärkeimpiä tavoitteita ovat seuraavat:

• Yhdenmukaiset tietotuotteet (tähtirakennekulta), jotka hyödyntävät sertifioituja semanttisia malleja.
• Suora integrointi Power Apps (Dataverse) kanssa linkin Fabric kautta (hallittu peilaus).
• Hallittu kehitys Git-integroinnin ja Fabric käyttöönottoputkien (Dev → Test → Production) avulla.
• Suojattu, roolitietoinen käyttö työtila-, kohde-, objekti- ja rivi/sarake-tasoilla.
• Keskitettyjä tietoja useista järjestelmistä.
• Parannettu tietojen puhtaus, organisaatio ja suojaus.
• Copilot ja analytiikkaskenaarioiden tuki.
• Kustannustietoinen työkalu- ja määritysvalinnat.

Arkkitehtuuri muuntaa nämä tavoitteet hallituksi Fabric-malliksi: Dataverse-tiedot siirtyvät Link to Fabricin kautta, ja ulkoiset lähteet tuodaan Fabric-putkien kautta. Molemmat tietovirrat muotoillaan pronssi-, hopea- ja kultakerroksilla ennen kuin ne paljastetaan sertifioitujen semanttisten mallien kautta Power BI, Copilot, tietoagenteille ja operatiiviselle raportoinnille.

Komponentit

Seuraavat osat muodostavat viitearkkitehtuurin ja tukevat käyttäjätietoja, käsittely, muuntamista, hallintoa, elinkaaren hallintaa ja kulutusta.

Huomioitavia seikkoja

Näillä näkökohdilla toteutetaan Power Platform Well-Architected -pilareita, joka on joukko ohjaavia periaatteita, jotka parantavat työkuorman laatua. Lue lisää artikkelista Microsoft Power Platform Well-Architected.

Luotettavuus

Tämä arkkitehtuuri on suunniteltu tarjoamaan johdonmukaisen ja sitkeän tietotoimituksen kaikissa käsittely-, muuntamis- ja kulutuskerroksissa.

• Managed Link to Fabric mirroring vähentää mukautettua poimintalogiikkaa ja vähentää käsittelyvirheriskiä.

• Medallion-arkkitehtuuri eristää virheet pronssin, hopean ja kullan alueella, joten yhden kerroksen ongelmat eivät häiritse koko analytiikkaputkea.

• Lisäävä käsittely, osioitu ELT ja riippuvuussuhteen huomioon ottavat orkestroinnit vähentävät päivityksen kestoa ja kapasiteetin kiistaa.

• Valvonta, hälytykset ja uudelleenyritysten käsittely auttavat putkien virheiden käsittelyssä aikaisessa vaiheessa ja palautumisessa ilman manuaalista uudelleenkäsittelyä.

Suojaus

Ota suojaus käyttöön ensiluokkaisena huolenaiheena ja käytä sitä johdonmukaisesti kaikissa käyttäjätieto-, tieto- ja analytiikkakerroksissa.

• Käytä kertakirjautumista JumpCloudin kanssa tunnistetietopalveluna, joka on integroitu Microsoft Entra ID kanssa Power Platformin, Fabric ja hyväksyttyjen kulutustyökalujen käyttöä varten.

• Valvo RBAC:ia työtila-, kohde-, objekti- ja semanttisen mallin tasoilla, jotta voidaan tukea vähimmän käyttöoikeuden periaatetta yrityksen käyttäjäroolien mukaisesti.

• Rivi- ja saraketason suojauksen avulla voit suojata luottamuksellisia yritystietoja semanttisissa malleissa ja tukea suojattua uudelleenkäyttöä useissa raporteissa.

• Luottamuksellisuustunnisteiden, tukemisen, tietojen historiatietojen ja kausittaisten käyttöoikeuksien tarkistusten avulla voit ylläpitää luotettua ja yhteensopivaa tietojen käyttöä.

Toiminnallinen erinomaisuus

Voit saavuttaa toiminnallisen huippuosaamisen standardoinnin, automaation ja selkeän omistajuuden analytiikan koko elinkaarelta.

• Git-integroinnin ja Azure DevOps avulla voit ottaa käyttöön versionhallinnan, vertaisarvioinnin ja jäljitettävyyden artefaktien Fabric.

• Käytä Fabric käyttöönottoputkia kampanjan standardointiin kehitys-, testi- ja tuotantojaksoissa, valvo vahvistusportteja ja vähennä manuaalisia käyttöönottovirheitä.

• Määritä selkeä omistajuus koko suunnittelussa, liiketoimintatiedon hallintaan ja liiketoimintarooleihin toiminnallisen vastuullisuuden parantamiseksi.

• Määritä omistajat, korjauspolut, historiatiedot ja suorituskirjat tietojen laadun poikkeuksia varten, jotta voit ratkaista ongelmat, ennen kuin ne vaikuttavat sertifioituihin malleihin.

Suoritustehokkuus

Arkkitehtuuri optimoi suorituskyvyn koko tallennus-, käsittely- ja semanttisissa kerroksissa sekä yritysten liiketoimintatietojen että Copilot skenaarioiden tukemiseksi.

• Delta- ja Parquet-tallennus tukee tehokasta predikaattien vientiä tietolähteelle ja skaalautuvia liitosoperaatioita laajoille analyyttisille työkuormille.

• Kultakerroksen tähtirakenteet käyttävät korvaavia avaimia, vaatimustenmukaisia dimensioita ja lisääviä strategioita kyselyn suorituskyvyn parantamiseksi.

• Sertifioidut semanttiset mallit, joissa on välimuistitallennus ja koosteet, vähentävät kyselyn viivettä ja poistavat toistuvan laskemisen pohjana olevista tietokerroksista.

• Fabric Capacity Metrics -sovellus valvoo tallennuksen ja käsittelyn käyttöä, analysoi skaalauksen tarpeita ja tunnistaa suorituskyvyn pullonkaulat.

Käyttökokemuksen optimointi

Tämä arkkitehtuuri priorisoi tietojen kuluttajien, tekijöiden ja analyytikoiden käytettävyyden, luottamuksen ja tuottavuuden.

• Sertifioidut semanttiset mallit tarjoavat yhtenäisen suorituskykyilmaisimen ja liiketoimintalogiikan pinnan hyväksyttyjä raportteja ja tekoälyavusteisia kokemuksia varten.

• Taitojoukkoon sovitetut muunnoskaistat, kuten tietovuon Gen2 vähän koodaajille ja muistikirjoja insinööreille, auttavat tiimejä työskentelemään tehokkaasti yhdessä ympäristössä.

• Semanttisiin malleihin sidotut liiketoimintasanasto- ja suorituskykyilmaisinmääritykset parantavat tulkittavuutta ja vähentävät yrityskäyttäjien moniselitteisyyttä.

• Linked Dataverse Lakehousen suora raportointi rajoittui toiminnallisiin tilanteisiin, joissa vähäinen muotoilu on hyväksyttävää ja yrityksen semanttista johdonmukaisuutta ei tarvita.

Yhdessä nämä seikat auttavat pitämään arkkitehtuurin luotettavana, turvallisena, ylläpidettävänä, kustannustietoisena ja suorituskykyisenä ja helppo ottaa käyttöön käytön kasvaessa.

Avustajat

Microsoft ylläpitää tätä artikkelia. Seuraavat avustajat kirjoittivat tämän artikkelin.

Pääasialliset tekijät:

• Terra Gilbert, vanhempi tekninen konsultti

Aiheeseen liittyvät resurssit

• Tutustu Fabric medallion Lakehouse -arkkitehtuuriin OneLakella
• Automatisoi Git-integrointi palvelun päänimen kanssa Azure DevOps
• Käyttöönottoputkien esittely