Integreer Dataverse met bedrijfsgegevens in Microsoft Fabric met een medaillonarchitectuur

In deze referentiearchitectuur wordt getoond hoe u Dataverse kunt integreren met bedrijfsdata in Microsoft Fabric om met behulp van een medallionbenadering een analyseplatform met governance te bouwen. Een medallion-architectuur organiseert gegevens in brons-, zilver- en goudlagen, zodat teams onbewerkte brongegevens kunnen behouden, gestandaardiseerde en herbruikbare datasets kunnen maken en samengestelde modellen kunnen publiceren die zijn geoptimaliseerd voor analyses en AI-toepassingen. Meer informatie over de beginselen van een medallion-architectuur in Wat is de medallion-lakehouse-architectuur?

Architectuurschema

Op hoog niveau scheidt de architectuur opname-, transformatie-, governance- en verbruiksverantwoordelijkheden, zodat elke laag onafhankelijk kan worden geschaald. U spiegelt Dataverse-gegevens in OneLake via Link to Fabric, laadt niet-Dataverse-bronnen in via Fabric-pijplijnen en publiceert gecureerde gegevensproducten via beheerde modellen in de gold-laag voor gebruik binnen de onderneming.

In het diagram ziet u identiteits- en toegangsbeheer in de architectuur. Gegevens komen binnen via Dataverse-spiegeling of externe gegevensinname en bewegen zich door de brons-, zilver- en goudlagen. Power BI, Copilot, gegevensagenten en operationele rapportage-ervaringen verbruiken de gegevens.

Beschouw governance als een overkoepelend aandachtspunt in plaats van als één enkel architectuuronderdeel. Identiteit, op rollen gebaseerd toegangsbeheer (RBAC), herkomst, implementatiepijplijnen en gecertificeerde semantische modellen werken samen om de toegang te beheren, wijzigingen te beheren en vertrouwen te behouden gedurende de levenscyclus van de gegevens.

Workflow

De werkstroom volgt de levenscyclus van gegevens van beveiligde toegang en opname via transformatie, beheerde modellering, verbruik en implementatiebewerkingen.

Identiteit en beveiliging

Stel eerst identiteits- en toegangsbeheer in, zodat elk downstream-Fabric-artefact een beheerd beveiligingsmodel over neemt.

• Gebruik eenmalige aanmelding met JumpCloud als de identiteitsprovider die is geïntegreerd met Microsoft Entra ID voor toegang tot Power Platform, Fabric en verbruikshulpprogramma's.

• Pas op rollen gebaseerd toegangsbeheer (RBAC) toe op de werkruimte, het item (Lakehouse, Warehouse, Eventhouse, Semantic Model), het object (tabel, weergave, bestand) en rij- en kolomniveaus (RLS, CLS).

• Stem beveiligingsgroepen af op persona's: engineers, business intelligence (BI)-ontwikkelaars, datawetenschappers, bedrijfsanalisten en appontwikkelaars.

Opname: niveau Brons

Brons maakt gebruik van twee opnamebanen: beheerde Dataverse-spiegeling via Koppeling naar Fabric en pijplijngestuurde opname voor niet-Dataverse-bronnen.

• Gekoppelde Dataverse Lakehouse (Bronze): Ingericht en volledig beheerd via Link to Fabric. Spiegelt Dataverse-tabellen in OneLake met incrementele updates en Parquet-/Delta-indelingen, en dient als de gezaghebbende, onbewerkte registratiesysteeminvoer voor Dataverse-domeinen.

• Enterprise Data Warehouse (EDW) Lakehouse (Brons - Niet-Dataverse-bronnen): neemt gegevens op uit externe systemen, zoals bestanden, API's en toekomstige brontoepassingen. Fabric-gegevenspijplijnen ondersteunen batch- en ELT-orkestratie (extraheren, laden, transformeren), terwijl Dataflow Gen2 waar passend no-code- en low-code-gegevensopname ondersteunt.

Transformatie en conformiteit: Zilverniveau

Transformatielogica toepassen met behulp van de juiste Fabric workload voor elke taak:

• Pijplijnen voor indeling, afhankelijkheden en planning.
• Dataflow Gen2 voor low-code entiteitsmodellering, het decoderen van optiesets en lichte conformiteitscontroles.
• Notebooks (Spark/Python) voor schaalbare joins, historisatie (SCD) en geavanceerde data engineering.

Zilver (geconformeerd): Dataverse-entiteiten normaliseren (bijvoorbeeld Account, Contactpersoon, Verkoopkans, Activiteiten). Maak entiteiten plat. Zoekacties materialiseren. Wijs optiesets toe aan leesbare labels. Lijn systeemoverschrijdende identificatoren uit. Standaardiseer niet-Dataverse-bronnen voor algemene dimensies en conforme sleutels.

Gecureerde modellering: Goudniveau

Goud (stervormig schema): Gecureerde feiten- en dimensiemodellen die zijn afgestemd op bedrijfsdomeinen (bijvoorbeeld Verkoop, Pijplijn, Klant 360, Service). Op prestaties gericht ontwerp omvat surrogaatsleutels, datumdimensies, gedegenereerde dimensies waar nodig en incrementele of partitioneringsstrategieën. Het diagram toont de gouden laag als lakehouse omdat kostenefficiëntie een primair ontwerpdoel is. U kunt ook een magazijn gebruiken wanneer de workload sterkere relationele modellering, SQL-first-ontwikkeling of magazijnspecifieke prestatie- en governancefuncties vereist.

Nadat u gouden gegevensproducten hebt gecureerd, bieden semantische modellen de beheerde bedrijfslaag die wordt gebruikt door rapportage, Copilot en gegevensagents.

Semantische modellen en verbruik

• Bouw semantische modellen op goud, certificeer ze en beheer ze voor Power BI, Copilot ervaringen en gegevensagenten.

• Gebruik de gekoppelde Dataverse Lakehouse voor operationele rapportage met minimale vormgeving. Gebruik zilver of goud voor bedrijfsinhoud ter ondersteuning van consistentie en schaal.

DevOps en levenscyclus

Levenscyclusbeheer verpakt de werkstroom zodat artefacten consistent van ontwikkeling naar productie gaan met broncodebeheer, validatie en omgevingsspecifieke configuratie.

• Integreer Git Source Control (Azure DevOps) met de ontwikkelwerkruimte voor versiebeheer en peerbeoordeling.

• Gebruik Fabric implementatiepijplijnen om promotie van ontwikkeling tot productie te automatiseren met omgevingsspecifieke variabelen, regels voor gegevensbronnen en validatiepoorten.

• Wijs duidelijk eigendom van artefacten toe: engineering is eigenaar van pijplijnen en notebooks, het BI-team (Business Intelligence) is eigenaar van semantische modellen en producteigenaren beheren KPI's (Key Performance Indicators) en definities.

Het resultaat is een beheerde analysepijplijn waarbij onbewerkte brongegevens behouden blijven, conforme gegevens herbruikbaar zijn, gecureerde modellen worden vertrouwd en verbruikservaringen worden ondersteund door gecertificeerde semantische lagen.

Details van het scenario

Primair doel: Een schaalbare, ondersteunde analysebasis bieden voor Dataverse- en niet-Dataverse-bronnen waarmee Power Platform-scenario's worden versneld en de gegevensoppervlak voor Copilot en Enterprise BI worden voorbereid.

Belangrijke doelstellingen zijn:

• Consistente gegevensproducten in de (gouden sterschema) die gecertificeerde semantische modellen ondersteunen.
• Directe integratie met Power Apps (Dataverse) via Koppeling naar Fabric (beheerde spiegeling).
• Beheerde ontwikkeling met Git-integratie en Fabric implementatiepijplijnen (Dev → Test → Production).
• Veilige, rolbewuste toegang op werkruimte-, item-, object- en rij-/kolomniveaus.
• Gecentraliseerde gegevens van meerdere systemen.
• Verbeterde gegevensschoonheid, organisatie en beveiliging.
• Ondersteuning voor Copilot- en analysescenario's.
• Kostenbewuste hulpprogramma's en configuratiekeuzes.

De architectuur vertaalt deze doelen in een beheerd Fabric patroon: Dataverse-gegevens worden ingevoerd via Koppeling naar Fabric en externe bronnen worden opgenomen via Fabric pijplijnen. Beide stromen worden gevormd door brons-, zilver- en gouden lagen voordat ze worden blootgesteld via gecertificeerde semantische modellen voor Power BI, Copilot, gegevensagenten en operationele rapportage.

Onderdeel

De volgende onderdelen vormen de referentiearchitectuur en ondersteunen identiteit, opname, transformatie, governance, levenscyclusbeheer en verbruik.

Considerations

Deze overwegingen implementeren de pijlers van Power Platform Well-Architected, een set richtlijnen die de kwaliteit van een workload verbeteren. Meer informatie vindt u in Microsoft Power Platform Well-Architected.

Reliability

Deze architectuur is ontworpen om consistente, tolerante gegevenslevering te bieden voor opname-, transformatie- en verbruikslagen.

• Beheerde koppeling naar Fabric-mirroring vermindert aangepaste extractielogica en verlaagt het risico op mislukte gegevensinname.

• De medallion-architectuur isoleert fouten tussen de bronzen, zilveren en gouden lagen, zodat problemen in één laag de volledige analytics-pijplijn niet ontregelen.

• Incrementele verwerking, gepartitioneerde ELT en afhankelijkheidsbewuste orkestratie verminderen de verversingsduur en capaciteitsconflicten.

• Monitoring, waarschuwingen en retry-afhandeling helpen ervoor te zorgen dat pijplijnfouten vroegtijdig aan het licht komen en zonder handmatig herstelwerk kunnen worden verholpen.

Security

Implementeer beveiliging als een eersteklas probleem en pas deze consistent toe op identiteits-, gegevens- en analyselagen.

• Gebruik single sign-on met JumpCloud als identiteitsprovider, geïntegreerd met Microsoft Entra ID, voor toegang tot Power Platform, Fabric en goedgekeurde gebruikshulpprogramma’s.

• Dwing RBAC af op het niveau van werkruimten, items, objecten en semantische modellen om toegang volgens het principe van minimale bevoegdheden te ondersteunen, afgestemd op bedrijfspersona's.

• Gebruik beveiliging op rij- en kolomniveau om gevoelige bedrijfsgegevens in semantische modellen te beveiligen en veilig hergebruik in meerdere rapporten te ondersteunen.

• Gebruik vertrouwelijkheidslabels, goedkeuring, herkomst en periodieke toegangsbeoordelingen om vertrouwde en compatibele gegevenstoegang te behouden.

Operationele uitmuntendheid

Operationele uitmuntendheid bereiken door middel van standaardisatie, automatisering en duidelijk eigendom in de levenscyclus van de analyse.

• Gebruik Git-integratie met Azure DevOps om versiebeheer, peerbeoordeling en tracering mogelijk te maken voor Fabric artefacten.

• Gebruik Fabric implementatiepijplijnen om promotie in Dev, Test en Production te standaardiseren, validatiepoorten af te dwingen en handmatige implementatiefouten te verminderen.

• Wijs duidelijk eigendom toe voor engineering, business intelligence en bedrijfsrollen om de operationele verantwoordelijkheid te verbeteren.

• Definieer eigenaren, herstelpaden, herkomst en runbooks voor uitzonderingen voor gegevenskwaliteit, zodat u problemen oplost voordat ze van invloed zijn op gecertificeerde modellen.

Prestatie-efficiëntie

De architectuur optimaliseert de prestaties in opslag-, reken- en semantische lagen om zowel bedrijfs-BI- als Copilot-scenario's te ondersteunen.

• Delta- en Parquet-opslag ondersteunen efficiënte predicaatdoorvoer en schaalbare joins voor grote analytische workloads.

• Sterschema's met gouden lagen maken gebruik van surrogaatsleutels, conforme dimensies en incrementele strategieën om de queryprestaties te verbeteren.

• Gecertificeerde semantische modellen met caching en aggregaties verminderen de latentie van query's en offloaden herhaalde berekeningen uit onderliggende gegevenslagen.

• De app Fabric Capacity Metrics bewaakt het opslag- en rekengebruik, analyseert de schaalbehoeften en identificeert prestatieknelpunten.

Optimalisatie van ervaring

Deze architectuur geeft prioriteit aan bruikbaarheid, vertrouwen en productiviteit voor gegevensgebruikers, makers en analisten.

• Gecertificeerde semantische modellen bieden een consistent KPI- en bedrijfslogicaoppervlak voor goedgekeurde rapportage en ai-ondersteunde ervaringen.

• Transformatieroutes die zijn afgestemd op vaardighedensets, zoals Dataflow Gen2 voor makers met weinig code en notebooks voor technici, helpen teams efficiënt te werken binnen één platform.

• Zakelijke woordenlijst en KPI-definities die zijn gekoppeld aan semantische modellen verbeteren de interpreteerbaarheid en verminderen dubbelzinnigheid voor zakelijke gebruikers.

• Directe rapportage vanuit de gekoppelde Dataverse Lakehouse is beperkt tot operationele scenario's waarbij minimale gegevensbewerking acceptabel is en enterprisebrede semantische consistentie niet is vereist.

Samen zorgen deze overwegingen ervoor dat de architectuur betrouwbaar, veilig, goed te onderhouden, kostenbewust, goed presterend en eenvoudig toe te passen blijft naarmate het gebruik toeneemt.

Contributors

Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteurs:

• Terra Gilbert, senior technisch adviseur

Gerelateerde bronnen

• Inzicht in de medallion-lakehouse-architectuur voor Fabric met OneLake
• Git-integratie automatiseren met een service-principal in Azure DevOps
• Inleiding tot implementatiepijplijnen