Intégrer Dataverse aux données d’entreprise dans Microsoft Fabric à l’aide d’une architecture de médaillon

Cette architecture de référence montre comment intégrer Dataverse aux données d’entreprise dans Microsoft Fabric pour créer une plateforme d’analytique régie à l’aide d’une approche de médaillon. Une architecture de médaillon organise les données en couches bronze, argent et or afin que les équipes puissent conserver les données sources brutes, créer des jeux de données conformes et réutilisables et publier des modèles organisés optimisés pour les expériences d’analytique et d’IA. Pour en savoir plus sur les principes d’une architecture en médaillon, consultez Qu’est-ce que l’architecture Lakehouse en médaillon ?

Diagramme d’architecture

À un niveau élevé, l’architecture sépare l’ingestion, la transformation, la gouvernance et les responsabilités de consommation afin que chaque couche puisse être mise à l’échelle indépendamment. Vous mettez en miroir des données Dataverse dans OneLake via Link to Fabric, ingérez des sources autres que Dataverse via des pipelines Fabric et publiez des produits de données sélectionnés via des modèles gouvernés de couche Gold destinés à une consommation à l’échelle de l’entreprise.

Le diagramme montre les contrôles d’identité et d’accès dans l’architecture. Les données sont introduites via la mise en miroir de Dataverse ou l’ingestion externe, puis transitent par les couches bronze, argent et or. Power BI, Copilot, les agents de données et les expériences de création de rapports opérationnels consomment les données.

Traitez la gouvernance comme une préoccupation croisée plutôt qu’un seul composant d’architecture. L’identité, le contrôle d’accès en fonction du rôle (RBAC), la traçabilité, les pipelines de déploiement et les modèles sémantiques certifiés fonctionnent ensemble pour contrôler l’accès, gérer les modifications et préserver l’approbation dans le cycle de vie des données.

Workflow

Le flux de travail suit le cycle de vie des données à partir de l’accès sécurisé et de l’ingestion par le biais des opérations de transformation, de modélisation régie, de consommation et de déploiement.

Identité et sécurité

Configurez d’abord les contrôles d’identité et d’accès afin que chaque artefact Fabric en aval hérite d’un modèle de sécurité régi.

• Utilisez l’authentification unique avec JumpCloud comme fournisseur d’identité intégré à Microsoft Entra ID pour accéder à Power Platform, Fabric et aux outils de consommation.

• Appliquez le contrôle d’accès en fonction du rôle (RBAC) à l’espace de travail, à l’élément (Lakehouse, Warehouse, Eventhouse, Modèle sémantique), à l’objet (table, vue, fichier) et aux niveaux de ligne et de colonne (RLS, CLS).

• Aligner les groupes de sécurité sur des personnages : ingénierie, développeurs décisionnels (BI), scientifiques des données, analystes métier et créateurs d’applications.

Ingestion : niveau bronze

Bronze utilise deux voies d’ingestion : la mise en miroir gérée de Dataverse via Link to Fabric et l’ingestion pilotée par des pipelines pour les sources autres que Dataverse.

• Linked Dataverse Lakehouse (Bronze): Approvisionné et entièrement géré via Link to Fabric. Réplique les tables Dataverse dans OneLake avec des mises à jour incrémentielles et aux formats Parquet et Delta, constituant la source de données brute de référence faisant autorité pour les domaines Dataverse.

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze – sources hors Dataverse): Ingère des données provenant de systèmes externes tels que des fichiers, des API et de futures applications sources. Les pipelines de données Fabric prennent en charge l’orchestration par lots et des processus ELT (extraction, chargement et transformation), tandis que Dataflow Gen2 prend en charge l’ingestion sans code et à faible code lorsque cela est approprié.

Transformation et conformité : niveau Silver

Appliquez la logique de transformation à l’aide de la charge de travail Fabric appropriée pour chaque tâche :

• Pipelines destinés à l’orchestration, à la gestion des dépendances et à la planification.
• Dataflow Gen2 pour la mise en forme d’entité à faible code, le décodage des options et la conformité légère.
• Notebooks (Spark/Python) pour effectuer des jointures à grande échelle, gérer l’historisation (SCD) et réaliser des traitements avancés d’engineering données.

Silver (conforme) : Normalisez les entités Dataverse (par exemple, Compte, Contact, Opportunité, Activités). Aplatir les entités. Matérialisez les recherches. Associer les groupes d’options à des libellés explicites. Aligner les identificateurs inter-système. Standardiser les sources hors Dataverse selon des dimensions communes et des clés de correspondance.

Modélisation organisée : niveau Gold

Gold (schéma en étoile) : Modèles de faits et de dimension organisés alignés sur les domaines métier (par exemple, Sales, Pipeline, Customer 360, Service). La conception orientée performances comprend l’utilisation de clés de substitution, de dimensions de dates, de dimensions dégénérées lorsque nécessaire, ainsi que de stratégies d’actualisation incrémentielle ou de partitionnement. Le schéma montre la couche Gold sous la forme d’un lakehouse, car la maîtrise des coûts est un objectif majeur de la conception. Vous pouvez également utiliser un entrepôt lorsque la charge de travail nécessite une modélisation relationnelle plus forte, un développement SQL first ou des fonctionnalités de gouvernance spécifiques à l’entrepôt.

Une fois les produits de données Gold organisés, les modèles sémantiques constituent la couche métier gouvernée utilisée par les rapports, Copilot et les assistants de données.

Modèles sémantiques et consommation

• Créez des modèles sémantiques sur l’or, les certifier et les régir pour servir des Power BI, des expériences Copilot et des agents de données.

• Utilisez Linked Dataverse Lakehouse pour créer des rapports opérationnels avec une mise en forme minimale. Utilisez l’argent ou l’or pour le contenu d’entreprise pour prendre en charge la cohérence et la mise à l’échelle.

DevOps et cycle de vie

La gestion du cycle de vie encapsule le flux de travail afin que les artefacts passent de manière cohérente du développement à la production avec le contrôle de code source, la validation et la configuration propre à l’environnement.

• Intégrez Le contrôle de code source Git (Azure DevOps) à l’espace de travail de développement pour le contrôle de version et la révision des pairs.

• Utilisez les pipelines de déploiement Fabric pour automatiser le passage du développement au test puis à la production, avec des variables spécifiques à l’environnement, des règles relatives aux sources de données et des contrôles de validation.

• Attribuez une responsabilité claire pour chaque artefact : l’ingénierie est responsable des pipelines et des notebooks, l’équipe de business intelligence (BI) est responsable des modèles sémantiques, et les responsables produit gèrent les indicateurs clés de performance (KPI) et les définitions.

Le résultat est un pipeline d’analytique régie où les données sources brutes sont conservées, les données conformes sont réutilisables, les modèles organisés sont approuvés et les expériences de consommation sont prises en charge par des couches sémantiques certifiées.

Détails du scénario

Objectif principal : Fournir une base d’analytique évolutive et prise en charge pour les sources Dataverse et non Dataverse qui accélère les scénarios Power Platform et prépare la surface de données pour Copilot et Enterprise BI.

Les objectifs clés sont les suivants :

• Des produits de données cohérents (couche Gold en schéma en étoile) qui alimentent des modèles sémantiques certifiés.
• Intégration directe avec Power Apps (Dataverse) via Link to Fabric (mise en miroir managée).
• Développement gouverné avec intégration à Git et pipelines de déploiement de Fabric (Dev → Test → Production).
• Accès sécurisé et prenant en compte les rôles au niveau de l’espace de travail, de l’élément, de l’objet et des lignes/colonnes.
• Données centralisées de plusieurs systèmes.
• Amélioration de la propreté des données, de l’organisation et de la sécurité.
• Prise en charge des scénarios liés à Copilot et d’analyse.
• Choix d’outils et de configuration économiques.

L’architecture traduit ces objectifs en un modèle de Fabric régi : les données Dataverse entrent via Link vers Fabric et les sources externes sont ingérées via des pipelines Fabric. Les deux flux sont mis en forme par des couches bronze, argent et or avant d’être exposés via des modèles sémantiques certifiés pour Power BI, Copilot, agents de données et rapports opérationnels.

Components

Les composants suivants composent l’architecture de référence et prennent en charge l’identité, l’ingestion, la transformation, la gouvernance, la gestion du cycle de vie et la consommation.

Considerations

Ces considérations mettent en œuvre les piliers de Power Platform Well-Architected, un ensemble de principes directeurs qui améliorent la qualité d’une charge de travail. En savoir plus dans Microsoft Power Platform Well-Architected.

Reliability

Cette architecture est conçue pour fournir une distribution de données cohérente et résiliente entre les couches d’ingestion, de transformation et de consommation.

• Le lien géré vers la mise en miroir Fabric réduit le recours à une logique d’extraction personnalisée et diminue le risque d’échec de l’ingestion.

• L’architecture en médaillon isole les défaillances entre les niveaux bronze, argent et or, de sorte que les problèmes survenant dans une couche ne perturbent pas l’ensemble du pipeline analytique.

• Le traitement incrémentiel, l’ELT partitionné et l’orchestration tenant compte des dépendances réduisent la durée de rafraîchissement et la saturation des capacités.

• La surveillance, les alertes et la gestion des nouvelles tentatives aident les défaillances du pipeline à apparaître tôt et à récupérer sans remaniement manuel.

Sécurité

Implémentez la sécurité en tant que préoccupation de première classe et appliquez-la de manière cohérente entre les couches d’identité, de données et d’analytique.

• Utilisez l’authentification unique avec JumpCloud comme fournisseur d’identité intégré à Microsoft Entra ID pour accéder à Power Platform, Fabric et aux outils de consommation approuvés.

• Appliquez le contrôle d’accès basé sur les rôles (RBAC) au niveau de l’espace de travail, de l’élément, de l’objet et du modèle sémantique afin de garantir un accès selon le principe du moindre privilège, aligné sur les profils d’entreprise.

• Utilisez la sécurité au niveau des lignes et des colonnes pour protéger les données métier sensibles dans des modèles sémantiques et prendre en charge la réutilisation sécurisée dans plusieurs rapports.

• Utilisez des étiquettes de confidentialité, une approbation, une traçabilité et des révisions d’accès périodiques pour aider à maintenir l’accès aux données approuvées et conformes.

Excellence opérationnelle

Atteindre l’excellence opérationnelle grâce à la normalisation, à l’automatisation et à la propriété claire dans le cycle de vie d’analytique.

• Utilisez l’intégration de Git avec Azure DevOps pour activer le contrôle de version, la révision d’homologue et la traçabilité des artefacts Fabric.

• Utilisez les pipelines de déploiement Fabric pour standardiser la promotion entre les environnements Dev, Test et Production, imposer des étapes de validation et réduire les erreurs liées aux déploiements manuels.

• Attribuez des responsabilités clairement définies au sein des fonctions d’ingénierie, d’informatique décisionnelle et métier afin de renforcer la responsabilité opérationnelle.

• Définissez les propriétaires, les chemins de correction, la traçabilité et les runbooks pour les exceptions de qualité des données afin de résoudre les problèmes avant qu’ils n’affectent les modèles certifiés.

Efficacité des performances

L’architecture optimise les performances entre le stockage, le calcul et les couches sémantiques pour prendre en charge les scénarios décisionnels d’entreprise et de Copilot.

• Le stockage au format Delta et Parquet prend en charge le filtrage par prédicat ainsi que les jointures à grande échelle pour les charges de travail analytiques volumineuses.

• Les schémas en étoile de la couche Gold utilisent des clés de substitution, des dimensions conformes et des stratégies incrémentielles afin d’améliorer les performances des requêtes.

• Les modèles sémantiques certifiés avec mise en cache et agrégations réduisent la latence des requêtes et déchargent le calcul répété à partir de couches de données sous-jacentes.

• L’application Fabric Capacity Metrics surveille l’utilisation du stockage et du calcul, analyse les besoins de mise à l’échelle et identifie les goulots d’étranglement des performances.

Optimisation de l’expérience

Cette architecture hiérarchise la facilité d’utilisation, la confiance et la productivité pour les consommateurs de données, les fabricants et les analystes.

• Les modèles sémantiques certifiés fournissent une surface de performance clé cohérente et une surface logique métier pour les expériences approuvées de création de rapports et d’assistance à l’IA.

• Des parcours de transformation adaptés aux compétences, tels que Dataflow Gen2 pour les créateurs low-code et les notebooks pour les ingénieurs, aident les équipes à travailler efficacement sur une plateforme unique.

• Le glossaire métier et les définitions d’indicateurs de performance clé liés aux modèles sémantiques améliorent l’interprétabilité et réduisent l’ambiguïté pour les utilisateurs professionnels.

• La création de rapports directs à partir de Linked Dataverse Lakehouse est limitée aux scénarios opérationnels où la mise en forme minimale est acceptable et la cohérence sémantique de l’entreprise n’est pas nécessaire.

Ensemble, ces considérations aident à maintenir l’architecture fiable, sécurisée, gérable, prenant en charge les coûts, performantes et faciles à adopter à mesure que l’utilisation s’étend.

Contributeurs

Microsoft conserve cet article. Les contributeurs suivants ont écrit cet article.

Auteurs principaux :

• Terra Gilbert, consultant technique senior

Ressources associées

• Comprendre l’architecture Lakehouse en médaillon de Fabric avec OneLake
• Automatiser l’intégration git à un principal de service dans Azure DevOps
• Présentation des pipelines de déploiement