Integrowanie usługi Dataverse z danymi przedsiębiorstwa w Microsoft Fabric przy użyciu architektury medalonu

Ta architektura referencyjna pokazuje, jak zintegrować usługę Dataverse z danymi przedsiębiorstwa w Microsoft Fabric w celu utworzenia zarządzanej platformy analitycznej przy użyciu podejścia medalionowego. Architektura medalionu organizuje dane w warstwy brązowe, srebrne i złote, dzięki czemu zespoły mogą zachowywać nieprzetworzone dane źródłowe, tworzyć zgodne i wielokrotnego użytku zestawy danych oraz publikować wyselekcjonowane modele zoptymalizowane pod kątem środowisk analitycznych i sztucznej inteligencji. Dowiedz się więcej na temat zasad architektury medalionowej w temacie Co to jest architektura medalionowa magazynu lakehouse?

Wykres architektury

Na wysokim poziomie architektura oddziela pozyskiwanie, przekształcanie, nadzór i obowiązki związane z zużyciem, dzięki czemu każda warstwa może być skalowana niezależnie. Replikujesz dane Dataverse w usłudze OneLake za pomocą funkcji linku do usługi Fabric, pozyskujesz dane ze źródeł innych niż usługa Dataverse za pomocą potoków usługi Fabric oraz publikujesz wyselekcjonowane produkty danych za pośrednictwem nadzorowanych modeli warstwy złotej na potrzeby zużycia przez przedsiębiorstwo.

Na diagramie przedstawiono mechanizmy kontroli tożsamości i dostępu w całej architekturze. Dane napływają przez dublowanie w usłudze Dataverse lub zewnętrzne pozyskiwanie i przemieszczają się przez warstwy brązową, srebrną i złotą. Power BI, Copilot, agenci danych i środowiska raportowania operacyjnego wykorzystują dane.

Traktuj ład jako problem międzycięciowy, a nie pojedynczy składnik architektury. Tożsamość, kontrola dostępu na podstawie ról (RBAC), pochodzenie, potoki wdrażania i certyfikowane modele semantyczne współpracują ze sobą w celu kontrolowania dostępu, zarządzania zmianami i zachowania zaufania w całym cyklu życia danych.

Workflow

Przepływ procesu obejmuje cykl życia danych — od bezpiecznego dostępu i pozyskiwania, przez transformację, modelowanie objęte nadzorem i wykorzystanie, po operacje wdrożeniowe.

Tożsamość i zabezpieczenia

Najpierw skonfiguruj mechanizmy kontroli tożsamości i dostępu, aby każdy kolejny artefakt usługi Fabric dziedziczył nadzorowany model zabezpieczeń.

• Użyj logowania jednokrotnego z usługą JumpCloud jako dostawcą tożsamości zintegrowanym z usługą Microsoft Entra ID, aby uzyskać dostęp do usług Power Platform, Fabric oraz narzędzi do obsługi zużycia.

• Zastosuj kontrolę dostępu opartą na rolach (RBAC) na poziomie obszaru roboczego, elementu (Lakehouse, Warehouse, Eventhouse, Semantic Model), obiektu (tabela, widok, plik) oraz wierszy i kolumn (RLS, CLS).

• Dopasowywanie grup zabezpieczeń do osób: inżynierów, deweloperów analizy biznesowej, analityków danych, analityków biznesowych i twórców aplikacji.

Pozyskiwanie: poziom brązowy

Warstwa brązowa wykorzystuje dwie ścieżki pozyskiwania danych: zarządzane duplikowanie w usłudze Dataverse za pośrednictwem funkcji łączenia z usługą Fabric oraz pozyskiwanie oparte na potokach dla źródeł innych niż usługa Dataverse.

• Połączony magazyn lakehouse usługi Dataverse (brązowy): aprowizowany i w pełni zarządzany za pomocą funkcji łączenia z usługą Fabric. Dubluje tabele usługi Dataverse w usłudze OneLake z aktualizacjami przyrostowymi oraz w formatach Parquet i Delta. Służą one jako autorytatywne, surowe dane wejściowe z systemu ewidencji dla domen usługi Dataverse.

• Magazyn lakehouse Enterprise Data Warehouse (EDW) (brązowy — źródła inne niż usługa Dataverse): pozyskiwanie danych z systemów zewnętrznych, takich jak pliki, interfejsy API i przyszłe aplikacje źródłowe. Potoki danych usługi Fabric obsługują orkiestrację wsadową oraz ELT (wyodrębnianie, ładowanie i przekształcanie), a przepływy danych 2. generacji w stosownych przypadkach obsługują pozyskiwanie niskokodowe i z niewielką ilością kodu.

Transformacja i zgodność: poziom srebrny

Zastosuj logikę przekształcania przy użyciu odpowiedniego obciążenia Fabric dla każdego zadania:

• Potoki na potrzeby orkiestracji, zależności i harmonogramowania.
• Przepływ danych 2. generacji na potrzeby kształtowania encji niskokodowych, dekodowania zestawu opcji i uproszczonej zgodności.
• Notatniki (Spark/Python) do skalowalnych łączeń, historyzacji (SCD) i zaawansowanej inżynierii danych.

Srebrny (zgodny): normalizacja encji usługi Dataverse (na przykład Klient, Kontakt, Szansa sprzedaży, Działania). Spłaszczanie encji. Materializuj wyszukania. Mapowanie zestawów opcji na czytelne etykiety. Wyrównaj identyfikatory między systemami. Standaryzuj źródła inne niż Dataverse do wspólnych wymiarów i ujednoliconych kluczy.

Modelowanie wybrane: poziom złoty

Złoty (schemat gwiazdy): wyselekcjonowane modele faktów i wymiarów dopasowane do domen biznesowych (na przykład sprzedaż, potok, Klient 360, usługa). Projektowanie z myślą o wydajności obejmuje klucze zastępcze, wymiary czasu, w razie potrzeby wymiary zdegenerowane, a także strategie przyrostowe lub dotyczące partycjonowania. Na diagramie przedstawiono złotą warstwę jako jezioro, ponieważ efektywność kosztowa jest głównym celem projektowania. Możesz również użyć hurtowni danych, gdy obciążenie robocze wymaga bardziej zaawansowanego modelowania relacyjnego, podejścia programistycznego, w którym punktem wyjścia jest SQL, lub funkcji hurtowni danych związanych z wydajnością i nadzorem.

Po opracowaniu produktów danych na poziomie złotym modele semantyczne udostępniają nadzorowaną warstwę biznesową wykorzystywaną do raportowania oraz przez funkcję Copilot i agenty danych.

Semantyczne modele i zużycie

• Twórz modele semantyczne w warstwie złotej, certyfikuj je i zarządzaj nimi na potrzeby usługi Power BI, środowisk funkcji Copilot i agentów danych.

• Użyj połączonego magazynu lakehouse usługi Dataverse do raportowania operacyjnego przy minimalnym kształtowaniu danych. Użyj srebra lub złota dla zawartości przedsiębiorstwa, aby zapewnić spójność i skalę.

Metodyka DevOps i cykl życia

Zarządzanie cyklem życia opakowuje przepływ pracy, dzięki czemu artefakty przechodzą spójnie z programowania do środowiska za pomocą kontroli źródła, walidacji i konfiguracji specyficznej dla środowiska.

• Zintegruj system kontroli wersji Git (Azure DevOps) ze środowiskiem pracy programistycznej w celu wersjonowania i przeglądu kodu.

• Użyj potoków wdrażania usługi Fabric, aby zautomatyzować podwyższanie poziomu ze środowiska deweloperskiego do testowego, a następnie produkcyjnego, przy użyciu zmiennych specyficznych dla środowiska, reguł źródła danych i bram weryfikacji.

• W jasny sposób przypisuj własność artefaktów: inżynierowie są właścicielami potoków i notesów, zespół ds. analizy biznesowej (BI) jest właścicielem modeli semantycznych, a właściciele produktów zarządzają kluczowymi wskaźnikami wydajności (KPI) i definicjami.

Wynikiem jest zarządzany potok analityczny, w którym zachowywane są nieprzetworzone dane źródłowe, ujednolicone dane nadają się do ponownego wykorzystania, opracowane modele są godne zaufania, a sposoby korzystania z danych są wspierane przez certyfikowane warstwy semantyczne.

Szczegóły scenariusza

Podstawowy cel: dostarczanie skalowalnej i łatwej w utrzymaniu podstawy analitycznej dla źródeł usługi Dataverse i spoza usługi Dataverse, która przyspiesza realizację scenariuszy na platformie Power Platform i przygotowuje powierzchnię danych na potrzeby funkcji Copilot i korporacyjnej analizy BI.

Kluczowe cele obejmują:

• Spójne produkty danych (złoty schemat gwiazdy), które zasilają certyfikowane modele semantyczne.
• Bezpośrednia integracja z usługą Power Apps (Dataverse) za pośrednictwem funkcji łączenia z usługą Fabric (dublowanie zarządzane).
• Zarządzane programowanie przy użyciu integracji z usługą Git i potoków wdrażania Fabric (Tworzenie → Test → Production).
• Bezpieczny dostęp z uwzględnieniem ról na poziomie obszaru roboczego, elementu, obiektu oraz wierszy i kolumn.
• Scentralizowane dane z wielu systemów.
• Ulepszona czystość danych, organizacja i zabezpieczenia.
• Obsługa scenariuszy Copilot i analiz.
• Wybór narzędzi i konfiguracji z uwzględnieniem kosztów.

Architektura przekłada te cele na zarządzany wzorzec usługi Fabric: dane z usługi Dataverse są wprowadzane za pośrednictwem funkcji łączenia z usługą Fabric, a źródła zewnętrzne są pozyskiwanie przy użyciu potoków usługi Fabric. Oba strumienie są kształtowane za pośrednictwem warstwy brązowej, srebrnej i złotej, zanim zostaną udostępnione za pośrednictwem certyfikowanych modeli semantycznych dla usługi Power BI, funkcji Copilot, agentów danych i raportów operacyjnych.

Komponenty

Poniższe składniki tworzą architekturę referencyjną i obsługują tożsamość, pozyskiwanie, przekształcanie, nadzór, zarządzanie cyklem życia i zużycie.

Considerations

Te rozważania wdrażają filary Power Platform Well-Architected, zestaw zasad przewodnich, które poprawiają jakość obciążenia. Dowiedz się więcej w Microsoft Power Platform Well-Architected.

Reliability

Ta architektura została zaprojektowana w celu zapewnienia spójnego, odpornego dostarczania danych w warstwach pozyskiwania, przekształcania i zużycia.

• Zarządzane dublowanie łączenia z usługą Fabric ogranicza potrzebę stosowania niestandardowej logiki ekstrakcji i obniża ryzyko niepowodzenia pozyskiwania.

• Architektura medalionowa izoluje awarie między warstwami brązową, srebrną i złotą, dzięki czemu problemy w jednej warstwie nie zakłócają całego potoku analitycznego.

• Przetwarzanie przyrostowe, partycjonowane ELT i orkiestracja uwzględniająca zależności skracają czas odświeżania i ograniczają rywalizację o zasoby.

• Monitorowanie, alerty i obsługa ponownych prób pomagają wcześnie wykrywać awarie w potokach i odzyskiwać sprawność bez ręcznego ponownego przetworzenia.

Zabezpieczenia

Traktuj bezpieczeństwo jako priorytet i stosuj je konsekwentnie we wszystkich warstwach zarządzania tożsamością, danych i analityki.

• Użyj logowania jednokrotnego z usługą JumpCloud jako dostawcą tożsamości zintegrowanym z usługą Microsoft Entra ID, aby uzyskać dostęp do usług Power Platform, Fabric oraz zatwierdzonych narzędzi do obsługi zużycia.

• Wymuszaj mechanizm RBAC na poziomie obszaru roboczego, elementu, obiektu i modelu semantycznego, aby zapewnić dostęp zgodny z zasadą najmniejszych uprawnień, dopasowany do ról użytkowników w organizacji.

• Zabezpieczenia na poziomie wiersza i na poziomie kolumn umożliwiają ochronę poufnych danych biznesowych w modelach semantycznych i obsługę bezpiecznego ponownego użycia w wielu raportach.

• Użyj etykiet poufności, poręczenia, pochodzenia i okresowych przeglądów dostępu, aby ułatwić utrzymanie zaufanego i zgodnego dostępu do danych.

Doskonałość operacyjna

Osiągnięcie doskonałości operacyjnej dzięki standaryzacji, automatyzacji i jasnej własności w całym cyklu życia analizy.

• Skorzystaj z integracji platformy Git z usługą Azure DevOps, aby umożliwić kontrolę wersji, przeglądy przez innych użytkowników i możliwość identyfikowania artefaktów usługi Fabric.

• Używaj potoków wdrażania usługi Fabric, aby standaryzować podwyższanie poziomu między środowiskami deweloperskim, testowym i produkcyjnym, wymuszać bramy weryfikacji oraz ograniczać błędy podczas ręcznego wdrażania.

• W jasny sposób przypisuj własność w obrębie ról z zakresu inżynierii, analizy biznesowej i działalności biznesowej, aby zwiększyć odpowiedzialność operacyjną.

• Definiuj właścicieli, ścieżki naprawcze, pochodzenie i elementy runbook dla wyjątków związanych z jakością danych, aby rozwiązywać problemy, zanim wpłyną na certyfikowane modele.

Wydajność operacyjna

Architektura optymalizuje wydajność w warstwach magazynowania, obliczeń i semantycznych w celu obsługi scenariuszy analizy biznesowej przedsiębiorstwa i Copilot.

• Magazyny Delta i Parquet obsługują wydajne wypychanie predykatu w dół oraz skalowalne przyłączenia na potrzeby dużych obciążeń analitycznych.

• Schematy gwiazd w warstwie złotej używają kluczy zastępczych, zgodnych wymiarów i strategii przyrostowych w celu zwiększenia wydajności zapytań.

• Certyfikowane modele semantyczne z buforowaniem i agregacjami zmniejszają opóźnienie zapytań i odciążają powtarzające się obliczenia z bazowych warstw danych.

• Aplikacja Capacity Metrics app w usłudze Fabric monitoruje użycie magazynu danych i zasobów obliczeniowych, analizuje potrzeby w zakresie skalowania i identyfikuje wąskie gardła wydajności.

Optymalizacja doświadczeń

Ta architektura określa priorytety użyteczności, zaufania i produktywności dla użytkowników, twórców i analityków danych.

• Certyfikowane modele semantyczne zapewniają spójną warstwę wskaźników KPI i logiki biznesowej na potrzeby zatwierdzonych środowisk raportowych oraz środowisk wspomaganych przez SI.

• Ścieżki transformacji dostosowane do zestawu umiejętności, takie jak Dataflow Gen2 dla twórców kodu o niskiej zawartości i notesy dla inżynierów, ułatwiają zespołom wydajną pracę na jednej platformie.

• Definicje słownika biznesowego i kluczowego wskaźnika wydajności powiązane z modelami semantycznymi zwiększają czytelność i zmniejszają niejednoznaczność dla użytkowników biznesowych.

• Raportowanie bezpośrednio z Linked Dataverse Lakehouse jest ograniczone do scenariuszy operacyjnych, w których akceptowalne jest minimalne przekształcanie danych, a spójność semantyczna w skali przedsiębiorstwa nie jest wymagana.

Razem te zagadnienia pomagają utrzymać niezawodną, bezpieczną architekturę, bezpieczną, konserwalną, z uwzględnieniem kosztów, wydajną i łatwą do przyjęcia w miarę rozszerzania się użycia.

Współautorzy

Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główni autorzy:

• Terra Gilbert, starszy konsultant techniczny

Powiązane zasoby

• Informacje o architekturze medalionowej magazynu lakehouse dla usługi Fabric z usługi OneLake
• Automatyzowanie integracji usługi Git z jednostką usługi w Azure DevOps
• Wprowadzenie do potoków wdrażania