Een moderne gegevensplatformarchitectuur bouwen voor MKB's met behulp van Microsoft Fabric en Azure Databricks

Azure Data Lake
Azure Databricks
Microsoft Fabric
Dynamics 365
Azure Data Factory
Microsoft Purview

ideeën voor oplossing

In dit artikel wordt een oplossingsidee beschreven. Uw cloudarchitect kan deze richtlijnen gebruiken om de belangrijkste onderdelen te visualiseren voor een typische implementatie van deze architectuur. Gebruik dit artikel als uitgangspunt om een goed ontworpen oplossing te ontwerpen die overeenkomt met de specifieke vereisten van uw workload.

In dit artikel wordt beschreven hoe kleine en middelgrote bedrijven (MKB's) een moderne gegevensplatformarchitectuur kunnen bouwen door bestaande investeringen in Azure Databricks te combineren met een volledig beheerd SaaS-gegevensplatform (Software as a Service), zoals Microsoft Fabric. SaaS-gegevensplatforms zijn end-to-end oplossingen voor gegevensanalyse die kunnen worden geïntegreerd met hulpprogramma's zoals Azure Machine Learning, Foundry Tools, Power Platform, Microsoft Dynamics 365 en andere Microsoft technologieën.

Vereenvoudigde architectuur

Diagram met een vereenvoudigde architectuur voor moderne gegevensplatformen voor KMO's.

Download een Visio-bestand van deze architectuur.

De interoperabiliteit tussen Azure Databricks en Fabric biedt een robuuste oplossing waarmee gegevensfragmentatie wordt geminimaliseerd en analytische mogelijkheden worden verbeterd.

Fabric biedt een open en beheerde Data Lake, OneLake genaamd, als de onderliggende SaaS-opslag. OneLake en Azure Databricks gebruiken beide de Delta Parquet-indeling. Om vanuit OneLake toegang te krijgen tot uw Azure Databricks-gegevens, kunt u in Fabric de Azure Databricks Unity Catalog spiegelen, zodat u gegevens kunt integreren zonder replicatie of gegevensverplaatsing. Met deze integratie kunt u uw Azure Databricks analysesystemen uitbreiden met generatieve AI bovenop OneLake.

U kunt de Direct Lake-modus ook gebruiken in Power BI op uw Azure Databricks gegevens in OneLake. De Direct Lake-modus vereenvoudigt de ondersteunende laag en verbetert de rapportprestaties. OneLake ondersteunt API's voor Azure Data Lake Storage en slaat alle tabelgegevens op in Delta Parquet-indeling.

Als gevolg hiervan kunnen Azure Databricks-notebooks OneLake-eindpunten gebruiken om toegang te krijgen tot de opgeslagen gegevens. De ervaring is hetzelfde als toegang tot de gegevens via een Fabric-datawarehouse. Met deze integratie kunt u Fabric of Azure Databricks gebruiken zonder uw gegevens opnieuw te vormgeven.

Architectuur

Diagram met een volledige moderne gegevensplatformarchitectuur voor KMO's.

Download een Visio-bestand van deze architectuur.

Gegevensstroom

De volgende gegevensstroom komt overeen met het vorige diagram:

  1. Gebruik bestaande Azure Data Factory pijplijnen om gestructureerde en ongestructureerde gegevens op te nemen uit bronsystemen en deze in de bestaande data lake te landen.

  2. U kunt Microsoft Dynamics 365 gegevensbronnen gebruiken om gecentraliseerde BI-dashboards te bouwen op uitgebreide gegevenssets met behulp van Azure Synapse Link of Microsoft Fabric Link. Breng de samengevoegde, verwerkte gegevens terug naar Microsoft Dynamics 365 en Power BI voor verdere analyse.

  3. Streaminggegevens kunnen worden opgenomen via Azure Event Hubs of Azure IoT Hub, afhankelijk van de protocollen die deze berichten verzenden.

  4. In het koude pad kunt u Azure Databricks gebruiken om de streaminggegevens naar de gecentraliseerde data lake te brengen voor verdere analyse, opslag en rapportage. Deze gegevens kunnen vervolgens worden gecombineerd met andere gegevensbronnen voor batchanalyse.

  5. In de hot path kunt u gegevens in realtime analyseren en realtime dashboards maken met Microsoft Fabric Real-Time Intelligence.

  6. U kunt de bestaande Azure Databricks notebooks gebruiken om gegevens op te schonen, een eenwording en analyses uit te voeren. Overweeg het gebruik van medallion-architectuur, zoals:

    • Brons, dat onbewerkte gegevens bevat.
    • Zilver, dat opgeschoonde, gefilterde gegevens bevat.
    • Gold, waarin geaggregeerde gegevens worden opgeslagen die nuttig zijn voor zakelijke analyses.

  7. Voor gold data of een datawarehouse blijft u Azure Databricks SQL gebruiken of maakt u een mirror van Azure Databricks Unity Catalog in Fabric. Als u rapportage en analyses wilt inschakelen voor een Fabric lakehouse, maakt u expliciet een semantisch model en bouwt u Power BI dashboards met behulp van Direct Lake of DirectQuery voor hoge prestaties. Zie Semantische modellen in Fabric voor meer informatie.

De volgende hulpprogramma's worden gebruikt voor governance, samenwerking, beveiliging, prestaties en kostenbewaking.

  • Ontdekken en beheren:

    • Microsoft Purview biedt services voor gegevensdetectie, classificatie van gevoelige gegevens en governance-inzichten in de gegevensomgeving.

    • Unity Catalog biedt gecentraliseerd toegangsbeheer, controle, herkomst en mogelijkheden voor gegevensdetectie in Azure Databricks-werkruimten.

  • Platformbronnen:

    • Microsoft Entra ID biedt eenmalige aanmelding (SSO) voor Azure Databricks gebruikers. Azure Databricks biedt ondersteuning voor geautomatiseerde inrichting van gebruikers met Microsoft Entra ID voor:

      • Nieuwe gebruikers maken.
      • Wijs elke gebruiker een toegangsniveau toe.
      • Gebruikers verwijderen en toegang weigeren.

    • Microsoft Cost Management biedt financiële governanceservices voor Azure-workloads.

    • Azure Key Vault beheert geheimen, sleutels en certificaten.

    • Azure Monitor verzamelt en analyseert telemetriegegevens van Azure-resources. Deze service maximaliseert de prestaties en betrouwbaarheid door proactief problemen te identificeren.

    • Microsoft Defender voor Cloud biedt beveiligingspostuurbeheer en bedreigingsbeveiliging voor Azure resources en workloads.

    • Azure DevOps biedt continue integratie en continue implementatie (CI/CD) en andere geïntegreerde functies voor versiebeheer.

    • GitHub biedt mogelijkheden voor versiebeheer en samenwerkingsontwikkeling voor het beheren van code- en implementatiepijplijnen.

Onderdelen

  • Data Lake Storage is een schaalbare gegevensopslagservice die is ontworpen voor gestructureerde en ongestructureerde gegevens. In deze architectuur fungeert Data Lake Storage als de onderliggende infrastructuur voor het Delta Lake. Het is de primaire opslaglaag voor onbewerkte en verwerkte gegevens, waarmee efficiënte gegevensopname, opslag en ophaalbewerking mogelijk is voor analyse- en machine learning-workloads.

  • Data Factory is een cloudservice voor gegevensintegratie waarmee gegevensverplaatsing en transformatie worden georganiseerd en geautomatiseerd. In deze architectuur maakt, plant en organiseert Data Factory gegevenspijplijnen die gegevens verplaatsen en transformeren in verschillende gegevensarchieven en -services.

  • Event Hubs is een realtime gegevensopnameservice die miljoenen gebeurtenissen per seconde kan verwerken vanuit elke bron. In deze architectuur legt Event Hubs grote hoeveelheden gegevens uit verschillende bronnen vast en streamt deze om realtime analyse en gebeurtenisgestuurde verwerking mogelijk te maken.

  • IoT Hub is een beheerde service die de beveiliging en betrouwbare communicatie tussen IoT-apparaten (Internet of Things) en de cloud verbetert. In deze architectuur faciliteert IoT Hub de opname, verwerking en analyse van telemetriegegevens van IoT-apparaten om realtime inzichten te bieden en externe bewaking mogelijk te maken.

  • Microsoft Dataverse is een schaalbaar gegevensplatform dat organisaties kunnen gebruiken om veilig gegevens op te slaan en te beheren die zakelijke toepassingen gebruiken. In deze architectuur fungeert het als een gegevensbron die wordt ingevoerd in de analysepijplijn via Azure Synapse Link of Microsoft Fabric Link.

    • Azure Synapse Link is een functie voor gegevensintegratie waarmee Dynamics-toepassingen worden verbonden met Azure Synapse Analytics of Data Lake Storage. In deze architectuur worden gegevens in bijna realtime gekopieerd van Dataverse naar Data Lake Storage.

    • Microsoft Fabric Link is een functie voor gegevensintegratie waarmee Dynamics-toepassingen worden verbonden met Fabric. In deze architectuur worden gegevens van Dataverse gerepliceerd naar Fabric in bijna realtime.

  • Azure Databricks is een op Apache Spark gebaseerd analyseplatform voor big data-verwerking, machine learning en data engineering. In deze architectuur worden gegevensopschoning, transformatie en analyse uitgevoerd met behulp van medaillonarchitectuurlagen.

    • Delta Lake is een opensource-opslaglaag die atomische, consistentie-, isolatie- en duurzaamheidstransacties (ACID) naar Spark- en big data-workloads brengt. In deze architectuur verbetert Delta Lake de betrouwbaarheid en prestaties van gegevens binnen de data lake.

    • Azure Databricks SQL is een op SQL gebaseerde analyseservice waarmee gebruikers SQL-query's kunnen uitvoeren op gegevens die zijn opgeslagen in Azure Databricks. In deze architectuur biedt Azure Databricks SQL een krachtige SQL-interface voor het opvragen en analyseren van gegevens, waardoor interactieve analyses mogelijk zijn.

    • AI en machine learning omvatten een scala aan technologieën en services die de ontwikkeling, implementatie en het beheer van machine learning-modellen mogelijk maken. In deze architectuur bouwen, trainen en implementeren AI- en Machine Learning-services voorspellende modellen. Met deze mogelijkheid kunt u gegevensgestuurde besluitvorming mogelijk maken.

    • Unity Catalog is een oplossing voor gegevensbeheer die gecentraliseerd toegangsbeheer, controle, herkomst en mogelijkheden voor gegevensdetectie biedt in Azure Databricks werkruimten. In deze architectuur helpt Unity Catalog om gegevensbeheer en beveiliging te garanderen door verfijnde toegangsbeheer, controle en tracering van gegevensherkomsten te bieden.

  • Medallion lakehouse-architectuur is een gegevensarchitectuurpatroon dat gegevens in brons-, zilver- en gouden lagen ordent voor efficiënte gegevensverwerking en analyse. In deze architectuur structureert het gegevensverwerkingswerkstromen met behulp van Data Lake Storage, Delta Lake en Azure Databricks ter ondersteuning van schaalbare analyses.

  • Fabric is een uitgebreid gegevensplatform dat verschillende gegevensservices en hulpprogramma's integreert om een naadloze ervaring voor gegevensbeheer en analyse te bieden. In deze architectuur verbindt en integreert Fabric gegevens uit meerdere bronnen, waardoor uitgebreide gegevensanalyse en inzichten in de hele organisatie mogelijk zijn.

    • Real-Time Intelligence is een mogelijkheid voor gegevensverwerking waarmee organisaties in realtime gegevens kunnen opnemen, verwerken en analyseren. Real-Time Intelligence verwerkt streaminggegevens uit verschillende bronnen. In deze architectuur biedt het realtime inzichten en maakt het geautomatiseerde acties mogelijk op basis van gegevenspatronen.

    • OneLake-snelkoppelingen maken een in-place koppeling tussen OneLake en andere gegevensbronnen. In deze architectuur vereenvoudigen ze de toegang en het beheer van gegevens en bieden ze een uniforme weergave van gegevens in de hele organisatie.

    • Fabric Copilot is een ai-assistent die is geïntegreerd in Fabric workloads. Het maakt gebruik van grote taalmodellen (LLM's) om gebruikers te helpen met gegevens te communiceren met behulp van natuurlijke taal. Het vereenvoudigt taken zoals het genereren van SQL, DAX en transformaties en het maken van rapporten of dashboards. Copilot ondersteunt gesprekscontext, maakt visualisaties en helpt bij het bouwen van analysepijplijnen. Hiermee kunnen organisaties gegevensinzichten versnellen en werkstromen optimaliseren zonder diepgaande coderingsexpertise te vereisen.

    • Een Fabric-gegevensagent is een intelligente, op LLM gebaseerde dienst in Fabric die organisaties gebruiken om gegevens uit meerdere bronnen, waaronder lakehouses, datawarehouses, semantische modellen, KQL-databases en gespiegelde databases, via één enkele interface op te vragen en te analyseren. Het ondersteunt complexe query's met meerdere stappen, past aangepaste logica toe via voorbeeldquery's en agent- of gegevensbroninstructies en publiceert naar Microsoft 365 Copilot of Teams. Het biedt zakelijke gebruikers veilige, beheerde toegang tot zakelijke gegevens in natuurlijke taal.

  • Power BI is een business analytics-service die interactieve visualisaties en BI-mogelijkheden (Business Intelligence) biedt. In deze architectuur visualiseert Power BI gegevens uit Fabric en Azure Databricks met behulp van de Direct Lake-modus voor verbeterde prestaties.

  • Microsoft Purview is een geïntegreerde service voor gegevensbeheer waarmee organisaties hun gegevens in verschillende bronnen kunnen beheren en beheren. In deze architectuur worden gegevens gecatalogid, herkomst bijgehouden en naleving afgedwongen in de gegevensomgeving. U kunt Unity Catalog integreren in Purview om toegang te krijgen tot Unity Catalog-metagegevens vanuit Purview.

  • Microsoft Entra ID is een cloudoplossing voor identiteits- en toegangsbeheer waarmee veilige aanmeldingen en toegang tot resources zoals Microsoft 365, Azure en andere SaaS-toepassingen worden gegarandeerd. In deze architectuur biedt Microsoft Entra ID beveiligd identiteits- en toegangsbeheer voor Azure-resources. Deze functie maakt beveiligde aanmeldingen mogelijk, beheert gebruikersidentiteiten en zorgt voor geautoriseerde toegang tot gegevens en resources.

  • Cost Management is een suite met FinOps-hulpprogramma's die organisaties kunnen gebruiken om Microsoft Cloud kosten te analyseren, bewaken en optimaliseren. In deze architectuur bieden deze tools financiële governance over Azure-resources.

  • Key Vault- is een cloudservice waarmee geheimen, zoals API-sleutels, wachtwoorden, certificaten en cryptografische sleutels, worden opgeslagen en beheerd. In deze architectuur kan Azure Databricks geheimen ophalen uit Key Vault om Data Lake Storage te verifiëren en te openen, wat zorgt voor een veilige integratie.

  • Azure Monitor is een bewakingsservice die een volledige stack waarneembaarheid biedt voor toepassingen, infrastructuur en netwerken. Met Azure Monitor kunnen gebruikers telemetriegegevens verzamelen, analyseren en erop reageren vanuit hun Azure- en on-premises omgevingen. In deze architectuur zorgt Azure Monitor voor prestaties en betrouwbaarheid door proactief problemen te identificeren.

  • Defender voor Cloud is een cloudeigen toepassingsbeveiligingsplatform dat beveiligingspostuurbeheer en bedreigingsbeveiliging biedt in Azure, hybride en multicloudomgevingen. In deze architectuur beveiligt Defender voor Cloud gegevensplatformen en workloads door beveiligingsproblemen te identificeren, bedreigingen te detecteren en beveiligingsaanbevelingen te bieden voor Azure resources.

  • Azure DevOps- is een set ontwikkelhulpprogramma's die ondersteuning bieden voor een samenwerkingscultuur en gestroomlijnde processen. Met deze hulpprogramma's kunnen ontwikkelaars, projectmanagers en inzenders efficiënter software ontwikkelen. Azure DevOps biedt geïntegreerde functies zoals Azure Boards, Azure-opslagplaatsen, Azure-pipelines, Azure Test Plans en Azure-artefacten. U kunt deze functies openen via een webbrowser of een geïntegreerde ontwikkelomgevingsclient. In deze architectuur ondersteunt Azure DevOps geautomatiseerde implementatie en versiebeheer voor gegevenspijplijnen en notebooks.

  • GitHub is een cloudgebaseerde Git-opslagplaats die de versiebeheer en samenwerking voor ontwikkelaars vereenvoudigt. Personen en teams kunnen hun code opslaan en beheren, wijzigingen bijhouden en samenwerken aan projecten. In deze architectuur kan GitHub worden geïntegreerd met Azure DevOps om automatisering en naleving af te dwingen in ontwikkelingswerkstromen en implementatiepijplijnen voor Data Factory, Azure Databricks en Fabric.

Alternatieven

Servicealternatieven binnen deze architectuur

  • Batchverwerking

  • Microsoft Dynamics 365-gegevensverzameling

  • opname van streaminggegevens

    • De beslissing tussen Azure IoT en Event Hubs is afhankelijk van de bron van de streaminggegevens, of u klonen en bidirectionele communicatie met de rapportageapparaten en de vereiste protocollen nodig hebt. Zie IoT Hub en Event Hubs vergelijkenvoor meer informatie.

  • Lakehouse-

    • Een Fabric lakehouse is een geïntegreerd platform voor gegevensarchitectuur voor het beheren en analyseren van gestructureerde en ongestructureerde gegevens in een open indeling die voornamelijk gebruikmaakt van Delta Parquet-bestanden. Het ondersteunt twee opslagtypen. Deze opslagtypen zijn beheerde tabellen zoals CSV-, Parquet- of Delta- en onbeheerde bestanden. Beheerde tabellen worden automatisch herkend. Voor niet-beheerde bestanden is expliciete tabel maken vereist. Het platform maakt gegevenstransformaties mogelijk via Spark- of SQL-eindpunten en kan worden geïntegreerd met andere Fabric-onderdelen. Dankzij deze integratie kan gegevens zonder duplicatie worden gedeeld. Dit concept komt overeen met de gebruikelijke medaillon-architectuur die wordt gebruikt in analyseworkloads. Zie Lakehouse in Fabric voor meer informatie.

  • Realtime analyse

    • Azure Databricks-

      • Als u een bestaande Azure Databricks oplossing hebt, kunt u het gebruik van gestructureerde Spark-streaming blijven gebruiken voor realtime analyse. Zie Streaming op Azure Databricks voor meer informatie.

    • Stof

      • Zie Real-time Intelligence versus Azure streamingoplossingen als u eerder andere Azure-services hebt gebruikt voor realtime analyses of als u geen bestaande oplossing voor realtime analyse hebt.

      • Fabric Structured Streaming maakt gebruik van Spark Structured Streaming om live datastromen te verwerken en in te lezen als tabellen waaraan voortdurend gegevens worden toegevoegd. Gestructureerde streaming ondersteunt verschillende bestandsbronnen, zoals CSV, JSON, ORC, Parquet en berichtenservices zoals Kafka en Event Hubs. Deze aanpak zorgt voor schaalbare en fouttolerante stroomverwerking, waarmee productieomgevingen met hoge doorvoer worden geoptimaliseerd. Zie Gegevens streamen naar een lakehouse met Spark voor meer informatie.

  • data engineering

  • data-warehouse of goudlaag

    • U kunt Fabric of Azure Databricks gebruiken om een sql-warehouse of een gouden laag te maken. Zie Een gegevensarchief kiezen voor een keuzehulp bij het kiezen van een datawarehouse of opslagoplossing voor de gold-laag in Fabric. Zie SQL Warehouse-typenvoor meer informatie over SQL-warehousetypen in Azure Databricks.

  • Data Science-

    • Gebruik Fabric of Azure Databricks voor data science-mogelijkheden. Zie Data Science in Fabric voor meer informatie over de Fabric Data Science-aanbieding. Zie AI en machine learning op Azure Databricks voor meer informatie over de Azure Databricks-aanbieding.

    • Fabric Data Science verschilt van Machine Learning. Machine Learning biedt een uitgebreide oplossing voor het beheren van werkstromen en het implementeren van machine learning-modellen. Fabric Data Science is afgestemd op een analyse- en rapportagescenario.

  • Power BI-

    • Azure Databricks geïntegreerd met Power BI maakt gegevensverwerking en visualisatie mogelijk. Zie Power BI verbinden met Azure Databricksvoor meer informatie.

    • Door Azure Databricks Unity Catalog in Fabric te spiegelen, hebt u rechtstreeks vanuit de Fabric workload toegang tot gegevens die Azure Databricks Unity Catalog beheert. Zie Mirror Azure Databricks Unity Catalog voor meer informatie. U kunt deze gegevens opvragen uit Power BI in Direct Lake-modus zonder de gegevens naar de Power BI-service te kopiëren.

Scenario-details

KMO's met een bestaande Azure Databricks omgeving en eventueel een lakehouse-architectuur kunnen profiteren van dit patroon. Ze gebruiken momenteel een hulpprogramma voor Azure extraheren, transformeren, laden (ETL), zoals Data Factory en rapporten leveren in Power BI. Ze kunnen echter ook meerdere gegevensbronnen hebben die verschillende eigen gegevensindelingen gebruiken in hetzelfde datameer, wat leidt tot gegevensduplicatie en zorgen over leveranciersafhankelijkheid. Deze situatie kan het beheer van gegevens bemoeilijken en de afhankelijkheid van specifieke leveranciers vergroten. Mogelijk hebben ze ook actuele en nagenoeg realtime rapportage nodig voor de besluitvorming en willen ze AI-tools in hun hele omgeving inzetten.

Fabric is een open, geïntegreerde en beheerde SaaS-basis waarmee u het volgende kunt doen:

  • Centraliseer gegevens in OneLake om gegevens op één locatie op te slaan, te beheren en te analyseren zonder dat er problemen zijn met de vergrendeling van de leverancier.

  • Sneller innoveren met integraties met Microsoft 365-apps.

  • Krijg snelle inzichten met de voordelen van Power BI Direct Lake-modus.

  • Profiteer van Copilot in elke Fabric ervaring.

  • Versnel de analyse door AI-modellen op één basis te ontwikkelen.

  • Houd gegevens op hun plaats zonder beweging, waardoor gegevenswetenschappers minder tijd nodig hebben om waarde op te geven.

Kostenoptimalisatie

Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

Als u de kosten van deze oplossing wilt schatten, gebruikt u de voorgeconfigureerde schatting in de Azure prijscalculator. De schatting weerspiegelt de architectuur die in dit artikel wordt beschreven met een representatieve grootte voor een SMB-workload. Pas de waarden aan zodat deze overeenkomen met uw werkelijke gebruikspatronen, gegevensvolumes en prestatievereisten.

  • Microsoft Fabric prijzen zijn afhankelijk van het capaciteitsmodel. De schatting maakt gebruik van F2, een kosteneffectief toegangspunt voor kmo's. Overweeg gereserveerde capaciteit voor voorspelbare workloads om de kosten te verlagen.

  • Azure Databricks prijzen zijn afhankelijk van het workloadtype, de laag en de rekenuren. De schatting is gebaseerd op 200 uur per maand van Premium-niveau All-Purpose Compute. Gebruik Jobs Compute voor geplande batchtaken om DBU-kosten te verlagen.

  • Data Lake Storage prijzen zijn afhankelijk van het opslagvolume, de toegangslaag en het aantal transacties. De schatting omvat 1 TB opslag in hot-tier met hiërarchische naamruimte ingeschakeld.

  • Azure Data Factory prijzen zijn afhankelijk van het aantal uitvoeringen van activiteiten, volumes voor gegevensverplaatsing en uitvoeringsuren voor pijplijnen.

  • De prijzen van Event Hubs zijn afhankelijk van de geselecteerde laag en doorvoereenheden. De schatting maakt gebruik van de Standard-laag met één doorvoereenheid.

Bijdragers

Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteurs:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen