Operationele standaarden voor een geïntegreerd gegevensplatform

Dit artikel helpt besluitvormers bij het vaststellen van operationele standaarden voor het ontwikkelen en gebruiken van gegevensproducten in een geïntegreerd gegevensplatform.

Organisaties moeten bepalen hoe gegevensdomeinen gegevens beschikbaar maken via OneLake en deze transformeren in vertrouwde gegevensproducten voor hergebruik in de hele organisatie. Centrale governance moet organisatiebrede standaarden vaststellen. Gegevensdomeinen moeten eigenaar zijn van hun gegevensproducten en implementatiebeslissingen nemen binnen die grenzen.

Consistente standaarden verminderen onnodige duplicatie en helpen consumenten vertrouwde gegevens te vinden en te gebruiken met de juiste beveiliging. Dit artikel bevat informatie over gegevensinname, transformatie, publicatie, verbruik, levenscyclusbeheer, beveiliging en uitzonderingen.

1. Gegevensinname

Welke standaarden moeten gelden voor de gegevensinname? De organisatie moet standaarden vaststellen voor welke brongegevens via OneLake beschikbaar komen en de voorkeursmethoden om deze beschikbaar te maken. Maak brongegevens alleen beschikbaar via OneLake wanneer het een goedgekeurd gegevensproduct of een analytische behoefte ondersteunt.

1.1 Methoden voor gegevensinname

Hoe moeten gegevensdomeinen brongegevens beschikbaar maken via OneLake? De organisatie moet de voorkeur geven aan patronen die onnodige gegevensverplaatsing minimaliseren.

  • Snelkoppelingen moeten het voorkeurspatroon zijn wanneer gegevens, indien ondersteund, bij de bron kunnen blijven.
  • Spiegeling moet het voorkeurspatroon zijn voor ondersteunde bronnen wanneer Fabric gesynchroniseerde toegang tot een externe database of catalogus nodig heeft.
  • Gegevensverplaatsing moet worden gebruikt wanneer Fabric vereist dat er een kopie van de gegevens wordt gemaakt en snelkoppelingen of spiegeling niet aan die vereiste voldoen.

Gegevensdomeinen kunnen een andere goedgekeurde intakemethode kiezen wanneer het voorkeurspatroon niet voldoet aan de eis. Zie Gegevens uniformeren met OneLake-snelkoppelingen en spiegeling.

1.2 Gegevensbronnen

Hoe moeten we verschillende gegevensbronnen integreren? Gegevensdomeinen moeten betrouwbare output beschikbaar maken via OneLake in plaats van gelijkwaardige verwerking opnieuw te maken in Fabric zonder meetbaar organisatievoordeel.

  • Microsoft 365: Microsoft 365 moet normaal gesproken het bronsysteem voor samenwerkingsinhoud blijven. Gegevensdomeinen moeten Microsoft 365 inhoud alleen in het geïntegreerde gegevensplatform brengen wanneer een goedgekeurd gegevensproduct dit vereist, zoals voor gestructureerde analyse.

  • Operationele databases: databases moeten geoptimaliseerd blijven voor transactionele workloads. Gegevensdomeinen mogen analytische of AI-workloads niet toestaan om rechtstreeks een query uit te voeren op een operationele database, tenzij de eigenaar van de database de verwachte workload heeft goedgekeurd en de vereiste besturingselementen heeft vastgesteld.

  • Bestaande gegevensplatforms: bestaande data lakes en transformatieplatforms, zoals Azure Databricks, moeten aanwezig blijven wanneer ze blijven voldoen aan de organisatievereisten. Migratie of recreatie in Fabric moet een meetbaar organisatievoordeel vereisen. Zie Snelkoppelingen, spiegeling Azure Databricks Unity Catalog en Integreer OneLake met Azure Databricks.

2. Gegevenstransformatie

Hoe moeten we gegevens transformeren in gegevensproducten? De organisatie moet een voorkeursplatform voor transformatie opzetten om onnodige duplicatie van mogelijkheden te verminderen. Microsoft Fabric kan als standaard fungeren wanneer deze voldoet aan de vereisten van het gegevensproduct. Bestaande platforms, zoals Azure Databricks, moeten in gebruik blijven wanneer ze vereiste mogelijkheden bieden of een gevestigde organisatie-investering vertegenwoordigen.

Transformatiepatroon: Medallion-architectuur moet het voorkeurspatroon zijn wanneer gegevens profiteren van progressieve verfijning. Gegevensdomeinen mogen alleen de kwaliteitsfasen gebruiken die nodig zijn om een vertrouwd gegevensproduct te produceren.

Zie Fabric materialized lake views, Medallion Lakehouse Architecture in Fabric en Analytics End-to-End met Microsoft Fabric.

3. Publicatie

Wat moet er bestaan voordat een gegevensproduct kan worden gepubliceerd? Een gegevensproduct kan bestaan uit een of meer technische assets die gezamenlijk een ondersteund bedrijfsaanbod bieden. Elk gepubliceerd gegevensproduct moet een verantwoordelijke eigenaar, een onderbouwd bedrijfsdoel, beoogd gebruik, toegangsproces en kwaliteitsstatus hebben. Wanneer consumenten afhankelijk zijn van tijdige beschikbaarheid, moet het ook een operationele toezegging definiëren.

  • Beveiligingscontroles: Vereiste beveiligingscontroles moeten aanwezig zijn voordat de publicatie plaatsvindt. Producten voor gevoelige gegevens moeten over de vereiste classificatie- en behandelingsvereisten beschikken. Zie Purview-gevoeligheidslabels.

  • Metagegevens: De organisatie moet minimale metagegevens voor gepubliceerde gegevensproducten definiëren. Consumenten moeten de eigenaar van het gegevensdomein, de verantwoordelijke eigenaar, het ondersteunde gebruik, de kwaliteitsgarantie en de toegangsvereisten kunnen bepalen. Zie tags in Fabric en Purview aangepaste metagegevens.

  • Datalijnage: Beschikbare lijnage moet voldoende informatie bieden om inzicht te hebben in materiële upstream-afhankelijkheden en downstreamimpact te beoordelen. Zie Lineage in Fabric.

4. Discovery

Hoe moeten consumenten gegevensproducten vinden? Gepubliceerde gegevensproducten moeten standaard algemeen goed vindbaar zijn. Gebruik OneLake Catalog voor systeemeigen ontdekking in Fabric. Geef een gegevensproduct weer in Microsoft Purview Uniforme catalogus wanneer het bedrijfscontext of governance vereist voor de bredere gegevensomgeving.

Zie overzicht van oneLake-catalogus en gegevensproducten in Unified Catalog.

5. Bekrachtiging

Hoe moeten consumenten bepalen of een gegevensproduct betrouwbaar is voor hergebruik? Fabric-aanbeveling kan consumenten helpen bij het beoordelen van het niveau van zekerheid dat wordt geboden door de items die ondersteuning bieden voor een gegevensproduct. De organisatie moet consistente betekenissen en vereisten voor elk goedkeuringsniveau vaststellen.

  • Promotie-status moet aangeven dat het gegevensdomein dat eigenaar is, het gegevensproduct aanbeveelt voor hergebruik.

  • Certificering moet aangeven dat een geautoriseerde revisor heeft bevestigd dat het gegevensproduct voldoet aan gedefinieerde organisatiestandaarden.

Publicatie mag geen certificering vereisen. Publiceren bepaalt de minimale organisatorische drempel voor ondersteund hergebruik. Certificering biedt extra zekerheid. Zie Endorsement in Fabric.

6. Goedgekeurd verbruik

Wanneer kunnen consumenten een gegevensproduct gebruiken zonder extra goedkeuring? Gegevensproducten kunnen veel gebruikspatronen ondersteunen, waaronder analyses, toepassingen, AI grounding en agenten. Dezelfde goedgekeurde gebruiks- en beveiligingsstandaarden zijn van toepassing, ongeacht de gebruikte technologie. Het gegevensdomein dat eigenaar is, moet de gebruikstoepassingen definiëren die door elk gepubliceerd gegevensproduct worden ondersteund. Consumenten moeten het gegevensproduct zonder aanvullende goedkeuring kunnen gebruiken wanneer hun voorgestelde gebruik binnen die grenzen valt.

De organisatie moet toepassingen definiëren die altijd aanvullende controle vereisen. Deze toepassingen moeten ook situaties omvatten waarin het gebruik het risico van de gegevens aanzienlijk wijzigt, zoals externe openbaarmaking of ingrijpend AI-gebruik.

Goedkeuring voor het ene gebruik mag geen goedkeuring voor een ander betekenen. Een gegevensproduct dat is goedgekeurd voor interne rapportage, mag bijvoorbeeld niet automatisch worden goedgekeurd voor externe publicatie. Een gegevensproduct dat is goedgekeurd voor AI-grounding, mag niet automatisch worden goedgekeurd voor een agent die ingrijpende acties kan uitvoeren.

7. Levenscyclus van gegevensproduct

Hoe moeten gegevensdomeinen gegevensproducten beheren waar afnemers van afhankelijk zijn? Gepubliceerde gegevensproducten creëren afhankelijkheden die het verantwoordelijke gegevensdomein moet beheren. De organisatie moet normen vaststellen voor wijzigingen en uitfasering, zodat consumenten zo nodig onderbrekingen kunnen plannen en kunnen overstappen. Samen vormen de publicatievereisten en levenscyclustoezeggingen het contract tussen het gegevensdomein dat eigenaar is en consumenten van het gegevensproduct.

7.1 Betrouwbaarheid

Welke betrouwbaarheidsstandaarden moeten van toepassing zijn op gepubliceerde gegevensproducten? De organisatie moet betrouwbaarheidsvereisten vaststellen op basis van de bedrijfsimpact van een gegevensproduct dat niet beschikbaar is of gegevens kwijtraakt. Gegevensdomeinen moeten deze vereisten toepassen op het volledige gegevensproduct in plaats van ervan uit te gaan dat de betrouwbaarheid van OneLake of een ander platformonderdeel het vereiste beveiligingsniveau biedt.

  • Betrouwbaarheidsclassificatie: De organisatie moet betrouwbaarheidsvereisten definiëren voor elk bedrijfskriticiteitsniveau. Gegevensdomeinen moeten ervoor zorgen dat het volledige gegevensproduct voldoet aan de toepasselijke vereisten.

  • Herstelvereisten: Het gegevensdomein dat eigenaar is, moet ervoor zorgen dat het volledige gegevensproduct voldoet aan de betrouwbaarheidsvereisten die zijn gekoppeld aan de bedrijfskriticiteit. Het herstelontwerp moet rekening houden met het gegevensproduct en de afhankelijkheden die vereist zijn voor het gebruik ervan. Bedrijfskritieke gegevensproducten moeten een getest herstelproces hebben.

  • Fabric capaciteitsvereisten: Gegevensdomeinen moeten ervoor zorgen dat gedeelde Fabric-capaciteit niet verhindert dat het toegewezen gegevensproduct voldoet aan de betrouwbaarheidsvereisten. Gebruik afzonderlijke capaciteit wanneer een gegevensproduct besturingselementen op capaciteitsniveau vereist die niet van toepassing moeten zijn op andere producten.

Behandel OneLake-replicatie niet als volledig gegevensproductherstel. Elk bedrijfskritiek gegevensproduct moet een herstelontwerp hebben dat betrekking heeft op de gegevens en vereiste Fabric items. Zie OneLake-richtlijnen voor herstel na noodgevallen en gegevensbescherming en ervaringsspecifieke richtlijnen voor herstel na noodgevallen voor Fabric.

7.2 Wijzigingen

Hoe moeten gegevensdomeinen wijzigingen beheren die van invloed zijn op afnemers? De domeinen die eigenaar zijn van de data moeten incompatibele wijzigingen beheren op basis van de bedrijfsimpact van het gegevensproduct. Ze moeten betrokken consumenten identificeren voordat ze een niet-achterwaarts-compatibele wijziging aanbrengen en een overgangsperiode bieden die evenredig is aan de impact.

Verplichtingen voor wijzigingen moeten toenemen naarmate de afhankelijkheid en bedrijfskritiek toenemen. Een breed hergebruikt gegevensproduct dat ondersteuning biedt voor een kritiek bedrijfsproces, moet sterkere wijzigingsvereisten hebben dan een gegevensproduct met beperkt gebruik.

Gegevensdomeinen moeten gebruikmaken van beschikbare herkomst- en impactanalyse om technische afhankelijkheden te identificeren. Ze moeten ook rekening houden met bekende zakelijke afhankelijkheden die niet door technische lineage worden vastgelegd. Zie Impactanalyse in Fabric.

7.3 Pensionering

Hoe moet een gegevensdomein een gepubliceerd gegevensproduct buiten gebruik stellen? De organisatie moet minimumvereisten voor pensionering instellen. Vóór uitfasering moet het beherende gegevensdomein actieve afhankelijkheden beoordelen en een overgangsperiode bieden die evenredig is aan de impact op het bedrijf.

Het gegevensdomein dat eigenaar is, moet een goedgekeurde vervanging identificeren wanneer deze bestaat. Het moet bekrachtiging verwijderen wanneer consumenten moeten stoppen met het maken van nieuwe afhankelijkheden. Bestaande consumenten moeten tijdig op de hoogte worden gebracht voordat de toegang eindigt.

8. Gegevensproductbeveiliging

Hoe moeten autorisatievereisten van toepassing zijn wanneer gegevensproducten worden geconsumeerd? Een nieuw consumptiepad mag de beveiliging die vereist is voor het brongegevensproduct niet verzwakken. De organisatie moet goedgekeurde verbruikspatronen classificeren naargelang het feit of de autorisatievereisten van het gegevensproduct effectief blijven.

8.1. Bronautorisatie behouden

Wanneer behoudt een verbruikspatroon de autorisatie van het brongegevensproduct? Een verbruikspatroon kan afhankelijk zijn van de autorisatie van het brongegevensproduct wanneer de consumentenidentiteit behouden blijft en het de vereiste toegangsbeperkingen blijft afdwingen.

Als een verkoopgegevensproduct bijvoorbeeld elke verkoper beperkt tot toegewezen klanten, moet het gebruikspatroon die beperking voor elke consument behouden. Organisaties moeten elk goedgekeurd patroon valideren voordat het beperkte gegevens mag gebruiken.

Zie Fabric data agents, Power BI en OneLake MCP-server.

8.2. Nieuw autorisatiegrensvlak

Welke standaarden zijn van toepassing wanneer een verbruikspatroon een nieuwe autorisatiegrens moet vaststellen? Een verbruikspatroon dat de autorisatievereisten van het brongegevensproduct niet behoudt, moet een nieuwe autorisatiegrens vaststellen die gelijkwaardige bescherming biedt. De organisatie mag het patroon voor toegangsbeperkte gegevens niet goedkeuren wanneer de organisatie deze beveiliging niet kan bieden.

Deze situatie treedt meestal op wanneer een service een andere weergave van de gegevens maakt of brongegevens benadert via een gedeelde toepassingsidentiteit.

9. Uitzonderingen op de standaarden

Welke uitzonderingen kunnen een gegevensdomein goedkeuren? De organisatie moet definiëren welke standaarden en gegevensdomeinen kunnen variëren en waarvoor centrale goedkeuring is vereist.

  • Gegevensdomeinen moeten gemachtigd zijn om uitzonderingen goed te keuren die alleen van invloed zijn op hun budget of lokaal bedrijfsmodel. Ze mogen geen uitzonderingen goedkeuren die de organisatiebrede vereisten voor naleving van beveiliging of regelgeving verzwakken. Centrale goedkeuring moet ook vereist zijn voor uitzonderingen die de interoperabiliteitsvereisten voor de hele organisatie of de minimale publicatiestandaard voor gegevensproducten verzwakken.

  • Centrale governance moet verantwoordelijk zijn voor organisatiebrede standaarden en deze beoordelen naarmate de mogelijkheden van Fabric en de organisatieprocedures zich ontwikkelen. Gegevensdomeinen moeten terugkerende uitzonderingen aanleveren voor deze beoordelingen. Herhaalde uitzonderingen kunnen erop wijzen dat een organisatiestandaard moet worden gewijzigd.

  • Laatst bijgewerkt om