Standardy operacyjne dla ujednoliconej platformy danych

Ten artykuł ułatwia osobom podejmującym decyzje ustalenie standardów operacyjnych dotyczących opracowywania i używania produktów data na ujednoliconej platformie danych.

Organizacje muszą zdecydować, w jaki sposób domeny danych udostępniają dane za pośrednictwem usługi OneLake i w jaki sposób przekształca się je w zaufane produkty danych do ponownego wykorzystania w całej organizacji. Centralne zarządzanie powinno ustanowić standardy dla całej organizacji. Domeny danych powinny posiadać swoje produkty danych i podejmować decyzje dotyczące implementacji w ich ramach.

Spójne standardy zmniejszają niepotrzebne duplikowanie i pomagają konsumentom znajdować i używać zaufanych danych z odpowiednią ochroną. W tym artykule opisano pozyskiwanie danych, przekształcanie, publikację, wykorzystanie, zarządzanie cyklem życia, zabezpieczenia i wyjątki.

1. Pobieranie danych

Jakie standardy powinny regulować pobieranie danych? Organizacja musi ustanowić standardy określające, które dane źródłowe są udostępniane za pośrednictwem usługi OneLake, oraz preferowane metody ich udostępniania. Udostępniaj dane źródłowe za pośrednictwem usługi OneLake wyłącznie wtedy, gdy służy to zatwierdzonemu produktowi danych lub potrzebie analitycznej.

1.1 Metody wprowadzania danych

Jak domeny danych powinny udostępniać dane źródłowe za pośrednictwem usługi OneLake? Organizacja powinna preferować wzorce, które minimalizują niepotrzebne przenoszenie danych.

  • Skróty powinny być preferowanym wzorcem, gdy obsługiwane dane mogą pozostać u źródła.
  • Replikacja lustrzana powinna być preferowanym wzorcem w przypadku obsługiwanych źródeł, gdy Fabric wymaga zsynchronizowanego dostępu do zewnętrznej bazy danych lub katalogu.
  • Przemieszczanie danych powinno być używane, gdy Fabric wymaga kopii danych, a skróty ani replikacja lustrzana nie spełniają tego wymagania.

Domeny danych mogą wybrać inną zatwierdzoną metodę pozyskiwania danych, gdy preferowany wzorzec nie spełnia wymagań. Zobacz Ujednolicenie danych za pomocą skrótów OneLake i mirroringu.

1.2 Źródła danych

Jak należy zintegrować różne źródła danych? Domeny danych powinny udostępniać zaufane dane wyjściowe za pośrednictwem usługi OneLake, a nie odtwarzać równoważne przetwarzanie w usłudze Fabric bez mierzalnych korzyści organizacyjnych.

  • Microsoft 365: Microsoft 365 powinien zwykle pozostać głównym systemem ewidencji dla zawartości związanej ze współpracą. Domeny danych powinny włączać zawartość z platformy Microsoft 365 do ujednoliconej platformy danych tylko wtedy, gdy wymaga tego zatwierdzony produkt danych, na przykład na potrzeby analizy ustrukturyzowanej.

  • Bazy danych operacyjne: powinny pozostać zoptymalizowane pod kątem obciążeń transakcyjnych. Domeny danych nie powinny zezwalać obciążeniom analitycznym lub AI na bezpośrednie wykonywanie zapytań do operacyjnej bazy danych, chyba że właściciel bazy danych zatwierdził oczekiwane obciążenie i ustanowił wymagane mechanizmy kontroli.

  • Istniejące platformy danych: istniejące jeziora danych i platformy transformacji, takie jak Azure Databricks, powinny być nadal wykorzystywane, jeśli nadal spełniają wymagania organizacji. Migracja lub odtworzenie w Fabric powinny przynosić mierzalne korzyści organizacyjne. Zobacz Skróty, Tworzenie kopii lustrzanej katalogu Unity Catalog w usłudze Azure Databricks i Integracja usługi OneLake z Azure Databricks.

2. Przekształcanie danych

Jak należy przekształcać dane w produkty danych? Organizacja powinna określić preferowaną platformę transformacyjną, aby ograniczyć niepotrzebne powielanie funkcji. Microsoft Fabric może być używany jako domyślna opcja, jeśli spełnia wymagania dotyczące produktu danych. Istniejące platformy, takie jak Azure Databricks, powinny pozostać w użyciu, gdy zapewniają wymagane możliwości lub reprezentują ustanowioną inwestycję organizacyjną.

Wzorzec przekształcania: Architektura medalionu powinna być preferowanym wzorcem, gdy dane korzystają na stopniowym uszczegóławianiu. Domeny danych powinny korzystać tylko z etapów zapewnienia jakości wymaganych do utworzenia zaufanego produktu danych.

Zobacz zmaterializowane widoki jeziora danych w usłudze Fabric, architekturę lakehouse Medallion w usłudze Fabric i kompleksową analitykę w Microsoft Fabric.

3. Publikacja

Co powinno istnieć, aby produkt data został opublikowany? Produkt danych może składać się z jednego lub większej liczby zasobów technicznych, które łącznie zapewniają wspieraną ofertę biznesową. Każdy opublikowany produkt danych musi mieć przypisanego właściciela oraz określone: uzasadniony cel biznesowy, zamierzone użycie, proces dostępu i status jakości. Gdy odbiorcy polegają na terminowej dostępności, powinno to również określać zobowiązanie operacyjne.

  • Mechanizmy kontroli zabezpieczeń: Wymagane mechanizmy kontroli zabezpieczeń muszą być wprowadzone przed publikacją. Produkty zawierające dane wrażliwe muszą mieć wymagane wymogi dotyczące klasyfikacji i obsługi. Zobacz Etykiety poufności usługi Purview.

  • Metadane: Ta organizacja musi zdefiniować minimalny zestaw metadanych dla opublikowanych produktów danych. Konsumenci powinni być w stanie określić właściwą domenę danych, właściciela odpowiedzialnego, obsługiwane zastosowanie, gwarancję jakości i wymagania dotyczące dostępu. Zobacz tagi w usłudze Fabric i metadane niestandardowe w usłudze Purview.

  • Pochodzenie danych: Dostępne pochodzenie danych powinno dostarczyć wystarczających informacji, aby zrozumieć istotne zależności upstream i ocenić wpływ downstream. Zobacz Lineage w Fabric.

4. Wykrywanie

Jak konsumenci mają znajdować produkty data? Opublikowane produkty danych powinny być domyślnie szeroko odnajdywalne. Użyj katalogu OneLake do natywnego w usłudze Fabric odkrywania. Reprezentuj produkt danych w Ujednolicony wykaz Microsoft Purview, gdy wymaga kontekstu biznesowego przedsiębiorstwa lub ładu w szerszej infrastrukturze danych.

Zobacz Omówienie katalogu OneLake i produkty danych w ujednoliconym katalogu.

5. Poświadczenie

Jak użytkownicy powinni określić, czy produkt data budzi zaufanie przy ponownym użyciu? Poświadczenie w usłudze Fabric może pomóc użytkownikom ocenić poziom gwarancji zapewnianej przez elementy wspierające produkt danych. Organizacja musi ustanowić spójne znaczenia i wymagania dla każdego poziomu poparcia.

  • Promocja powinna wskazywać, że domena danych będąca właścicielem zaleca ponowne użycie produktu danych.

  • Poświadczenie powinno wskazywać, że autoryzowany recenzent potwierdził, że produkt danych spełnia zdefiniowane standardy organizacyjne.

Publikacja nie powinna wymagać certyfikacji. Publikacja ustanawia minimalny próg organizacyjny dla dozwolonego ponownego użycia. Certyfikacja zapewnia dodatkową gwarancję. Zobacz Rekomendacja w Fabric.

6. Zatwierdzone zużycie

Kiedy konsumenci mogą korzystać z produktu danych bez dodatkowego zatwierdzenia? Produkty danych mogą obsługiwać wiele wzorców użycia, w tym analizę, aplikacje, ugruntowanie AI i agentów. Te same zatwierdzone standardy użytkowania i zabezpieczeń mają zastosowanie niezależnie od technologii korzystającej z nich. Domena danych będąca właścicielem musi definiować zastosowania obsługiwane przez każdy opublikowany produkt danych. Konsumenci powinni mieć możliwość korzystania z produktu danych bez dodatkowego zatwierdzenia, gdy proponowane użycie mieści się w tych granicach.

Organizacja musi definiować zastosowania, które zawsze wymagają dodatkowego przeglądu. Zastosowania te powinny obejmować sytuacje, w których wykorzystanie w istotny sposób zmienia ryzyko danych, takie jak ujawnienie zewnętrzne lub wynikowe wykorzystanie sztucznej inteligencji.

Zatwierdzenie jednego użycia nie może oznaczać zatwierdzenia dla innego. Na przykład produkt danych zatwierdzony do raportowania wewnętrznego nie powinien być automatycznie zatwierdzony do publikacji zewnętrznej. Produkt danych zatwierdzony na potrzeby ugruntowania AI nie powinien być automatycznie zatwierdzony dla agenta, który może podejmować działania o istotnych konsekwencjach.

7. Cykl życia produktu danych

Jak domeny danych powinny zarządzać produktami danych, od których zależą odbiorcy? Opublikowane produkty danych tworzą zależności, którymi musi zarządzać domena danych będąca właścicielem. Organizacja musi ustanowić standardy dotyczące zmian i wycofania, aby konsumenci mogli przygotować się na zakłócenia i przejście w razie potrzeby. Razem wymagania dotyczące publikacji i zobowiązania dotyczące cyklu życia określają umowę między domeną danych będącą właścicielem a konsumentami produktu danych.

7.1 Niezawodność

Jakie standardy niezawodności powinny mieć zastosowanie do opublikowanych produktów data? Organizacja powinna ustanowić wymagania dotyczące niezawodności na podstawie wpływu biznesowego produktu danych na niedostępność lub utratę danych. Domeny danych powinny stosować te wymagania do kompletnego produktu danych, a nie zakładać, że niezawodność usługi OneLake lub innego składnika platformy zapewnia wymagany poziom ochrony.

  • Klasyfikacja niezawodności: Organizacja powinna definiować wymagania dotyczące niezawodności dla każdego poziomu krytyczności biznesowej. Domeny danych muszą zapewnić, że kompletny produkt danych spełnia odpowiednie wymagania.

  • Wymagania dotyczące odtwarzania: Domena danych będąca właścicielem musi zapewnić, że kompletny produkt danych spełnia wymagania dotyczące niezawodności związane z jego krytycznym znaczeniem dla działania firmy. Projekt odzyskiwania po awarii powinien uwzględniać zasób danych i zależności wymagane do jego użycia. Produkty danych o znaczeniu krytycznym dla działania firmy powinny mieć przetestowany proces odzyskiwania.

  • Fabric wymagania dotyczące pojemności: domeny danych powinny zagwarantować, że udostępniona pojemność Fabric nie zapobiega spełnieniu wymagań dotyczących niezawodności żadnego przypisanego produktu danych. Używaj oddzielnej pojemności, gdy produkt danych wymaga kontroli na poziomie pojemności, które nie powinny być stosowane do innych produktów.

Nie traktuj replikacji OneLake jako pełnego odzyskania produktu danych. Każdy produkt danych krytycznych dla działania firmy powinien mieć projekt odzyskiwania, który obejmuje jego dane i wymagane Fabric elementy. Zobacz OneLake disaster recovery and data protection and Fabric experience-specific disaster recovery guidance (Wskazówki dotyczące odzyskiwania po awarii w usłudze OneLake i ochrony danych).

7.2 Zmiany

Jak domeny danych powinny zarządzać zmianami wpływającymi na użytkowników? Właściciele domen danych muszą zarządzać zmianami powodującymi niezgodność zgodnie z wpływem biznesowym produktu danych. Powinni zidentyfikować dotkniętych konsumentów przed wprowadzeniem zmiany powodującej niezgodność i zapewnić okres przejściowy proporcjonalny do wpływu.

Zobowiązania dotyczące zmian powinny rosnąć wraz ze wzrostem zależności i krytyczności biznesowej. Szeroko używany produkt danych obsługujący krytyczny proces biznesowy powinien mieć silniejsze wymagania dotyczące zmian niż produkt danych z ograniczonym użyciem.

Domeny danych powinny używać dostępnej analizy śledzenia pochodzenia danych i wpływu, aby zidentyfikować zależności techniczne. Powinny one również uwzględniać znane zależności biznesowe, których techniczna linia pochodzenia danych nie przechwytuje. Zobacz analizę wpływu w usłudze Fabric.

7.3 Wycofanie z użycia

Jak domena danych powinna wycofać opublikowany produkt danych? Organizacja musi ustanowić minimalne wymogi przejścia na emeryturę. Przed wycofaniem domena danych będąca właścicielem musi ocenić aktywne zależności i zapewnić okres przejściowy proporcjonalny do wpływu na działalność biznesową.

Domena danych będąca właścicielem powinna identyfikować zatwierdzony zamiennik, gdy istnieje. Powinno to usunąć adnotację o przestarzałości, gdy klienci powinni przestać tworzyć nowe zależności. Istniejący użytkownicy muszą otrzymać wystarczające powiadomienie przed zakończeniem dostępu.

8. Bezpieczeństwo produktu danych

Jak należy zastosować wymagania dotyczące autoryzacji, gdy produkty danych są wykorzystywane? Nowa ścieżka konsumpcji nie może osłabić ochrony wymaganej przez źródłowy produkt danych. Organizacja musi sklasyfikować zatwierdzone wzorce zużycia zgodnie z tym, czy wymagania dotyczące autoryzacji produktu danych pozostają w mocy.

8.1. Zachowano źródło

Kiedy wzorzec użycia zachowuje uprawnienia źródłowego produktu danych? Wzorzec użycia może polegać na uprawnieniach dostępu źródłowego produktu danych, gdy zachowuje tożsamość konsumenta i nadal wymusza wymagane ograniczenia dostępu.

Jeśli na przykład produkt danych dotyczących sprzedaży ogranicza każdego sprzedawcę do przypisanych klientów, wzorzec użycia musi zachować to ograniczenie dla każdego konsumenta. Organizacje powinny zweryfikować każdy zatwierdzony wzorzec, zanim dopuści się go do korzystania z ograniczonych danych.

Zobacz Fabric agentów danych, Power BI i serwera OneLake MCP.

8.2. Nowa granica autoryzacji

Jakie standardy mają zastosowanie, gdy wzorzec zużycia musi ustanowić nową granicę autoryzacji? Wzorzec zużycia, który nie zachowuje wymagań autoryzacji produktu danych źródłowych, musi ustanowić nową granicę autoryzacji, która zapewnia równoważną ochronę. Organizacja nie powinna zatwierdzać schematu dla danych ograniczonych, gdy nie może zapewnić tej ochrony.

Taka sytuacja występuje często, gdy usługa tworzy kolejną reprezentację danych lub uzyskuje dostęp do danych źródłowych za pośrednictwem tożsamości aplikacji udostępnionej.

9. Wyjątki od standardów

Które wyjątki może zatwierdzić domena danych? Organizacja musi zdefiniować, które domeny danych standardów mogą się różnić i które wymagają centralnego zatwierdzenia.

  • Domeny danych powinny mieć uprawnienia do zatwierdzania wyjątków, które mają wpływ tylko na ich budżet lub lokalny model operacyjny. Nie mogą zatwierdzać wyjątków, które osłabiają wymagania organizacji dotyczące zabezpieczeń lub zgodności z przepisami. Centralne zatwierdzenie powinno być również wymagane w przypadku wyjątków, które osłabiają wymagania dotyczące współdziałania w całej organizacji lub minimalny standard publikowania produktów danych.

  • Centralne zarządzanie powinno odpowiadać za standardy obowiązujące w całej organizacji i przeglądać je w miarę rozwoju możliwości Fabric i praktyk organizacyjnych. Domeny danych powinny udostępniać cykliczne wyjątki jako dane wejściowe do tych przeglądów. Powtarzające się wyjątki mogą wskazywać, że standard organizacyjny musi ulec zmianie.

  • Ostatnia aktualizacja o