Co to jest usługa Azure Databricks Clean Rooms?

Ta strona przedstawia funkcję Clean Rooms platformy Azure Databricks, która wykorzystuje OpenSharing i bezserwerowe zasoby obliczeniowe, aby zapewnić bezpieczne środowisko chroniące prywatność, w którym wiele stron może współpracować nad poufnymi danymi przedsiębiorstwa bez bezpośredniego dostępu do danych pozostałych stron.

Wymagania

Aby kwalifikować się do korzystania z czystych pomieszczeń, musisz mieć:

Jeśli dane uczestnika znajdują się w magazynie danych chronionym przez zaporę sieciową lub prywatny punkt końcowy, włącz SecureConnect, aby bezserwerowe zasoby obliczeniowe clean room mogły uzyskać do nich dostęp bez konieczności dodawania sieci obliczeniowej clean room do listy dozwolonych, nawet w przypadku współpracowników z innych regionów lub chmur. Zobacz Enable SecureConnect for a clean room (Włączanie protokołu SecureConnect dla czystego pokoju).

Jak działają czyste pokoje?

Podczas tworzenia czystego pokoju utworzysz następujące elementy:

  • Obiekt zabezpieczanej strefy czystej w metamagazynie katalogu Unity.
  • Pomieszczenie czyste "centralne", będące izolowanym środowiskiem efemerycznym, zarządzane przez Databricks.
  • Zabezpieczalny obiekt w czystej sali w repozytorium metadanych Unity Catalog współpracownika.

Tabele, wolumeny (dane nietabelaryczne), widoki i notatniki, które którykolwiek ze współpracowników udostępnia w clean roomie, są udostępniane wyłącznie centralnemu clean roomowi za pomocą mechanizmu OpenSharing.

Współpracownicy nie widzą danych w tabelach, widokach lub woluminach innych współpracowników, ale mogą wyświetlać nazwy kolumn i typy kolumn i mogą uruchamiać zatwierdzony kod notesu, który działa na zasobach danych. Kod notesu jest uruchamiany w centralnym pomieszczeniu o kontrolowanej czystości. Notatniki mogą również generować tabele danych wyjściowych , które umożliwiają współpracownikowi tymczasowe zapisywanie danych wyjściowych tylko do odczytu w magazynie katalogu Unity Catalog, aby mógł z nimi pracować w swoich obszarach roboczych.

Czyste pokoje o prostej architekturze i organizacji, z tabelami wyjściowymi

W jaki sposób clean rooms zapewnia środowisko bez zaufania?

Model „Izolowane Środowiska” usługi Databricks to model „braku zaufania”. Wszyscy współpracownicy w pomieszczeniu o zerowym poziomie zaufania mają równe uprawnienia, w tym twórca tego pomieszczenia. Funkcja Clean Rooms została zaprojektowana w celu zapobiegania uruchamianiu nieautoryzowanego kodu i nieautoryzowanego udostępniania danych. To zaufanie jest wymuszane bezpośrednio przez wymaganie od wszystkich współpracowników zatwierdzenia notatnika przed jego uruchomieniem. Notatnik można przesłać samodzielnie, ale przed uruchomieniem musi zostać zatwierdzony przez innych współpracowników. Zobacz Zatwierdzanie notesu w czystym pomieszczeniu.

Note

Prefabrykowane pomieszczenia czyste są wyjątkiem od tego modelu. Używają modelu dostawcy-konsumenta, w którym współpracownicy nie mają równych uprawnień. Zobacz Spakowane czyste pokoje.

Dodatkowe zabezpieczenia lub ograniczenia

Oprócz wyraźnego zatwierdzania zeszytów wymienionego powyżej, obowiązują następujące zabezpieczenia:

  • Po utworzeniu czystego pokoju jest on zablokowany, aby uniemożliwić nowym współpracownikom dołączenie do czystego pokoju.

  • Jeśli jakikolwiek współpracownik usunie czyste pomieszczenie, centralne czyste pomieszczenie traci ważność i żadne zadania w czystym pomieszczeniu nie mogą być uruchamiane przez żadnego użytkownika.

  • Każdy czysty pokój jest ograniczony do dziesięciu współpracowników.

  • Nie można zmienić nazwy czystego pokoju.

    Nazwa czystego pokoju musi być unikatowa w magazynie metadanych każdego współpracownika, aby wszyscy współpracownicy mogli jednoznacznie odwoływać się do tego samego czystego pokoju.

  • Kiedy współpracownik dodaje komentarze w sekurowanym czystym pokoju w swoim obszarze roboczym, te komentarze nie są propagowane do innych współpracowników.

Co jest udostępniane innym współpracownikom?

  • Czysta nazwa pokoju.
  • Chmura i obszar centralnego pomieszczenia czystej przestrzeni.
  • Nazwa organizacji (która może być dowolną wybraną nazwą).
  • Identyfikator udostępniania pomieszczeń czystych (globalny identyfikator magazynu metadanych + identyfikator obszaru roboczego i adres e-mail użytkownika).
  • Aliasy udostępnionych tabel, widoków lub woluminów.
  • Metadane kolumn (nazwa kolumny lub alias i typ).
  • Notesy (tylko do odczytu).
  • tabele wyjściowe (tylko do odczytu, tymczasowe).
  • Tabela systemowa zdarzeń w pomieszczeniu czystym.
  • Historia uruchamiania, w tym:
    • Nazwa uruchamianego notatnika
    • Współpracownik, który uruchomił notatnik (a nie użytkownik).
    • Stan uruchomienia notesu.
    • Czas rozpoczęcia uruchomienia notatnika.

Co jest udostępniane w centralnej czystej sali?

  • Wszystkie elementy wymienione w poprzedniej sekcji.

  • Tabele tylko do odczytu, woluminy, widoki i notesy.

    Tabele, widoki i woluminy są zarejestrowane w magazynie metadanych centralnego pomieszczenia czystego z podanymi aliasami. Zasoby danych są współużytkowane w całym cyklu życia czystego pomieszczenia.

Czyszczenie pomieszczeń — często zadawane pytania

Poniżej przedstawiono często zadawane pytania dotyczące czystych pomieszczeń.

W jaki sposób moje dane są zarządzane w czystym pomieszczeniu?

Centralna czysta sala jest zarządzana przez usługę Azure Databricks. W centralnym czystym pomieszczeniu

  • Żadna ze stron nie ma uprawnień administratora.
  • Tylko metadane są widoczne dla wszystkich stron.
  • Każda strona może dodać dane do centralnego czystego pokoju.
  • Czyste pokoje używają funkcji OpenSharing, aby bezpiecznie udostępniać dane czystemu pomieszczeniu, ale nie między uczestnikami. Zobacz Co to jest usługa OpenSharing?.

W jaki sposób moje dane są przechowywane prywatnie?

Centralne systemy pomieszczeń czystych działają na izolowanej, zarządzanej przez Databricks bezserwerowej platformie obliczeniowej, umieszczonej w regionie dostawcy usług chmurowych, wybranym przez twórcę pomieszczenia czystego.

Czyste pokoje zapewniają:

  • Zatwierdzanie kodu: Twórca i współpracownicy w czystym pomieszczeniu mogą udostępniać tabele i woluminy z centralnym czystym pomieszczeniem, ale mogą uruchamiać tylko notatniki przekazane przez inną stronę. Przed zatwierdzeniem można przejrzeć kod dodany przez inną stronę. Jeśli uruchomisz notatnik dodany przez inną stronę, milcząco zatwierdzisz kod.
  • Kontrola wersji: Notatniki cleanroom mają kontrolę wersji, aby upewnić się, że wszyscy użytkownicy mogą uruchamiać tylko w pełni zatwierdzone notatniki. Można uruchomić tylko najnowszą wersję notesu. Możesz użyć tabeli systemu czyszczenia pomieszczeń, aby zobaczyć, która wersja notesu została uruchomiona i monitorować wszelkie wprowadzone zmiany.
  • Ograniczony dostęp: Podczas tworzenia "clean room" można użyć bezserwerowej kontroli ruchu wychodzącego do zarządzania połączeniami sieciowymi wychodzącymi. Jeśli ograniczysz dostęp z czystego pokoju, dostęp do nieautoryzowanego magazynu zostanie zablokowany. Zobacz Czym jest kontrola ruchu wychodzącego bezserwerowego?.

Aby dowiedzieć się więcej o zabezpieczeniach i bezserwerowej płaszczyźnie obliczeniowej, zapoznaj się z sieciami bezserwerowej płaszczyzny obliczeniowej.

Jak są rejestrowane akcje?

Akcje czyszczenia pomieszczeń wykonywane przez Ciebie lub współpracowników są rejestrowane w tabeli systemu zdarzeń w pomieszczeniu czystym. Te rekordy obejmują szczegółowe metadane dotyczące konkretnej akcji podjętej. Zobacz tabelę referencyjną systemu zdarzeń dla pomieszczeń czystych .

Akcje w pomieszczeniu czystym są również zapisywane w dzienniku audytu konta w usłudze clean-room. Zobacz Zdarzenia Clean Rooms.

Gdy współpracownik modyfikuje uprawnienia do zabezpieczalnego pomieszczenia typu clean room w ramach swojego metazbioru, te zmiany są rejestrowane w dziennikach audytów pod unityCatalog usługą.

Jak odbywa się rozliczanie?

Aby dowiedzieć się więcej na temat cennika usługi Databricks Clean Rooms, zobacz link.

Ograniczenia

Obowiązują następujące ograniczenia:

  • Brak bibliotek języka Scala dotyczących poświadczeń usługi w wymaganej wersji środowiska Databricks Runtime.

Limity przydziałów zasobów

Usługa Azure Databricks wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów clean room. Te limity przydziału są wymienione w temacie Limity zasobów. Jeśli spodziewasz się przekroczyć te limity zasobów, skontaktuj się z zespołem konta usługi Azure Databricks.

Można monitorować zużycie limitu przydziałów za pomocą zasobów API Unity Catalog. Sprawdź Monitoruj użycie zasobów Unity Catalog.

Wprowadzenie

  • Last updated on