Ocena filtrów wierszy i zasad maskowania kolumn oraz zachowanie w czasie wykonywania

Uwaga / Notatka

Ta strona opisuje sposób oceny i działania w czasie wykonywania zasad filtrowania wierszy i maskowania kolumn, które używają funkcji UDF i są egzekwowane przez Databricks Runtime podczas wykonywania zapytań. Informacje o zasadach GRANT można znaleźć w sekcji zasady ABAC GRANT. Informacje o zasadach DENY (Beta) znajdziesz w artykule Zasady ABAC DENY (Beta).

Na tej stronie wyjaśniono, jak zasady ABAC są oceniane w czasie wykonywania zapytań, w tym:

  • Gdy polityki się kolidują
  • Jak działa rzutowanie typu maski kolumn
  • Jakie zabezpieczenia uniemożliwiają ujawnienie danych w przypadku usunięcia tagów lub funkcji, od których zależą zasady

Ocena i wymuszanie zasad

Gdy użytkownik wysyła zapytanie do tabeli, ocena ABAC postępuje w dwóch etapach: ocena zasad w katalogu Unity i wymuszanie zasad w środowisku Databricks Runtime.

Różni użytkownicy mogą wyświetlać różne wyniki z tego samego zapytania, ponieważ ocena zasad zależy od tożsamości użytkownika, członkostwa w grupach i tagów dotyczących danych, do których uzyskują dostęp. Zmiany członkostwa w grupie lub przypisań tagów dynamicznie zmieniają obowiązujące zasady w czasie wykonywania zapytań.

Ocena zasad (Katalog Unity)

Dla każdej tabeli cytowanej w zapytaniu Unity Catalog wykonuje następujące kroki, korzystając z metadanych tej tabeli (np. przypisania regulowanych tagów) oraz tożsamości użytkownika i członkostwa grupowego użytkownika:

  1. Identyfikuje wszystkie zasady, których zakres obejmuje tabelę objętą zapytaniem.
  2. Dla każdej z tych zasad sprawdza, czy użytkownik wykonujący zapytanie znajduje się na TO liście, a nie na EXCEPT liście.
  3. Dla każdej polityki ocenia, czy zapytywana tabela spełnia warunki polisy. Warunki polityki mogą odwoływać się do tagów, w tym do odziedziczonych tagów, atrybutów tożsamości oraz atrybutów kontekstu. Warunki muszą pasować do co najmniej jednej kolumny.
  4. Jeśli zasady mają zastosowanie, określa skuteczny filtr wiersza lub maskę kolumny i wysyła je do środowiska Databricks Runtime w ramach metadanych tabeli.

Na tabeli wiele polityk może kolidować (zobacz Filtry konfliktowe i maski na tabeli).

Podczas zapytania do tabeli przez widok lub wywoływania funkcji zapytującej tabelę, zaangażowane są dwie tożsamości. Dostęp do tabel bazowych jest sprawdzany względem tożsamości właściciela widoku lub funkcji, natomiast polityki są oceniane względem tożsamości użytkownika zapytującego, jak opisano powyżej. Pozwala to użytkownikom wykonywać zapytania na widoku lub wywołać funkcję bez bezpośredniego dostępu do tabel bazowych, jednocześnie egzekwując wszystkie polityki mające zastosowanie do użytkownika wykonującego zapytanie. Na przykład, gdy Alice odpytuje widok należący do Boba, Unity Catalog najpierw sprawdza, czy Alice ma SELECT do widoku i czy Bob ma dostęp do tabel leżących u podstaw. Alice nie wymaga dostępu do tabel bazowych. Unity Catalog stosuje następnie zasady filtrowania wierszowego i maski kolumnowej, które odpowiadają tożsamości Alice, dzięki czemu Alice widzi tylko dane, na które pozwalają jej własne polityki.

Egzekwowanie zasad (Databricks Runtime)

Planer zapytań Databricks Runtime tłumaczy efektywny filtr wierszowy lub maskę kolumnową na bezpieczny widok na podstawie skanów tabel, które wymuszają filtrowanie i maskowanie podczas wykonywania zapytań. Jest to ten sam mechanizm wymuszania używany w przypadku filtrów wierszy na poziomie tabeli i masek kolumn.

Podróż w czasie z zasadami ABAC

Podróże w czasie pozwalają zapytać o dane historyczne tabeli za pomocą konkretnego znacznika czasu lub numeru wersji. Zapytania dotyczące podróży w czasie w tabelach kwalifikujących się egzekwują zasady filtrów wierszy ABAC i masek kolumnowych. Więcej informacji można znaleźć w artykule Podróże w czasie z politykami ABAC.

Projekt zamknięty w trybie fail-closed

Model ABAC działa zgodnie z zasadą działania do momentu zablokowania, gdzie jeśli system Azure Databricks nie może zweryfikować zabezpieczeń, domyślnie odmawia dostępu. Azure Databricks zezwala tylko na dostęp do tabel zabezpieczonych przez ABAC, gdy może bezpiecznie wymuszać wszystkie obowiązujące zasady. Dotyczy to nieobsługiwanych wersji obliczeniowych, określonych operacji na danych tabeli bazowej oraz sytuacji, w których zależności zasad (tagi lub funkcje) zostały usunięte.

Nieobsługiwane wersje obliczeniowe

Zasady ABAC wymagają Databricks Runtime w wersji 16.4 lub nowszej, lub obliczeń bezserwerowych. Jeśli użytkownik próbuje uzyskać dostęp do tabeli zabezpieczonej przez abAC z nieobsługiwanej wersji, zapytanie zakończy się niepowodzeniem (odmowa dostępu), aby zapobiec niechronionej ekspozycji danych.

W dedykowanym trybie dostępu Azure Databricks deleguje wymuszanie do zasobów obliczeniowych bezserwerowych w celu zagwarantowania zastosowania szczegółowych kontroli dostępu. Aby umożliwić użytkownikom w starszych środowiskach uruchomieniowych dostęp do tych tabel, należy jawnie wykluczyć je z zasad.

Nieobsługiwane operacje na chronionych danych

Niektóre operacje są niezgodne z filtrami wierszy lub maskami kolumn. Te działania kończą się niepowodzeniem, a nie omijają egzekwowania. Aby je uruchomić, główny podmiot musi być wymieniony w EXCEPT klauzuli każdej zasady ABAC, która ma zastosowanie do tabeli. Zwolnione podmioty główne nie podlegają polityce, dlatego Azure Databricks nie musi jej wymuszać i może bezpiecznie zezwolić na operację.

Operacje, które wymagają wykluczenia zaangażowanego podmiotu, obejmują odświeżanie procesów ciągłych, procesy tworzenia kopii zapasowych i administracyjne procedury, takie jak:

  • Uzyskiwanie dostępu do tabel zabezpieczonych ABAC z zasobów obliczeniowych z uruchomionym środowiskiem Databricks Runtime w wersjach poniżej 16.4
  • Głębokie i płytkie klonowanie
  • OpenSharing, gdzie właściciel udziału musi być wykluczony z zasad i mieć wymagane uprawnienia do udostępniania OpenSharing. Należy pamiętać, że zasady nie zarządzają dostępem adresata.
  • Tworzenie i synchronizowanie indeksu wyszukiwania sztucznej inteligencji

Aby uzyskać więcej informacji na temat tych i innych ograniczeń, zobacz Wymagania, limity przydziału i ograniczenia dotyczące zasad filtrowania wierszy i maski kolumn.

Usunięto zależności polityki

Zasady ABAC zależą od zarządzanych tagów i pól zdefiniowanych przez użytkownika. Jeśli którakolwiek z tych zależności zostanie usunięta, podczas gdy zasady nadal odwołują się do nich, zapytania względem tabel w zakresie zasad kończą się niepowodzeniem.

Usuwanie tagów podlegających regulacjom

Jeśli usuniesz tag zarządzany, do którego odwołuje się zasada ABAC, wszystkie zapytania dotyczące obiektu, do którego załączona jest zasada, oraz jego obiektów podrzędnych kończą się niepowodzeniem z powodu błędu INVALID_PARAMETER_VALUE.UC_ABAC_UNKNOWN_TAG_POLICY. Dzieje się tak, nawet jeśli tag nie został zastosowany do zapytanych tabel.

Po usunięciu tagu zarządzanego staje się on tagiem ungoverned. Dozwolone ograniczenia wartości są usuwane, a każda osoba posiadająca APPLY TAG może modyfikować wartości bez przywileju ASSIGN.

Ostrzeżenie

Interfejs użytkownika i interfejs API nie uniemożliwiają usunięcia tagu zarządzanego, do którego odwołuje się zasada ABAC. Przed usunięciem tagu zarządzanego upewnij się, że żadne zasady ABAC nie odwołują się do niego.

Aby rozwiązać ten problem, przywróć usunięty tag lub zaktualizuj lub usuń zasady odwołujące się do niego. Zobacz Tworzenie tagów zarządzanych i zarządzanie nimi.

Usuwanie kolumny oznaczonej tagiem

Azure Databricks uniemożliwia usunięcie kolumny, która ma zastosowany tag zarządzany. Aby usunąć kolumnę, użytkownik z ASSIGN tagiem i APPLY TAG na obiekcie musi najpierw usunąć tag, a następnie usunąć kolumnę.

Jest to istotne w przypadku potoków deklaratywnych i innych zautomatyzowanych przepływów pracy, które modyfikują schematy tabel. Jeśli potok próbuje usunąć otagowaną kolumnę, operacja zawiedzie. Aby odblokować potok, użytkownik z wymaganymi uprawnieniami tagu musi usunąć tag, uruchomić potok, aby zmiana schematu powiodła się, a następnie ponownie zastosować tag do odpowiednich kolumn. Jeśli tag nie zostanie zastosowany ponownie, zapytania dotyczące danych zakończą się niepowodzeniem, ponieważ zasada pozostaje w mocy, ale spodziewany tag nie jest już przypisany do obiektu.

Usuwanie funkcji odwołującej się do zasad

Jeśli funkcja zdefiniowana przez użytkownika, do której odwołuje się zasada, zostanie usunięta, podczas gdy zasada nadal obowiązuje, zapytania względem tabel w tym zakresie zawodzą.UC_DEPENDENCY_DOES_NOT_EXIST Aby rozwiązać ten problem, przywróć funkcję lub zaktualizuj politykę, aby odwoływała się do innego funkcji UDF (funkcja zdefiniowana przez użytkownika).

Warunki atrybutów tożsamości

Funkcje atrybutów tożsamości (has_identity_attribute_value i has_identity_attribute_tag_match) rozwiązują się następująco:

  • Jeśli użytkownik nie ma wartości dla atrybutu, nie ma żadnych atrybutów lub polityka nazywa atrybut, który nie istnieje, funkcja zwraca false. Nie powoduje błędu. Ponieważ brak wartości zwraca false, sformułuj warunki tak, aby brak wartości ograniczał dostęp, zamiast go przyznawać.
  • Jeśli polityka określa has_identity_attribute_tag_match zarządzany klucz tagu, który nie istnieje, utworzenie polityki kończy się niepowodzeniem.

Warunki atrybutów kontekstu

Funkcje atrybutów kontekstu (has_context_attribute i has_context_attribute_value) rozwiązują się następująco:

  • request.client_id jest obecny tylko na niektórych ścieżkach żądań. Jest ustawiane dla żądań wykonywanych w imieniu użytkownika za pośrednictwem aplikacji OAuth, a w przeciwnym razie nie występuje. request.is_on_behalf_of jest obecna z wartością 'true' lub 'false', albo jest nieobecna na nieobsługiwanych ścieżkach obliczeniowych.
  • Gdy rozpoznany atrybut nie jest obecny w żądaniu, funkcja zwraca false (nie generuje błędu). Sformułuj warunki tak, aby ten wynik ograniczał dostęp, a nie go przyznawał.
  • Klucz, który nie jest rozpoznawanym atrybutem request.*, na przykład klucz z błędną pisownią, powoduje błąd oceny zamiast zostać rozpoznany jako false. Używaj dokładnych nazw request.client_id i request.is_on_behalf_of.

Jeśli wyłączysz funkcję wstępną UC ABAC Context Attributes, gdy nadal istnieją zasady filtrowania wierszy lub maskowania kolumn korzystające z tych funkcji, zapytania dotyczące danych, których to dotyczy, kończą się niepowodzeniem z UC_ABAC_CONTEXT_ATTRIBUTE_FUNCTIONS_DISABLED zamiast po cichu nie zwracać żadnych wierszy. Zarządzanie polityką nie jest tym dotknięte. Nadal możesz wyświetlać, modyfikować i usuwać zasady. Usuń lub przepisz polityki atrybutów kontekstu przed wyłączeniem funkcji.

Sprzeczne filtry i maski

W czasie zapytania dla danej tabeli i użytkownika można zastosować tylko jeden odrębny filtr wierszy. Podobnie tylko jedna odrębna maska kolumn na kolumnę może być rozpoznawana w czasie wykonywania dla danej kolumny i użytkownika. Zapobiega to niejednoznacznym wynikom.

Jeśli wiele różnych filtrów lub masek ma zastosowanie do tego samego użytkownika i tabeli (lub kolumny), Azure Databricks blokuje dostęp i zwraca błąd. Przykład:

  • Filtr lub maska na poziomie tabeli powoduje konflikt z zasadami ABAC. Tabela lub kolumna, która ma już ręcznie zastosowany filtr wiersza lub maskę kolumny, powoduje konflikt z dowolnym filtrem lub maską zdefiniowaną przez ABAC dla tego samego elementu docelowego.
  • Klauzula filtru wiersza USING COLUMNS odnosi się do aliasu MATCH COLUMNS, który odpowiada wielu kolumnom. Klauzula USING COLUMNS przekazuje wartości kolumn do funkcji zdefiniowanej przez użytkownika. MATCH COLUMNS Jeśli alias w klauzuli USING COLUMNS pasuje do więcej niż jednej kolumny, silnik nie może określić, która kolumna ma być przekazywana do funkcji zdefiniowanej przez użytkownika, a zapytanie zwraca błąd.
  • Do zamaskowanej kolumny odwołuje się klauzula USING COLUMNS innej zasady. Jeśli kolumna jest maskowana przez jedną zasadę, nie można jej użyć jako argumentu wejściowego w USING COLUMNS klauzuli innej zasady.

Wiele zasad ABAC może współistnieć dla tej samej tabeli lub kolumny, jeśli powodują one ten sam skuteczny filtr lub maskę. Na przykład dwie zasady odwołujące się do tej samej funkcji UDF (zdefiniowanej przez użytkownika) z tymi samymi argumentami rozwiązują się do tego samego filtra lub maski i nie powodują konfliktu.

Rozwiązywanie problemów z konfliktami zasad

Gdy Azure Databricks wykrywa wiele różnych filtrów lub masek podczas oceny zasad dla danego użytkownika, zgłasza INVALID_PARAMETER_VALUE.UC_ABAC_MULTIPLE_ROW_FILTERS lub COLUMN_MASKS_FEATURE_NOT_SUPPORTED.MULTIPLE_MASKS błąd i blokuje dostęp do tabeli, dopóki konflikt nie zostanie rozwiązany.

Diagnozowanie i rozwiązywanie problemów:

  1. Użyj SHOW EFFECTIVE POLICIES polecenia , aby wyświetlić wszystkie zasady, które mają zastosowanie do tabeli.
  2. Sprawdź INFORMATION_SCHEMA.ROW_FILTERS i INFORMATION_SCHEMA.COLUMN_MASKS , aby zidentyfikować filtry wierszy na poziomie tabeli lub maski kolumn, które mogą powodować konflikt.
  3. Sprawdź, które polityki nakładają się na ich TO/EXCEPT zasady i WHEN/MATCH COLUMNS warunki.
  4. Rozwiąż przez:
    • Udoskonalanie warunków polityki. Zaktualizuj klauzule WHEN lub MATCH COLUMNS, aby były bardziej precyzyjne, tak aby różne zasady dotyczyły konkretnych tabel lub kolumn.
    • Dostosowywanie tagów podlegających nadzorowi. Przejrzyj przypisania tagów w kolumnach lub tabelach, które wyzwalają niezamierzone dopasowania zasad, i usuń je lub zaktualizuj.
    • Dostosowywanie głównych czynników. Zaktualizuj TO/EXCEPT klauzule, aby każdy użytkownik był objęty co najwyżej jedną zasadą na tabelę (w przypadku filtrów wierszy) lub na kolumnę (w przypadku masek kolumn).
    • Zasady restrukturyzacji. Skonsoliduj nakładające się zasady na pojedyncze zasady lub podziel szerokie zasady na oddzielne, jawnie ukierunkowane.

Automatyczne rzutowanie typów dla masek kolumn

Azure Databricks automatycznie rzutuje zarówno dane wejściowe, jak i wyjściowe funkcji maskujących kolumny wynikające z zasad ABAC. Wartość kolumny wejściowej jest rzutowa w celu dopasowania do typu parametru funkcji maski, a dane wyjściowe funkcji są rzutowe w celu dopasowania do typu danych kolumny docelowej. Zapewnia to spójność typu i niezawodne zachowanie zapytań podczas maskowania kolumn. Automatyczne rzutowanie działa w następujący sposób:

  1. Wykonywanie funkcji maskowania: gdy ocena zasad określa, że maskowanie ma zastosowanie, funkcja maskowania jest uruchamiana na pasujących wartościach kolumn.
  2. Automatyczne rzutowanie typów: Azure Databricks rzutuje wartość kolumny wejściowej w celu dopasowania do typu parametru funkcji i rzutuje dane wyjściowe funkcji w celu dopasowania do typu danych kolumny docelowej.
  3. Zwracany wynik: poprawnie wpisany wynik jest zwracany do zapytania.

Jeśli typy danych wejściowych lub wyjściowych nie są zgodne, rzutowanie kończy się niepowodzeniem, a zapytanie zwraca błąd środowiska uruchomieniowego. Rzutowanie jest zgodne ze standardami ANSI SQL dla operacji CAST (pełne informacje o zgodności), z jednym rozszerzeniem, które nie jest obsługiwane w standardowym SQL: zasady maskowania kolumn i filtrowania wierszy ABAC mogą rzutować kolumny typu złożonego na VARIANT. STRUCT kolumny są obsługiwane w Databricks Runtime w wersji 18.1 i nowszych, a kolumny ARRAY i MAP<STRING, ...> są obsługiwane w Databricks Runtime w wersji 19 i nowszych. Zobacz kolumny Mask STRUCT, ARRAY i MAP.

Należy upewnić się, że funkcje maski zwracają typy zgodne z kolumnami docelowymi. Zobacz funkcje maskowania zgodne z funkcją Cast, aby zobaczyć przykłady, oraz podejście VARIANT do elastycznego maskowania dla różnych typów kolumn.