Płytkie klonowanie tabel Unity Catalog

Użyj klonowania płytkiego, aby utworzyć tabele Unity Catalog z uprawnieniami dostępu niezależnymi od tabel źródłowych, bez kopiowania bazowych plików danych. Klonowanie płytkie w Unity Catalog jest obsługiwane tylko dla tabel Delta Lake. Nie można utworzyć klonu płytkiego tabeli Iceberg ani żadnej innej tabeli innej niż Delta.

Aby uzyskać informacje na temat klonowania tabeli, zobacz Klonowanie tabeli w usłudze Azure Databricks.

Tworzenie zarządzanego płytkiego klonu katalogu Unity

Utwórz płytką kopię zarządzanej tabeli w Unity Catalog.

CREATE TABLE <catalog-name>.<schema-name>.<target-table-name>
SHALLOW CLONE <catalog-name>.<schema-name>.<source-table-name>

Aby utworzyć zarządzany płytki klon w Unity Catalog, musisz mieć następujące uprawnienia na zasobach źródłowych i docelowych.

Podobnie jak w przypadku innych instrukcji CREATE TABLE, po uruchomieniu SHALLOW CLONE stajesz się właścicielem tabeli docelowej. Właściciel sklonowanej tabeli docelowej kontroluje prawa dostępu dla tej tabeli niezależnie od tabeli źródłowej. Właściciel sklonowanej tabeli może różnić się od właściciela tabeli źródłowej.

Tworzenie zewnętrznego płytkiego klonu Katalogu Unity

Określ lokalizację zewnętrzną, aby utworzyć zewnętrzny płytki klon katalogu Unity.

CREATE TABLE <catalog-name>.<schema-name>.<target-table-name>
SHALLOW CLONE <catalog-name>.<schema-name>.<source-table-name>
LOCATION 's3://<bucket-name>/<path-name>/<target-table-name>'

Aby utworzyć zewnętrzny płytki duplikat w Unity Catalog, musisz mieć następujące uprawnienia na zasobach źródłowych i docelowych.

Praca z płytko sklonowanymi tabelami w standardowym trybie dostępu

Aby wykonać zapytanie dotyczące płytkiego klonu w trybie dostępu standardowego (dawniej tryb dostępu współdzielonego), musisz mieć następujące uprawnienia w tabeli i zawierające zasoby:

Aby uruchomić następujące operacje, musisz również mieć MODIFY uprawnienia do obiektu docelowego operacji klonowania:

• INSERT
• DELETE
• UPDATE
• MERGE
• CREATE TABLE
• DROP TABLE

Praca z płytkimi sklonowanymi tabelami w trybie dedykowanego dostępu

Podczas pracy z klonami płytkimi Unity Catalog w trybie dedykowanego dostępu (dawniej tryb dostępu dla pojedynczego użytkownika) musisz mieć uprawnienia do zasobów zarówno źródłowej sklonowanej tabeli, jak i tabeli docelowej.

W przypadku prostych zapytań oprócz wymaganych uprawnień do tabeli docelowej musisz mieć uprawnienia USE do katalogu źródłowego i schematu źródłowego oraz uprawnienia SELECT do tabeli źródłowej. W przypadku zapytań, które aktualizują lub wstawią rekordy do tabeli docelowej, musisz również mieć MODIFY uprawnienia do tabeli źródłowej.

Databricks zaleca używanie klonów Unity Catalog w zasobach obliczeniowych ze standardowym trybem dostępu, ponieważ pozwala to na niezależne zmienianie uprawnień dla docelowych płytkich klonów Unity Catalog i ich tabel źródłowych.

Użyj VACUUM z płytkimi klonami Unity Catalog

W przypadku używania tabel Katalogu Unity jako źródła i celu płytkiej operacji klonowania, Katalog Unity zarządza podstawowymi plikami danych w celu zwiększenia niezawodności źródła i celu operacji klonowania. Uruchomienie VACUUM na źródle płytkiego klonu nie powoduje przerwania sklonowanej tabeli.

Zwykle podczas VACUUM identyfikowania prawidłowych plików dla danego progu przechowywania brane są pod uwagę tylko metadane bieżącej tabeli. Jednak obsługa płytkiego klonowania w Unity Catalog śledzi relacje między wszystkimi tabelami sklonowanymi płytko a źródłowymi plikami danych, dlatego zakres prawidłowych plików jest rozszerzany o pliki danych niezbędne do zwracania wyników zapytań zarówno dla tabel sklonowanych płytko, jak i dla tabeli źródłowej.

W przypadku VACUUM w klonie płytkim Unity Catalog prawidłowym plikiem danych jest dowolny plik mieszczący się w określonym progu retencji dla tabeli źródłowej lub dowolnej sklonowanej tabeli. Tabele zarządzane i tabele zewnętrzne mają nieco inne zachowania.

To ulepszone śledzenie metadanych zmienia sposób, w jaki operacje VACUUM wpływają na bazowe pliki danych w tabelach Delta Lake, w następujący sposób:

• W przypadku tabel zarządzanych operacje VACUUM na źródle lub celu operacji płytkiego klonowania mogą spowodować usunięcie plików danych z tabeli źródłowej.
• W przypadku tabel zewnętrznych operacje VACUUM usuwają pliki danych jedynie wtedy, gdy są wykonywane względem tabeli źródłowej.
• Usuwane są tylko pliki danych, które nie są uznawane za prawidłowe dla tabeli źródłowej lub wszelkie płytkie klony względem źródła.
• Jeśli wiele płytkich klonów jest zdefiniowanych względem pojedynczej tabeli źródłowej, uruchomienie VACUUM na dowolnej z sklonowanych tabel nie powoduje usunięcia prawidłowych plików danych dla innych sklonowanych tabel.

Nawet jeśli usuniesz tabelę sklonowaną płytko, może być potrzebny dostęp SELECT do tej tabeli sklonowanej płytko, aby uruchomić VACUUM na tabeli bazowej. Usługa Databricks odczytuje dziennik delty płytkiego klonu, aby sprawdzić, które pliki danych tabeli bazowej są nadal przez klon używane przed ich usunięciem. Usługa Databricks utrzymuje ten link przez 7 dni po usunięciu płytkiej sklonowanej tabeli w celu obsługi UNDROP operacji. Jednak w standardowym trybie dostępu to uprawnienie nie jest wymagane.

Usuń tabelę bazową dla klonu płytkiego

Możesz usunąć tabelę bazową zarządzanej tabeli Unity Catalog, nawet jeśli istniejące płytkie klony nadal się do niej odwołują. Klony czytają dalej, aż pliki danych tabeli bazowej zostaną usunięte, co wtedy czyni je bezużytecznymi. Możesz przywrócić tabelę bazową za pomocą UNDROP w okresie jej odzyskiwania, który domyślnie wynosi 7 dni i można go ustawić na poziomie katalogu lub schematu na 0 (aby wyłączyć odzyskiwanie) albo na wartość od 7 do 30 dni. Konfiguracja okresu regeneracji znajduje się w Public Preview. Jeśli nie przywrócisz tabeli, asynchroniczny proces czyszczenia usuwa pliki danych po zakończeniu okresu odzyskiwania, dzięki czemu klony mogą czytać przez pewien czas po tym, jak bazowa tabela nie będzie już do odzyskania. Aby odzyskać usuniętą tabelę bazową, użyj UNDROP.

Limitations

• Klonowanie płytkie jest obsługiwane tylko dla tabel Delta Lake. Nie można utworzyć klonu płytkiego tabeli Iceberg ani żadnej innej tabeli innej niż Delta.
• Nie można zastąpić CREATE OR REPLACE istniejącego płytkiego klonu. Użyj DROP TABLE, a następnie CREATE TABLE, lub użyj nowej nazwy tabeli.
• Klony płytkie w tabelach zewnętrznych muszą być również tabelami zewnętrznymi. Płytkie klony w zarządzanych tabelach muszą być tabelami zarządzanymi.
• Nie można udostępniać płytkich klonów przy użyciu funkcji OpenSharing.
• Nie można zagnieżdżać płytkich klonów, co oznacza, że nie można utworzyć płytkiego klonu z płytkiego klonu.
• W przypadku tabel zewnętrznych element DROP TABLE nie usuwa źródłowych plików danych, więc usunięcie tabeli źródłowej nie ma wpływu na płytkie klony.
• W przypadku tabel zarządzanych w Databricks Runtime w wersji 13.3 LTS i nowszych płytkie klony usuniętej tabeli źródłowej działają do momentu usunięcia źródłowych plików danych. Zobacz Usuwanie tabeli bazowej dla płytkiego klonu.