Wybieranie tabel zarządzanych i zewnętrznych

Ukończone

Wskazówka

Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .

Podczas tworzenia tabel w usłudze Azure Databricks należy podjąć podstawową decyzję, która ma wpływ na zarządzanie cyklem życia danych, ład i elastyczność operacyjną. Zrozumienie różnic między tabelami zarządzanymi i tabelami zewnętrznymi (czasami nazywanymi tabelami niezarządzanych) ułatwia wybór odpowiedniego podejścia dla każdego scenariusza na platformie danych.

W tej lekcji dowiesz się, jak rozróżnić tabele zarządzane i zewnętrzne oraz zapoznać się z czynnikami, które kierują twoim wyborem.

Omówienie tabel zarządzanych

Tabele zarządzane są w pełni kontrolowane przez Unity Catalog. Oznacza to, że Unity Catalog zarządza zarówno metadanymi tabeli i źródłowymi plikami danych w magazynie w chmurze. Podczas tworzenia tabeli zarządzanej bez określania lokalizacji magazynu usługa Azure Databricks automatycznie przechowuje dane w zarządzanej lokalizacji magazynu skojarzonej ze schematem, katalogiem lub magazynem metadanych.

Ponieważ Unity Catalog ma pełną kontrolę nad zarządzanymi tabelami, może automatycznie optymalizować je pod kątem wydajności i kosztów. Kilka funkcji jest dostępnych wyłącznie w przypadku tabel zarządzanych:

  • Optymalizacja predykcyjna uruchamia operacje konserwacji, takie jak automatyczne kompaktowanie i czyszczenie
  • Automatyczne klastrowanie płynne inteligentnie wybiera i aktualizuje klucze klastrowania na podstawie wzorców zapytań
  • Buforowanie metadanych zapewnia szybszą wydajność zapytań dzięki buforowaniu w pamięci
  • Automatyczne czyszczenie plików usuwa pliki danych 8 dni po usunięciu tabeli

Tabele zarządzane zawsze używają formatu Delta Lake lub Apache Iceberg, zapewniając transakcje ACID i zaawansowane możliwości zarządzania danymi.

Zrozumienie tabel zewnętrznych

Tabele zewnętrzne (nazywane również tabelami niezarządzanych) przyjmują inne podejście. Unity Catalog zarządza tylko metadanymi tabel, podczas gdy ty zachowujesz kontrolę nad plikami danych i ich lokalizacją przechowywania. Podczas tworzenia tabeli zewnętrznej należy jawnie określić, gdzie znajdują się dane, używając klauzuli LOCATION wskazującej na lokalizację zewnętrzną zarejestrowaną w katalogu Unity.

Ta separacja oznacza, że po usunięciu tabeli zewnętrznej, Unity Catalog usuwa metadane, ale pozostawia nienaruszone pliki danych w miejscu przechowywania. Użytkownik pozostaje odpowiedzialny za zarządzanie tymi plikami bezpośrednio za pośrednictwem dostawcy usług w chmurze.

Tabele zewnętrzne obsługują szerszy zakres formatów plików poza Delta Lake i Iceberg, w tym CSV, JSON, Avro, Parquet, ORC i formaty plików tekstowych.

Porównanie kluczowych cech

Poniższa tabela zawiera podsumowanie kluczowych różnic między tabelami zarządzanymi i zewnętrznymi:

Characteristic Tabele zarządzane Tabele zewnętrzne
Lokalizacja przechowywania danych Zarządzana lokalizacja katalogu Unity Lokalizacja zewnętrzna określona przez użytkownika
Zarządzanie metadanymi Katalog Unity Katalog Unity
Zarządzanie plikami danych Katalog Unity Zarządzane przez użytkownika
Obsługiwane formaty Delta Lake, Apache Iceberg Delta, CSV, JSON, Avro, Parquet, ORC, tekst
Automatyczna optymalizacja Tak (optymalizacja predykcyjna) Nie.
Zachowanie w tabeli DROP Pliki usunięte po 8 dniach Pliki pozostają w magazynie
Obsługa funkcji UNDROP TABLE Tak (w ciągu 8 dni) Nie.

Ocena kryteriów decyzyjnych

Wybór między tabelami zarządzanymi i zewnętrznymi zależy od konkretnych wymagań. Podczas podejmowania decyzji należy wziąć pod uwagę następujące czynniki.

Diagram przedstawiający sposób oceniania kryteriów podejmowania decyzji.

Własność danych i cykl życia

Jeśli usługa Azure Databricks powinna w pełni kontrolować cykl życia danych, w tym automatyczne czyszczenie po usunięciu tabel, użyj tabeli zarządzanej. Takie podejście upraszcza zarządzanie danymi i zmniejsza koszty magazynowania w czasie.

Jeśli dane muszą być utrwalane niezależnie od obszaru roboczego usługi Azure Databricks lub jeśli musisz zachować dane po usunięciu definicji tabeli, użyj tabeli zewnętrznej. Pliki danych pozostają dostępne dla innych celów nawet po usunięciu tabeli.

Dostęp do systemu zewnętrznego

Jeśli inne narzędzia lub systemy spoza usługi Azure Databricks muszą bezpośrednio odczytywać lub zapisywać dane, tabele zewnętrzne zapewniają niezbędną elastyczność. Należy jednak wziąć pod uwagę, że bezpośredni dostęp zewnętrzny pomija mechanizmy kontrolne i inspekcyjne Unity Catalog.

Udostępnianie danych między regionami, dostawcami chmury lub partnerami zewnętrznymi, dzięki czemu Delta Sharing oferuje zarządzane podejście, które utrzymuje kontrolę nad bezpieczeństwem nawet przy korzystaniu z tabel zarządzanych.

Migracja i zgodność

Tabele zewnętrzne zapewniają praktyczne rozwiązanie podczas migracji z magazynu metadanych Hive do Unity Catalog. Istniejące dane można zarejestrować bez przenoszenia plików, co pozwala na szybkie uaktualnienie. Po migracji można przekonwertować tabele zewnętrzne na tabele zarządzane, aby korzystać z funkcji optymalizacji.

Jeśli potrzebujesz obsługiwać inne formaty niż Delta i Iceberg, tabele zewnętrzne są jedyną opcją w Katalogu Unity.

Zarządzanie i zgodność

Weź pod uwagę wymagania dotyczące przechowywania danych i zgodności organizacji. Tabele zarządzane oferują silniejszy nadzór dzięki scentralizowanej kontroli, a tabele zewnętrzne zapewniają elastyczność zarządzania danymi zgodnie z określonymi wymaganiami prawnymi lub zasadami magazynu zdefiniowanymi poza usługą Azure Databricks.

Ważne

Unikaj rejestrowania tej samej tabeli co tabela zewnętrzna w wielu magazynach metadanych. Takie rozwiązanie może prowadzić do problemów ze spójnością, ponieważ zmiany w jednym magazynie metadanych nie są automatycznie propagowane do innych.

Stosowanie najlepszych rozwiązań

Usługa Databricks zaleca tabele zarządzane dla większości przypadków użycia, ponieważ zapewniają najlepszą kombinację ładu, wydajności i prostoty operacyjnej. Używaj tabel zewnętrznych, gdy wymagania tego wymagają.

W przypadku korzystania z tabel zewnętrznych:

  • Ogranicz dostęp zewnętrzny do operacji odczytu, gdy jest to możliwe, a wszystkie operacje zapisu są wykonywane za pośrednictwem usługi Azure Databricks
  • Rozważ utworzenie jednej lokalizacji zewnętrznej dla każdego schematu w celu uzyskania jaśniejszej organizacji
  • Planowanie migracji tabel zewnętrznych do tabel zarządzanych, gdy ich oryginalny przypadek użycia nie ma już zastosowania

Dzięki temu zrozumieniu tabel zarządzanych i zewnętrznych można podejmować świadome decyzje, które równoważą wymagania dotyczące ładu, potrzeby operacyjne i zagadnienia dotyczące wydajności platformy danych.