Reorganizacja tabel delty za pomocą funkcji REORG

REORG Użyj polecenia , gdy musisz ponownie napisać część tabeli delty dla określonego celu konserwacji. W Fabric REORG reorganizuje fizyczny układ tabeli, zapisując ponownie pliki danych lub aktualizując metadane tabeli, w zależności od wybranej opcji.

REORG różni się od rutynowego kompaktowania plików. Jest przeznaczony do zastosowań takich jak fizyczne usuwanie wierszy, które wektory usuwania oznaczyły jako usunięte.

Co robi REORG

REORG TABLE ponownie zapisuje stan tabeli dla zdefiniowanej operacji konserwacji.

  • APPLY (PURGE) przepisuje objęte tym pliki danych, dzięki czemu wiersze oznaczone jako usunięte za pomocą wektorów usuwania są fizycznie usuwane z bazowych plików Parquet.

Użyj REORG, gdy potrzebujesz konkretnego efektu przepisania, a nie tylko mniejszych plików albo ich mniejszej liczby.

Użyj funkcji PURGE, aby fizycznie usunąć wiersze oznaczone jako usunięte

Wektory usuwania umożliwiają usłudze Delta Lake oznaczenie wierszy jako usuniętych bez ponownego zapisywania oryginalnych plików Parquet od razu. To zachowanie pozwala wydajnie usuwać operacje, ale usunięte dane wierszy nadal istnieją w plikach fizycznych do momentu ich ponownego zapisania.

Po uruchomieniu REORG TABLE ... APPLY (PURGE) platforma Fabric przepisuje pliki, których to dotyczy, i usuwa wiersze oznaczone jako usunięte z aktywnych plików Parquet. Po zakończeniu PURGE te usunięte wiersze naprawdę znikają z przepisanych plików.

Note

PURGE nie jest zwykle wymagany jako oddzielny krok konserwacji. OPTIMIZE automatycznie usuwa pliki, w których podczas kompaktowania wektory usunięć wskazują ponad 5% rekordów. Używaj PURGE w scenariuszach, w których potrzebujesz jawnej kontroli nad tym, kiedy wiersze oznaczone jako usunięte są fizycznie usuwane.

Opcja ta jest przydatna w przypadku:

  • Masz wymagania zgodności i potrzebujesz fizycznego usunięcia usuniętych danych w określonym harmonogramie.
  • Chcesz wymusić usunięcie plików, które spadną poniżej progu 5%, którego używa OPTIMIZE.

Trwałe usunięcie usuniętych danych

Polecenie REORG TABLE ... APPLY (PURGE) przepisuje aktywne pliki danych, ale zastąpione pliki pozostają w OneLake jako pliki bez referencji do czasu VACUUM ich usunięcia. Ponieważ użytkownicy mogą nadal korzystać z podróży w czasie lub przywracania danych, aby uzyskać dostęp do usuniętych rekordów, aby trwale usunąć usunięte dane, uruchom VACUUM po PURGE.

Domyślnie pliki VACUUM bez referencji przechowuje przez siedem dni. Jeśli musisz natychmiast usunąć pliki, tymczasowo wyłącz kontrolę bezpieczeństwa czasu przechowywania dla bieżącej sesji Spark, uruchom VACUUM z zerową godziną retencji, a następnie ponownie włącz kontrolę bezpieczeństwa.

Warning

Przechowywanie zera godzin na stałe usuwa wszystkie pliki bez referencji natychmiast. Może zakłócać równoczesne operacje odczytu i zapisu oraz uniemożliwiać podróż w czasie do wersji tabeli, które zależą od tych plików. Potwierdź, że żadne operacje równoległe nie korzystają z tabeli, zanim przejdziesz dalej.

Wykonaj polecenia w tej kolejności:

REORG TABLE schema_name.table_name APPLY (PURGE);

SET spark.databricks.delta.retentionDurationCheck.enabled = false;
VACUUM schema_name.table_name RETAIN 0 HOURS;
SET spark.databricks.delta.retentionDurationCheck.enabled = true;

Zmiana konfiguracji dotyczy tylko bieżącej sesji Spark. Zawsze ponownie włączaj kontrolę bezpieczeństwa po natychmiastowym sprzątaniu. Jeśli natychmiastowe usunięcie nie jest wymagane, pozostaw włączoną kontrolę bezpieczeństwa i uruchom VACUUM po upływie wymaganego okresu przechowywania.

Więcej informacji o retencji i jej wpływie na podróże w czasie można znaleźć w tabelach VACUUM Delta.

Przejrzyj składnię

Skorzystaj z poniższych przykładów w notesie Fabric.

Usuwanie z tabeli wierszy oznaczonych jako usunięte

REORG TABLE table_name APPLY (PURGE)

Usuwanie miękko usuniętych wierszy tylko dla pasujących danych

REORG TABLE table_name WHERE predicate APPLY (PURGE)

Użyj klauzuli WHERE , jeśli chcesz kierować do określonych partycji lub mniejszego wycinka danych.

REORG TABLE sales.orders
WHERE order_date = DATE '2026-05-01'
APPLY (PURGE)

Wybierz REORG lub OPTIMIZE

REORG i OPTIMIZE rozwiązują różne problemy.

  • OPTIMIZE wykonuje kompaktowanie pojemników. Konsoliduje małe pliki w większe pliki w celu zwiększenia wydajności skanowania.
  • REORG ... APPLY (PURGE) fizycznie usuwa wiersze oznaczone jako usunięte przez wektory usuwania.

Oba polecenia można używać razem. Możesz na przykład uruchomić polecenie REORG ... APPLY (PURGE) , aby fizycznie usunąć usunięte dane, a następnie uruchomić polecenie OPTIMIZE , aby poprawić układ plików.

Omówienie wektorów usuwania

Wektory usuwania to struktury metadanych oznaczające wiersze jako usunięte bez natychmiastowego ponownego zapisywania plików Parquet zawierających te wiersze. Moduły odczytu uwzględniają wektory usunięć, więc usunięte wiersze nie pojawiają się w wynikach zapytania, ale bajty nadal pozostają w pamięci masowej, dopóki nie dojdzie do ponownego zapisania danych.

REORG ... APPLY (PURGE) to krok, który fizycznie usuwa te wiersze z przepisanych plików Parquet.

Uruchom REORG w usłudze Fabric

Uruchom REORG z poziomu środowisk opartych na platformie Spark w Fabric, takich jak:

  • Notesniki usługi Fabric
  • Definicje zadań platformy Spark

Nie uruchamiaj REORG w punkcie końcowym analizy SQL. REORG to polecenie obsługi technicznej Spark SQL dla tabel Delta.

Postępuj zgodnie z najlepszymi rozwiązaniami

  • Uruchom polecenie PURGE tylko wtedy, gdy masz określoną potrzebę, taką jak wymagania dotyczące zgodności. OPTIMIZE automatycznie czyści pliki, w których więcej niż 5% rekordów są przywołyane przez wektory usuwania, dlatego rutynowa konserwacja zwykle nie wymaga oddzielnego PURGE kroku.
  • Postępuj zgodnie z przepływem pracy oczyszczania na potrzeby zgodności, gdy chcesz, aby usunięte dane zostały trwale usunięte z usługi OneLake.
  • Użyj WHERE predykatów, aby kierować określone partycje, gdy nie trzeba ponownie pisać pełnej tabeli.
  • Użyj UPGRADE UNIFORM, gdy potrzebujesz czytników Iceberg, ale uwzględnij dodatkowe metadane utrzymywane przez UniForm.
  • Traktuj REORG i OPTIMIZE jako uzupełniające operacje konserwacji, a nie zamienne.