Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dostępny w Databricks Runtime 18.1 i nowszych wersjach, Parquet v2 zwiększa wydajność zapytań i zmniejsza zapotrzebowanie na miejsce do przechowywania w tabelach Delta Lake i Apache Iceberg dzięki zastosowaniu zaawansowanych kodowań, nagłówków stron danych v2 oraz znaczników czasu INT64.
Jak działa Parquet 2
Parquet v2 wprowadza ulepszenia formatu pliku danych, które zmniejszają ilość miejsca do magazynowania i zwiększają wydajność odczytu:
- Zaawansowane kodowania: Kolumny liczb całkowitych i ciągów używają nowych kodowań z bardziej wydajną kompresją i dekodowaniem w porównaniu z kodowaniami używanymi w parquet v1.
- Nagłówki stron danych w wersji 2: statystyki i indeksy na poziomie strony poprawiają wypychanie predykatu i pomijanie danych, zmniejszając ilość danych skanowanych w czasie zapytania.
-
Znaczniki czasu INT64:
INT64znaczniki czasu zastępują starszyINT96znacznik czasu, poprawiając statystyki kolumn i kodowanie i kompresję znacznika czasu.
Włącz Parquet v2
Azure Databricks automatycznie aktualizuje zgodne tabele zarządzane usługi Unity Catalog do formatu Parquet v2. Zobacz Automatyczne uaktualnienia.
Aby ręcznie włączyć Parquet v2, ustaw właściwość tabeli parquet.format.version na 2.12.0, używając odpowiedniego prefiksu dla typu tabeli. Przed ręcznym włączeniem zapoznaj się z ograniczeniami.
Aby włączyć format Parquet v2 dla istniejącej tabeli:
Jezioro Delta
ALTER TABLE <table_name> SET TBLPROPERTIES ('delta.parquet.format.version' = '2.12.0');
Iceberg
ALTER TABLE <table_name> SET TBLPROPERTIES ('iceberg.parquet.format.version' = '2.12.0');
Aby włączyć Parquet v2 w nowej tabeli:
Jezioro Delta
CREATE TABLE <table_name> (...)
TBLPROPERTIES ('delta.parquet.format.version' = '2.12.0');
Iceberg
CREATE TABLE <table_name> (...)
USING iceberg
TBLPROPERTIES ('iceberg.parquet.format.version' = '2.12.0');
Po ustawieniu właściwości wszystkie kolejne operacje zapisu używają kodowań w wersji 2. Pliki Parquet v1 i v2 mogą współistnieć w tej samej tabeli. Istniejące pliki danych nie są automatycznie zastępowane. W przypadku tabel usługi Delta Lake, aby ponownie zapisać istniejące pliki w wersji 2, użyj polecenia REORG TABLE w środowisku Databricks Runtime 18.2 lub nowszym:
REORG TABLE <table_name> APPLY (SET PARQUET (FORMAT_VERSION = '2.12.0'));
Zobacz Dokumentacja właściwości tabeli , aby uzyskać pełną dokumentację właściwości tabeli.
Powrót do Parquet w wersji 1
W środowisku Databricks Runtime 18.2 lub nowszym, aby przywrócić pojedynczą tabelę do kodowania w wersji 1, uruchom polecenie REORG TABLE z opcją SET PARQUET :
REORG TABLE <table_name> APPLY (SET PARQUET (FORMAT_VERSION = '1.0.0'));
To polecenie ponownie zapisuje wszystkie pliki danych przy użyciu kodowania w wersji 1 i resetuje delta.parquet.format.version właściwość tabeli do 1.0.0.
Pełną składnię znajdziesz w REORG TABLEREORG TABLE.
Ograniczenia
Parquet v2 ma następujące ograniczenia:
- W przypadku zewnętrznych silników niektóre moduły odczytu Apache Iceberg mogą nie obsługiwać formatu Parquet v2 dla tabel Iceberg. Przed włączeniem Parquet v2 w tabelach Iceberg należy sprawdzić, czy czytniki Iceberg są kompatybilne.
- W przypadku OpenSharing przed włączeniem Parquet v2 sprawdź, czy klienty odczytu używane przez odbiorców OpenSharing obsługują kodowania Parquet v2.
- Widoki zmaterializowane i tabele strumieniowe nie są automatycznie aktualizowane do formatu Parquet v2. Możesz ręcznie włączyć Parquet v2 dla tych typów tabel w środowisku Databricks Runtime 18.1 i nowszych.