Niska optymalizacja scalania mieszania w tabelach delty

Polecenie MERGE Delta Lake pozwala użytkownikom aktualizować tabelę Delta o zaawansowane warunki. Może aktualizować dane z tabeli źródłowej, widoku lub ramki danych do tabeli docelowej przy użyciu MERGE polecenia . Jednak bieżący algorytm nie jest w pełni zoptymalizowany pod kątem obsługi niezmodyfikowanych wierszy. W przypadku optymalizacji scalania niskiego mieszania niezmodyfikowane wiersze są wykluczane z kosztownej operacji mieszania potrzebnej do aktualizowania dopasowanych wierszy.

Note

Funkcja scalania o niskim przetasowaniach jest dostępna i domyślnie włączona we wszystkich środowiskach uruchomieniowych platformy Spark Fabric w celu znacznego zwiększenia wydajności operacji MERGE.

Dlaczego potrzebujemy małych operacji mieszania scalania

Obecnie MERGE operacja jest wykonywana przez dwa wykonania sprzężenia. Pierwsze sprzężenie używa całej tabeli docelowej i danych źródłowych, aby znaleźć listę dotkniętych plików tabeli docelowej, w tym wszystkie dopasowane wiersze. Następnie wykonuje drugie sprzężenie odczytu tylko tych plików i danych źródłowych, aby wykonać rzeczywistą aktualizację tabeli. Mimo że pierwsze sprzężenie polega na zmniejszeniu ilości danych dla drugiego sprzężenia, nadal może istnieć ogromna liczba niezmodyfikowanych wierszy w plikach dotykanych . Pierwsze zapytanie sprzężenia jest lżejsze, ponieważ odczytuje tylko kolumny w danym warunku dopasowania. Druga aktualizacja tabeli musi załadować wszystkie kolumny, co wiąże się z kosztownym procesem mieszania.

Dzięki optymalizacji scalania o niskiej mieszania funkcja Delta tymczasowo utrzymuje dopasowany wynik wiersza z pierwszego sprzężenia i wykorzystuje go do drugiego sprzężenia. Na podstawie wyniku wyklucza niezmodyfikowane wiersze z ciężkiego procesu mieszania. Istnieją dwa oddzielne zadania zapisu dla dopasowanych wierszy i niezmodyfikowanych wierszy, co może spowodować 2-krotną liczbę plików wyjściowych w porównaniu z poprzednim zachowaniem. Jednak oczekiwany wzrost wydajności przewyższa możliwy problem z małymi plikami.

Korzyści wynikające z niskiego mieszania scalania

  • Niezmodyfikowane wiersze w plikach dotykowych są obsługiwane oddzielnie i nie przechodzą przez rzeczywistą operację MERGE. Może zaoszczędzić ogólny czas wykonywania scalania i zasoby obliczeniowe. Zysk byłby większy, gdy wiele wierszy jest kopiowanych, a tylko kilka wierszy jest aktualizowanych.
  • Kolejność wierszy jest zachowywana dla niezmodyfikowanych wierszy. W związku z tym pliki wyjściowe niezmodyfikowanych wierszy mogą być nadal wydajne w przypadku pomijania danych, jeśli plik został posortowany lub Z-ORDERED.
  • Byłoby niewielkie obciążenie nawet w przypadku najgorszego przypadku, gdy warunek MERGE pasuje do wszystkich wierszy w plikach dotkniętych.

Jak włączyć i wyłączyć funkcję Scalanie z niskimi mieszania

Domyślnie funkcja scalania niskiego mieszania jest włączona jako konfiguracja sesji platformy Spark:

SET spark.microsoft.delta.merge.lowShuffle.enabled = TRUE