Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Polecenie MERGE Delta Lake pozwala użytkownikom aktualizować tabelę Delta o zaawansowane warunki. Może aktualizować dane z tabeli źródłowej, widoku lub ramki danych do tabeli docelowej przy użyciu MERGE polecenia . Jednak bieżący algorytm nie jest w pełni zoptymalizowany pod kątem obsługi niezmodyfikowanych wierszy. W przypadku optymalizacji scalania niskiego mieszania niezmodyfikowane wiersze są wykluczane z kosztownej operacji mieszania potrzebnej do aktualizowania dopasowanych wierszy.
Note
Funkcja scalania o niskim przetasowaniach jest dostępna i domyślnie włączona we wszystkich środowiskach uruchomieniowych platformy Spark Fabric w celu znacznego zwiększenia wydajności operacji MERGE.
Dlaczego potrzebujemy małych operacji mieszania scalania
Obecnie MERGE operacja jest wykonywana przez dwa wykonania sprzężenia. Pierwsze sprzężenie używa całej tabeli docelowej i danych źródłowych, aby znaleźć listę dotkniętych plików tabeli docelowej, w tym wszystkie dopasowane wiersze. Następnie wykonuje drugie sprzężenie odczytu tylko tych plików i danych źródłowych, aby wykonać rzeczywistą aktualizację tabeli. Mimo że pierwsze sprzężenie polega na zmniejszeniu ilości danych dla drugiego sprzężenia, nadal może istnieć ogromna liczba niezmodyfikowanych wierszy w plikach dotykanych . Pierwsze zapytanie sprzężenia jest lżejsze, ponieważ odczytuje tylko kolumny w danym warunku dopasowania. Druga aktualizacja tabeli musi załadować wszystkie kolumny, co wiąże się z kosztownym procesem mieszania.
Dzięki optymalizacji scalania o niskiej mieszania funkcja Delta tymczasowo utrzymuje dopasowany wynik wiersza z pierwszego sprzężenia i wykorzystuje go do drugiego sprzężenia. Na podstawie wyniku wyklucza niezmodyfikowane wiersze z ciężkiego procesu mieszania. Istnieją dwa oddzielne zadania zapisu dla dopasowanych wierszy i niezmodyfikowanych wierszy, co może spowodować 2-krotną liczbę plików wyjściowych w porównaniu z poprzednim zachowaniem. Jednak oczekiwany wzrost wydajności przewyższa możliwy problem z małymi plikami.
Korzyści wynikające z niskiego mieszania scalania
- Niezmodyfikowane wiersze w plikach dotykowych są obsługiwane oddzielnie i nie przechodzą przez rzeczywistą operację MERGE. Może zaoszczędzić ogólny czas wykonywania scalania i zasoby obliczeniowe. Zysk byłby większy, gdy wiele wierszy jest kopiowanych, a tylko kilka wierszy jest aktualizowanych.
- Kolejność wierszy jest zachowywana dla niezmodyfikowanych wierszy. W związku z tym pliki wyjściowe niezmodyfikowanych wierszy mogą być nadal wydajne w przypadku pomijania danych, jeśli plik został posortowany lub Z-ORDERED.
- Byłoby niewielkie obciążenie nawet w przypadku najgorszego przypadku, gdy warunek MERGE pasuje do wszystkich wierszy w plikach dotkniętych.
Jak włączyć i wyłączyć funkcję Scalanie z niskimi mieszania
Domyślnie funkcja scalania niskiego mieszania jest włączona jako konfiguracja sesji platformy Spark: