Kontrolka współbieżności dla tabel delty

Gdy wiele notesów Fabric, potoków lub zadań platformy Spark jest zapisywanych w tej samej tabeli delty w tym samym czasie, usługa Delta Lake używa optymistycznej kontrolki współbieżności (OCC), aby zachować spójność tabeli. Każda transakcja odczytuje migawkę, zapisuje nowe pliki, a następnie sprawdza, czy w międzyczasie nie doszło do kolidującego zatwierdzenia. Jeśli zostanie wykryty konflikt, transakcja zakończy się niepowodzeniem z wyjątkiem, a nie uszkodzeniem danych.

W tym artykule omówiono praktyczne wzorce zarządzania współbieżnymi zapisami w usłudze Fabric. Aby uzyskać pełną specyfikację protokołu OCC, zobacz Delta Lake concurrency control (dokumentacja open source).

Poziomy izolacji

Wszystkie tabele delty używają poziomu izolacji możliwej do serializacji . Serializable jest najbardziej rygorystycznym poziomem i jedynym obsługiwanym. Gwarantuje to, że wynik współbieżnych transakcji jest identyczny z niektórymi sekwencyjnymi kolejnościami wykonywania.

Delta Lake również używa wewnętrznego poziomu SnapshotIsolation na potrzeby operacji, które nie zmieniają danych logicznych (takich jak OPTIMIZE). SnapshotIsolation pomija kontrolę współbieżnego dołączania, dzięki czemu kompaktacja może być kontynuowana bez konfliktu ze współbieżnymi operacjami wstawiania. Nie konfigurujesz bezpośrednio rozwiązania SnapshotIsolation — usługa Delta Lake stosuje ją automatycznie, gdy jest to konieczne.

Przy izolacji Serializable współbieżne ślepe dopisanie (INSERT INTO) może kolidować z MERGE lub UPDATE, które odczytują tę samą partycję.

Które operacje powodują konflikt

Nie wszystkie współbieżne operacje zapisu powodują konflikt. Kluczowym czynnikiem jest to, czy dwie operacje dotykają tych samych plików bazowych.

Para równoczesna Konflikt? Dlaczego
Dwie operacje INSERT (dołączania) No Każda z nich dodaje nowe pliki bez odczytywania istniejących (dołączanie ślepe).
INSERT + OPTIMIZE No OPTIMIZE zatwierdza w SnapshotIsolation, ponieważ nie zmienia danych logicznych, więc całkowicie pomija sprawdzanie współbieżnego dołączania. Operacje dopisywania dodają nowe pliki, które nie pokrywają się z plikami poddawanymi kompaktowaniu.
Dwie operacje UPDATE, DELETE lub MERGE Tak, jeśli odczytują lub modyfikują nakładające się pliki Każdy z nich nadpisuje pliki, więc migawka drugiego procesu jest nieaktualna.
OPTIMIZE + UPDATE/DELETE/MERGE Tak, jeśli dotykają tych samych plików OPTIMIZE usuwa i ponownie dodaje pliki (za pomocą dataChange=false). Jeśli operacja modyfikacji danych odczytała również te same pliki, zostanie zgłoszony wyjątek ConcurrentDeleteReadException.
Dwa OPTIMIZE uruchomienia Tak, jeśli wybierają te same pliki Oba próbują usunąć i ponownie zapisać ten sam zestaw plików, powodując ConcurrentDeleteDeleteException.
INSERT + MERGE/UPDATE/DELETE Tak, jeśli operacja modyfikacji danych odczytuje tę samą partycję W obszarze Serializablefunkcja niewidomego dołączania może powodować konflikt z współbieżnymi modyfikacjami danych, jeśli operacja odczytuje partycję zapisywaną przez dołączanie.

Wskazówka

Potoki tylko do dopisywania (INSERT INTO, df.write.mode("append")) to najprostszy sposób na całkowite uniknięcie konfliktów. Jeśli Twoje obciążenie robocze może najpierw dopisywać dane, a uzgadniać je później, eliminuje to konflikty zapisu-zapisu.

Izoluj procesy zapisujące za pomocą partycjonowania

Najczęstszym sposobem wykonywania współbieżnych operacji DML na tej samej tabeli bez konfliktów jest partycjonowanie tabeli według kolumny, która rozdziela procesy zapisujące, a następnie uwzględnienie tej kolumny w warunku każdej operacji. Gdy każdy proces zapisujący kieruje zapis do innej partycji, operacje dotyczą rozłącznych zbiorów plików i nie wchodzą ze sobą w konflikt.

Typowy scenariusz: wiele potoków, z których każdy przetwarza dane dla innej jednostki biznesowej lub dzierżawcy. Partycjonuj według tego wymiaru i przypnij poszczególne potoki MERGE do partycji.

-- Each pipeline targets its own partition, so concurrent runs don't conflict
MERGE INTO events AS target
USING staged AS source
ON target.event_id = source.event_id
    AND target.business_unit = 'EMEA'
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

Ważna

Kolumna partycji musi być wyświetlana w samym warunku scalania — nie tylko w danych źródłowych. Bez niego usługa Delta Lake nie może określić w czasie walidacji, że dwie operacje dotknąły rozłącznych zestawów plików, a moduł sprawdzania konfliktów traktuje operację jako odczyt pełnej tabeli.

Więcej informacji na temat strategii partycjonowania zawiera temat Partycjonowanie tabel Delta.

Wbudowane ponawianie zatwierdzenia

Delta Lake automatycznie ponawia zatwierdzenie, gdy wykryje, że inna transakcja została zatwierdzona wcześniej. Po każdej próbie odczytuje zwycięskie zatwierdzenie, uruchamia narzędzie sprawdzania konfliktów i — jeśli nie istnieje konflikt logiczny — ponownie zatwierdza zatwierdzenie w następnej dostępnej wersji. Proces ten powtarza się w tle bez żadnego działania ze strony kodu.

Nie można automatycznie rozwiązać konfliktu logicznego (na przykład dwóch operacji ponownego zapisywania tego samego pliku). Ponowna próba zgłasza jeden z wyjątków wymienionych w Typowe wyjątki konfliktu. Jednak wiele przejściowych konfliktów wersji — takich jak dwie operacje dopisania wykonywane bez sprawdzania stanu, rywalizujące o ten sam numer wersji — jest rozwiązywanych automatycznie i nigdy nie jest widocznych dla aplikacji.

Typowe wyjątki konfliktów

Po wykryciu konfliktu Delta Lake zgłasza konkretny wyjątek. Zrozumienie widocznego wyjątku pomaga zidentyfikować główną przyczynę.

Exception Co się stało
ConcurrentAppendException Inny proces zapisu dodał pliki do partycji (lub zestawu plików), które odczytywała twoja operacja. Typowe, gdy element MERGE działa na partycji, do której trafiają również operacje wstawiania z innego potoku przetwarzania. Przy poziomie izolacji Serializable nawet ślepe dopisania (zwykłe operacje INSERT) mogą spowodować wystąpienie tego wyjątku.
ConcurrentDeleteReadException Inny składnik zapisywania usunął lub przepisał plik odczytany przez operację. Typowe, gdy OPTIMIZE kompresuje pliki, które współbieżne UPDATE lub MERGE również odczytywały, albo gdy dwie operacje modyfikacji danych obejmują te same wiersze.
ConcurrentDeleteDeleteException Obie operacje próbowały usunąć lub ponownie zapisać ten sam plik. Często spowodowane nakładającymi się przebiegami OPTIMIZE lub dwoma potokami, które jednocześnie przepisują tę samą partycję.
ConcurrentWriteException Ogólny konflikt występujący, gdy inna transakcja została zatwierdzona dla tej samej wersji tabeli, zanim można było uruchomić rozwiązywanie konfliktów — na przykład podczas aktualizacji z zatwierdzeń systemu plików do zatwierdzeń zarządzanych.
MetadataChangedException Schemat tabeli lub jej właściwości uległy zmianie w trakcie transakcji — na przykład wskutek współbieżnego zapisu ALTER TABLE lub zapisu związanego z ewolucją schematu.
ConcurrentTransactionException Dwa zapytania Structured Streaming korzystające z tej samej lokalizacji punktu kontrolnego jednocześnie zapisywały dane do tabeli. Usuń duplikaty zadań strumieniowych lub użyj odrębnych ścieżek do punktów kontrolnych.
ProtocolChangedException Współbieżna transakcja podwyższyła lub obniżyła wersję protokołu tabeli, podczas gdy bieżąca transakcja także próbowała zmienić protokół. Może również wystąpić, gdy funkcja tabeli jest porzucana współbieżnie.

Typowe strategie unikania konfliktów zapisu

Włącz automatyczne kompaktowanie

Automatyczne kompaktowanie jest uruchamiane synchronicznie w ramach operacji zapisu. Kompaktowanie synchroniczne zapobiega nakładaniu się oddzielnie zaplanowanych zadań kompaktowania na operacje modyfikacji danych, a tym samym powodowaniu wyjątków współbieżnego zapisu.

Planuj prace konserwacyjne poza oknami zapisu

OPTIMIZE i VACUUM mogą kolidować z operacjami współbieżnej modyfikacji danych. W Fabric zaplanuj zadania notesnika lub działania potoku dla table compaction i VACUUM na okresy mniejszej aktywności — na przykład po zakończeniu nocnego ładowania danych, a nie w jego trakcie.

Używanie wzorców dołączania i scalania

W przypadku pozyskiwania danych przy dużej współbieżności zapisuj surowe dane wyłącznie przez dopisywanie do tabeli przejściowej (konflikty nie są możliwe), a następnie uruchom pojedyncze zadanie MERGE, aby scalić je z tabelą docelową. Wzorzec wymusza sekwencyjne wykonywanie operacji narażonej na konflikty, przy jednoczesnym zachowaniu pełnej równoległości przyjmowania danych.

Dodawanie logiki ponawiania prób dla konfliktów logicznych

Wbudowany mechanizm ponawiania zatwierdzeń automatycznie radzi sobie z przejściowymi kolizjami wersji, ale konflikty logiczne — czyli sytuacje, w których dwie operacje faktycznie się pokrywają — powodują zgłoszenie wyjątku. Ponieważ Delta Lake nigdy nie generuje częściowych zapisów, transakcję, która zakończyła się niepowodzeniem, można bezpiecznie ponowić na poziomie aplikacji. W przypadku potoków, w których mogą sporadycznie występować konflikty logiczne, należy objąć operację zapisu mechanizmem ponawiania prób:

from delta.exceptions import ConcurrentAppendException
import time

# Retry with backoff on transient concurrent write conflicts
max_retries = 3
for attempt in range(max_retries):
    try:
        spark.sql("MERGE INTO target USING source ON ...")
        break
    except ConcurrentAppendException:
        if attempt < max_retries - 1:
            time.sleep(2 ** attempt)
        else:
            raise

Wybieranie właściwej strategii układu

Klastrowanie płynne i partycjonowanie rozwiązują różne problemy. Klaster Liquid optymalizuje układ plików pod kątem wydajności odczytu. Partycjonowanie tworzy fizyczne granice, które zapobiegają konfliktom między równoczesnymi operacjami zapisu. Jeśli obciążenie wymaga obu, utwórz partycje według kolumny writer-isolation i użyj Z-Order w ramach każdej partycji, aby poprawić wydajność odczytu.