Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Gdy wiele notesów Fabric, potoków lub zadań platformy Spark jest zapisywanych w tej samej tabeli delty w tym samym czasie, usługa Delta Lake używa optymistycznej kontrolki współbieżności (OCC), aby zachować spójność tabeli. Każda transakcja odczytuje migawkę, zapisuje nowe pliki, a następnie sprawdza, czy w międzyczasie nie doszło do kolidującego zatwierdzenia. Jeśli zostanie wykryty konflikt, transakcja zakończy się niepowodzeniem z wyjątkiem, a nie uszkodzeniem danych.
W tym artykule omówiono praktyczne wzorce zarządzania współbieżnymi zapisami w usłudze Fabric. Aby uzyskać pełną specyfikację protokołu OCC, zobacz Delta Lake concurrency control (dokumentacja open source).
Poziomy izolacji
Wszystkie tabele delty używają poziomu izolacji możliwej do serializacji . Serializable jest najbardziej rygorystycznym poziomem i jedynym obsługiwanym. Gwarantuje to, że wynik współbieżnych transakcji jest identyczny z niektórymi sekwencyjnymi kolejnościami wykonywania.
Delta Lake również używa wewnętrznego poziomu SnapshotIsolation na potrzeby operacji, które nie zmieniają danych logicznych (takich jak OPTIMIZE). SnapshotIsolation pomija kontrolę współbieżnego dołączania, dzięki czemu kompaktacja może być kontynuowana bez konfliktu ze współbieżnymi operacjami wstawiania. Nie konfigurujesz bezpośrednio rozwiązania SnapshotIsolation — usługa Delta Lake stosuje ją automatycznie, gdy jest to konieczne.
Przy izolacji Serializable współbieżne ślepe dopisanie (INSERT INTO) może kolidować z MERGE lub UPDATE, które odczytują tę samą partycję.
Które operacje powodują konflikt
Nie wszystkie współbieżne operacje zapisu powodują konflikt. Kluczowym czynnikiem jest to, czy dwie operacje dotykają tych samych plików bazowych.
| Para równoczesna | Konflikt? | Dlaczego |
|---|---|---|
Dwie operacje INSERT (dołączania) |
No | Każda z nich dodaje nowe pliki bez odczytywania istniejących (dołączanie ślepe). |
INSERT + OPTIMIZE |
No |
OPTIMIZE zatwierdza w SnapshotIsolation, ponieważ nie zmienia danych logicznych, więc całkowicie pomija sprawdzanie współbieżnego dołączania. Operacje dopisywania dodają nowe pliki, które nie pokrywają się z plikami poddawanymi kompaktowaniu. |
Dwie operacje UPDATE, DELETE lub MERGE |
Tak, jeśli odczytują lub modyfikują nakładające się pliki | Każdy z nich nadpisuje pliki, więc migawka drugiego procesu jest nieaktualna. |
OPTIMIZE + UPDATE/DELETE/MERGE |
Tak, jeśli dotykają tych samych plików |
OPTIMIZE usuwa i ponownie dodaje pliki (za pomocą dataChange=false). Jeśli operacja modyfikacji danych odczytała również te same pliki, zostanie zgłoszony wyjątek ConcurrentDeleteReadException. |
Dwa OPTIMIZE uruchomienia |
Tak, jeśli wybierają te same pliki | Oba próbują usunąć i ponownie zapisać ten sam zestaw plików, powodując ConcurrentDeleteDeleteException. |
INSERT + MERGE/UPDATE/DELETE |
Tak, jeśli operacja modyfikacji danych odczytuje tę samą partycję | W obszarze Serializablefunkcja niewidomego dołączania może powodować konflikt z współbieżnymi modyfikacjami danych, jeśli operacja odczytuje partycję zapisywaną przez dołączanie. |
Wskazówka
Potoki tylko do dopisywania (INSERT INTO, df.write.mode("append")) to najprostszy sposób na całkowite uniknięcie konfliktów. Jeśli Twoje obciążenie robocze może najpierw dopisywać dane, a uzgadniać je później, eliminuje to konflikty zapisu-zapisu.
Izoluj procesy zapisujące za pomocą partycjonowania
Najczęstszym sposobem wykonywania współbieżnych operacji DML na tej samej tabeli bez konfliktów jest partycjonowanie tabeli według kolumny, która rozdziela procesy zapisujące, a następnie uwzględnienie tej kolumny w warunku każdej operacji. Gdy każdy proces zapisujący kieruje zapis do innej partycji, operacje dotyczą rozłącznych zbiorów plików i nie wchodzą ze sobą w konflikt.
Typowy scenariusz: wiele potoków, z których każdy przetwarza dane dla innej jednostki biznesowej lub dzierżawcy. Partycjonuj według tego wymiaru i przypnij poszczególne potoki MERGE do partycji.
-- Each pipeline targets its own partition, so concurrent runs don't conflict
MERGE INTO events AS target
USING staged AS source
ON target.event_id = source.event_id
AND target.business_unit = 'EMEA'
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
Ważna
Kolumna partycji musi być wyświetlana w samym warunku scalania — nie tylko w danych źródłowych. Bez niego usługa Delta Lake nie może określić w czasie walidacji, że dwie operacje dotknąły rozłącznych zestawów plików, a moduł sprawdzania konfliktów traktuje operację jako odczyt pełnej tabeli.
Więcej informacji na temat strategii partycjonowania zawiera temat Partycjonowanie tabel Delta.
Wbudowane ponawianie zatwierdzenia
Delta Lake automatycznie ponawia zatwierdzenie, gdy wykryje, że inna transakcja została zatwierdzona wcześniej. Po każdej próbie odczytuje zwycięskie zatwierdzenie, uruchamia narzędzie sprawdzania konfliktów i — jeśli nie istnieje konflikt logiczny — ponownie zatwierdza zatwierdzenie w następnej dostępnej wersji. Proces ten powtarza się w tle bez żadnego działania ze strony kodu.
Nie można automatycznie rozwiązać konfliktu logicznego (na przykład dwóch operacji ponownego zapisywania tego samego pliku). Ponowna próba zgłasza jeden z wyjątków wymienionych w Typowe wyjątki konfliktu. Jednak wiele przejściowych konfliktów wersji — takich jak dwie operacje dopisania wykonywane bez sprawdzania stanu, rywalizujące o ten sam numer wersji — jest rozwiązywanych automatycznie i nigdy nie jest widocznych dla aplikacji.
Typowe wyjątki konfliktów
Po wykryciu konfliktu Delta Lake zgłasza konkretny wyjątek. Zrozumienie widocznego wyjątku pomaga zidentyfikować główną przyczynę.
| Exception | Co się stało |
|---|---|
ConcurrentAppendException |
Inny proces zapisu dodał pliki do partycji (lub zestawu plików), które odczytywała twoja operacja. Typowe, gdy element MERGE działa na partycji, do której trafiają również operacje wstawiania z innego potoku przetwarzania. Przy poziomie izolacji Serializable nawet ślepe dopisania (zwykłe operacje INSERT) mogą spowodować wystąpienie tego wyjątku. |
ConcurrentDeleteReadException |
Inny składnik zapisywania usunął lub przepisał plik odczytany przez operację. Typowe, gdy OPTIMIZE kompresuje pliki, które współbieżne UPDATE lub MERGE również odczytywały, albo gdy dwie operacje modyfikacji danych obejmują te same wiersze. |
ConcurrentDeleteDeleteException |
Obie operacje próbowały usunąć lub ponownie zapisać ten sam plik. Często spowodowane nakładającymi się przebiegami OPTIMIZE lub dwoma potokami, które jednocześnie przepisują tę samą partycję. |
ConcurrentWriteException |
Ogólny konflikt występujący, gdy inna transakcja została zatwierdzona dla tej samej wersji tabeli, zanim można było uruchomić rozwiązywanie konfliktów — na przykład podczas aktualizacji z zatwierdzeń systemu plików do zatwierdzeń zarządzanych. |
MetadataChangedException |
Schemat tabeli lub jej właściwości uległy zmianie w trakcie transakcji — na przykład wskutek współbieżnego zapisu ALTER TABLE lub zapisu związanego z ewolucją schematu. |
ConcurrentTransactionException |
Dwa zapytania Structured Streaming korzystające z tej samej lokalizacji punktu kontrolnego jednocześnie zapisywały dane do tabeli. Usuń duplikaty zadań strumieniowych lub użyj odrębnych ścieżek do punktów kontrolnych. |
ProtocolChangedException |
Współbieżna transakcja podwyższyła lub obniżyła wersję protokołu tabeli, podczas gdy bieżąca transakcja także próbowała zmienić protokół. Może również wystąpić, gdy funkcja tabeli jest porzucana współbieżnie. |
Typowe strategie unikania konfliktów zapisu
Włącz automatyczne kompaktowanie
Automatyczne kompaktowanie jest uruchamiane synchronicznie w ramach operacji zapisu. Kompaktowanie synchroniczne zapobiega nakładaniu się oddzielnie zaplanowanych zadań kompaktowania na operacje modyfikacji danych, a tym samym powodowaniu wyjątków współbieżnego zapisu.
Planuj prace konserwacyjne poza oknami zapisu
OPTIMIZE i VACUUM mogą kolidować z operacjami współbieżnej modyfikacji danych. W Fabric zaplanuj zadania notesnika lub działania potoku dla table compaction i VACUUM na okresy mniejszej aktywności — na przykład po zakończeniu nocnego ładowania danych, a nie w jego trakcie.
Używanie wzorców dołączania i scalania
W przypadku pozyskiwania danych przy dużej współbieżności zapisuj surowe dane wyłącznie przez dopisywanie do tabeli przejściowej (konflikty nie są możliwe), a następnie uruchom pojedyncze zadanie MERGE, aby scalić je z tabelą docelową. Wzorzec wymusza sekwencyjne wykonywanie operacji narażonej na konflikty, przy jednoczesnym zachowaniu pełnej równoległości przyjmowania danych.
Dodawanie logiki ponawiania prób dla konfliktów logicznych
Wbudowany mechanizm ponawiania zatwierdzeń automatycznie radzi sobie z przejściowymi kolizjami wersji, ale konflikty logiczne — czyli sytuacje, w których dwie operacje faktycznie się pokrywają — powodują zgłoszenie wyjątku. Ponieważ Delta Lake nigdy nie generuje częściowych zapisów, transakcję, która zakończyła się niepowodzeniem, można bezpiecznie ponowić na poziomie aplikacji. W przypadku potoków, w których mogą sporadycznie występować konflikty logiczne, należy objąć operację zapisu mechanizmem ponawiania prób:
from delta.exceptions import ConcurrentAppendException
import time
# Retry with backoff on transient concurrent write conflicts
max_retries = 3
for attempt in range(max_retries):
try:
spark.sql("MERGE INTO target USING source ON ...")
break
except ConcurrentAppendException:
if attempt < max_retries - 1:
time.sleep(2 ** attempt)
else:
raise
Wybieranie właściwej strategii układu
Klastrowanie płynne i partycjonowanie rozwiązują różne problemy. Klaster Liquid optymalizuje układ plików pod kątem wydajności odczytu. Partycjonowanie tworzy fizyczne granice, które zapobiegają konfliktom między równoczesnymi operacjami zapisu. Jeśli obciążenie wymaga obu, utwórz partycje według kolumny writer-isolation i użyj Z-Order w ramach każdej partycji, aby poprawić wydajność odczytu.