Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ta strona zawiera listę ograniczeń i względów dotyczących pobierania danych z SQL Server przy użyciu usługi Databricks Lakeflow Connect.
Ogólne ograniczenia łącznika bazy danych
Ograniczenia w tej sekcji dotyczą wszystkich łączników bazy danych w programie Lakeflow Connect. Kontynuuj odczytywanie ograniczeń specyficznych dla łącznika.
- Po uruchomieniu zaplanowanego potoku alerty nie są wyzwalane od razu. Zamiast tego wyzwalają się po uruchomieniu następnej aktualizacji.
- Po usunięciu tabeli źródłowej tabela docelowa nie zostanie automatycznie usunięta. Musisz ręcznie usunąć tabelę docelową. To zachowanie nie jest zgodne z działaniem Spark Declarative Pipelines w Lakeflow.
- Katalog przejściowy nie może być katalogiem obcym.
- W okresach konserwacji źródła usługa Databricks może nie mieć dostępu do Twoich danych.
- Jeśli nazwa tabeli źródłowej powoduje konflikt z istniejącą nazwą tabeli docelowej, aktualizacja procesów zakończy się niepowodzeniem.
- Obsługiwanie potoków z wieloma miejscami docelowymi jest dostępne wyłącznie przez API.
- Możesz zmienić nazwę tabeli, którą importujesz. Jeśli zmienisz nazwę tabeli w swoim potoku, stanie się on potokiem dostępnym tylko przez API, i nie będzie można już edytować potoku w interfejsie użytkownika.
- Jeśli wybierzesz kolumnę po uruchomieniu potoku, łącznik nie wypełnia automatycznie danych dla nowej kolumny. Aby pozyskać dane historyczne, ręcznie przeprowadź pełne odświeżanie na tabeli.
- Usługa Databricks nie może pozyskiwać co najmniej dwóch tabel o tej samej nazwie w tym samym potoku, nawet jeśli pochodzą one z różnych schematów źródłowych.
- System źródłowy zakłada, że kolumny kursorów są monotonicznie rosnące.
-
Każda pojedyncza wartość dużego obiektu, której długość przekracza 10 485 760, jest przyjmowana jako wartość pusta. Długość liczona jest w bajtach dla wartości binarnych, PostgreSQL
textijsonb, a SQL Servervarchar(max)itext. Jest liczony w znakach dla OracleCLOBiNCLOB, oraz w jednostkach kodowych UTF-16 dla SQL Servernvarchar(max),ntext, orazxml. Zbyt duże wartości tekstowe stają się pustym ciągiem (''), a zbyt duże wartości binarne stają się pustą wartością binarną. Dotyczy to początkowej migawki, pełnych odświeżeń oraz przechwytywania danych zmian. Pozostałe kolumny w tym samym wierszu są przetwarzane normalnie. Aktualizacja pipeline nie powoduje awarii ani nie zgłasza błędu, a nie możesz zmienić tego limitu. - Łącznik pozyskuje nieprzetworzone dane bez przekształceń. Użyj dalszych deklaratywnych potoków Spark w potokach Lakeflow do przekształceń.
- Obsługa jest ograniczona do podstawowych wystąpień programu SQL Server. Dzieje się tak, ponieważ śledzenie zmian i rejestrowanie danych o zmianach nie są obsługiwane w replikach do odczytu ani w wystąpieniach pomocniczych.
Uwierzytelnianie
- Łącznik obsługuje uwierzytelnianie podstawowe (nazwa użytkownika i hasło). W przypadku usług Azure SQL Database i Azure SQL Managed Instance łącznik obsługuje również uwierzytelnianie identyfikatora Entra firmy Microsoft.
- Konfiguracje klastra trybu failover z wieloma podsieciami muszą zawierać jeden adres IP skierowany do przodu.
Odmiany bazy danych
Łącznik obsługuje bazy danych Azure SQL Database, Azure SQL Managed Instance i Amazon RDS SQL Database. Obejmuje to program SQL Server uruchomiony na maszynach wirtualnych platformy Azure i w usłudze Amazon EC2. Łącznik obsługuje również SQL Server w lokalnym środowisku, korzystając z sieci Azure ExpressRoute i AWS Direct Connect. Aby uzyskać szczegółowe informacje na temat łączności między chmurami, zobacz Łączność sieciowa.
Aby użyć funkcji przechwytywania zmian danych przez firmę Microsoft (CDC):
Musisz mieć zbiorczy pakiet aktualizacji 3 (CU3) lub nowszy dla SQL Server 2012 Service Pack 1 (SP1).
Ta aktualizacja wprowadziła kolumnę
__$command_id. Bez tej kolumny brama pobierania nie może wiarygodnie rozróżnić rodzajów operacji modyfikujących dane (na przykładUPDATEoperacji, które przejawiają się jakoDELETE-INSERTpary z identycznymi__$seqvalwartościami). Może to spowodować niespójności danych.W przypadku wersji starszych niż SQL Server 2016 wymagana jest również wersja Enterprise Edition.
W grupach dostępności SQL Server (AG): punkty kontrolne LSN są przenoszalne między replikami. Jeśli połączysz się przy użyciu adresu nasłuchiwania AG, potok może zostać wznowiony po nieplanowanym przełączeniu awaryjnym AG bez utraty danych.
Aby korzystać ze śledzenia zmian firmy Microsoft, musisz mieć program SQL Server 2012 lub nowszy.
- Dane śledzenia zmian nie są replikowane do węzłów pomocniczych. Każda zmiana węzła źródłowego, w tym przełączenie awaryjne grupy dostępności, wymaga pełnego odświeżenia wszystkich tabel w potoku danych.
Dane znaków z przechwytywaniem zmian
Gdy kolumna CHAR or VARCHAR używa innej sortacji niż baza danych, SQL Server change data capture (CDC) może zapisać błędną wartość do swojej tabeli zmian. Znaki spoza ASCII są zagrożone, gdy sortowania używają różnych stron kodowych. Złącze pobiera przechwyconą wartość, więc migawka może pasować do źródła, podczas gdy późniejsze zmiany tego nie robią. Zobacz ograniczenia CDC firmy Microsoft.
Dla kolumn, które muszą zachować znaki w różnych stronach kodowych, należy użyć NVARCHAR lub NVARCHAR(MAX) zamiast VARCHAR lub starszego typu TEXT. Istniejące kolumny NTEXT przechowują dane Unicode, ale Microsoft wycofuje NTEXT i zaleca NVARCHAR(MAX) dla nowych lub migrowanych kolumn. Zobacz wskazówki Microsoft dotyczące typów danych znakowych.
Pipelines
- Każdy potok pozyskiwania musi być skojarzony z dokładnie jedną bramą pozyskiwania. Bramy nie mogą być współdzielone w ramach potoków.
- Mimo że potok pozyskiwania działa w bezserwerowej infrastrukturze komputerowej, brama pozyskiwania musi działać na klasycznej infrastrukturze komputerowej.
- Brama pozyskiwania musi działać w trybie ciągłym, aby uniknąć porzucania zmian z powodu przechowywania dziennika. Nie należy ręcznie zatrzymywać bramy. Jeśli zmiany zostały usunięte, pełne odświeżenie jest wymagane dla wszystkich tabel, których dotyczy problem.
Ewolucja schematu
Łącznik automatycznie obsługuje większość nowych i usuniętych kolumn, chyba że zrezygnujesz z tej opcji.
Gdy nowa kolumna pojawi się w źródle, Azure Databricks automatycznie ją pobiera przy kolejnym uruchomieniu pipeline. Możesz jednak zrezygnować z tego.
Dodanie dowolnej z poniższych kolumn powstrzymuje proces pobierania danych przed wprowadzaniem zmian do tabeli aż do momentu pełnego odświeżenia:
- Kolumna z ograniczeniem
DEFAULT, niezależnie od tego, czy kolumna dopuszcza wartość NULL, czyNOT NULLoraz z lub bezWITH VALUES. Potok pozyskiwania danych przestaje działać z błędemCDC_INCOMPATIBLE_SCHEMA_CHANGES.ADD_COLUMN_WITH_BACKFILL. - Kolumna obliczeniowa.
- Kolumna identyfikacyjna.
Aby uruchomić pełne odświeżenie automatycznie, włącz automatyczne pełne odświeżanie.
- Kolumna z ograniczeniem
Gdy kolumna zostanie usunięta ze źródła, usługa Azure Databricks nie usunie jej automatycznie. Zamiast tego łącznik używa właściwości tabeli, aby ustawić usuniętą kolumnę na
inactivew miejscu docelowym. Jeśli później pojawi się inna kolumna, której nazwa jest w konflikcie z kolumnąinactive, rura przetwarzająca zakończy się niepowodzeniem. W takim przypadku można uruchomić pełne odświeżenie tabeli lub ręcznie usunąć nieaktywną kolumnę.
Dotyczy to nowych i usuniętych tabel w schemacie, o ile zaimportujesz cały schemat.
Na koniec łącznik może obsługiwać zmiany nazw kolumn, chociaż wymaga to pełnego odświeżenia tabeli.
Dodatkowe zmiany schematu (na przykład zmiany typu danych) wymagają również pełnego odświeżenia tabel docelowych.
Etapowanie
Katalog testowy nie może być katalogiem obcym.
Tabele
- Usługa Databricks zaleca pozyskiwanie 250 lub mniej tabel na jeden przepływ danych. Nie ma jednak limitu liczby wierszy lub kolumn obsługiwanych w tych obiektach.
- Usługa Databricks nie może pozyskiwać dwóch tabel, których nazwy różnią się wyłącznie wielkością liter (na przykład
MyTableiMYTABLE), korzystając z pojedynczego potoku. Aby obsługiwać takie przypadki, utwórz dwie pary potoków przetwarzania danych bramy, które publikują do schematów docelowych. - W
source_catalognazwach ,source_schemaisource_tablejest uwzględniana wielkość liter. Jeśli na przykład źródłowy katalog bazy danych jest określony jakoMarketingwsys.databases, nie możesz określić go jakomarketingwingestion_definition. - W przypadku zintegrowanych potoków CDC nazwa
source_catalognie może zawierać spacji ani znaków;,:,?ani/, mimo że SQL Server pozwala na to w identyfikatorach z delimitacją. Potok kończy się niepowodzeniem podczas tworzenia snapshotu z błędemDATA_SOURCE_OPTION_CONTAINS_INVALID_CHARACTERS. Nie jest obsługiwane cytowanie lub ujmowanie nazwy w nawiasy (na przykład[My Database]lub"My Database") Potok dosłownie przekazuje cudzysłowy do SQL Server, co powoduje mylące błędy, takie jakSOURCE_AUTHENTICATION_FAILURElub brak schematu. Aby zaimportować z bazy danych o takiej nazwie, należy zmienić nazwę bazy lub zaimportować z kopii, której nazwa nie zawiera żadnego z tych znaków. - Chociaż można pozyskiwać z wielu katalogów źródłowych lub schematów w jednym potoku, nie można pozyskiwać dwóch tabel o tej samej nazwie. Na przykład nie można przetwarzać zarówno
schema1.Marketing, jak ischema2.Marketingw tym samym potoku. - Wiele specyfikacji tabeli lub schematu można uwzględnić w polu
objectsw ramachingestion_definition. Jednak nazwy tabel źródłowych w różnych schematach źródłowych nie mogą się nakładać. Spowoduje to niepowodzenie potoku pozyskiwania.