Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Na tej stronie opisano typowe problemy z łącznikiem programu Microsoft SQL Server w usłudze Databricks Lakeflow Connect i sposoby ich rozwiązywania.
Aby uzyskać ogólne wskazówki dotyczące rozwiązywania problemów dotyczące wszystkich zarządzanych potoków pozyskiwania, zobacz Rozwiązywanie problemów z zarządzanymi potokami pozyskiwania.
Sprawdzanie, czy usługa CDC jest włączona dla bazy danych lub tabeli
Aby sprawdzić, czy usługa CDC jest włączona dla bazy danych <database-name>:
select is_cdc_enabled from sys.databases where name='<database-name>';
Aby sprawdzić, czy usługa CDC jest włączona dla tabeli <schema-name>.<table-name>:
select t.is_tracked_by_cdc
from sys.tables t join sys.schemas s on t.schema_id = s.schema_id
where s.name='<schema-name>' and t.name='<table-name>';
Sprawdzanie, czy śledzenie zmian jest włączone dla bazy danych lub tabeli
Aby sprawdzić, czy śledzenie zmian jest włączone dla bazy danych\<database-name\>:
select ctdb.*
from sys.change_tracking_databases ctdb join sys.databases db
on db.database_id = ctdb.database_id
where db.name = '<MyDatabaseName>'
Aby sprawdzić, czy śledzenie zmian jest włączone dla tabeli <schema-name>.<table-name>:
select s.name schema_name, t.name table_name, ct.*
from sys.change_tracking_tables ct join sys.tables t
on ct.object_id = t.object_id
join sys.schemas s on t.schema_id = s.schema_id
where s.name = '<MySchemaName>' and t.name = '<MyTableName>'
Limit czasu oczekiwania na token tabeli
Potok przesyłania danych może minąć czas oczekiwania podczas oczekiwania na informacje przekazywane przez bramę. Może to być spowodowane następującymi przyczynami:
- Używasz starszej wersji bramy.
- Wystąpił błąd podczas generowania niezbędnych informacji. Sprawdź dzienniki sterowników bramy pod kątem błędów.
Uwaga / Notatka
Proces pełnego odświeżania znacznie zmniejsza występowanie błędów przekroczenia limitu czasu podczas operacji pełnego odświeżania. Zobacz Mechanizm pełnego odświeżania (CDC).
domyślne uwierzytelnianie: nie można skonfigurować poświadczeń domyślnych
Jeśli wystąpi ten błąd, występuje problem z odnajdywaniem bieżących poświadczeń użytkownika. Spróbuj zastąpić następujące elementy:
w = WorkspaceClient()
tym:
w = WorkspaceClient(host=input('Databricks Workspace URL: '), token=input('Token: '))
Zobacz Uwierzytelnianie w dokumentacji zestawu SDK usługi Databricks dla języka Python.
tech.replicant.common.ExtractorException: com.microsoft.sqlserver.jdbc.SQLServerException: Nieprawidłowa nazwa kolumny "SERIAL_NUMBER".
Ten błąd może wystąpić, jeśli używasz starszej wersji tabeli wewnętrznej. Uruchom następujące na połączonej bazie danych:
drop table dbo.replicate_io_audit_ddl_trigger_1;
PERMISSION_DENIED: Nie masz autoryzacji do tworzenia klastrów. Skontaktuj się z administratorem.
Skontaktuj się z administratorem konta usługi Databricks, aby udzielić Ci Unrestricted cluster creation uprawnień.
KOD BŁĘDU DLT: INGESTION_GATEWAY_INTERNAL_ERROR
Sprawdź pliki stdout w dziennikach sterowników.
Konflikt nazewnictwa tabeli źródłowej
Ingestion pipeline error: "org.apache.spark.sql.catalyst.ExtendedAnalysisException: Cannot have multiple queries named `XYZ_snapshot_load` for `XYZ`. Additional queries on that table must be named. Note that unnamed queries default to the same name as the table.
Oznacza to, że występuje konflikt nazw z powodu wielu tabel źródłowych o nazwie XYZ w różnych schematach źródłowych, które są pozyskiwane przez ten sam potok pozyskiwania do tego samego schematu docelowego.
Utwórz wiele par brama-potok zapisujących te tabele, które są w konflikcie, do różnych schematów docelowych.
Niezgodne zmiany schematu
Niekompatybilna zmiana schematu powoduje, że potok ingestii przestaje działać z błędem CDC_INCOMPATIBLE_SCHEMA_CHANGES. Aby kontynuować replikację, wyzwól pełne odświeżanie tabel, których dotyczy problem.
Na przykład dodanie kolumny z ograniczeniem DEFAULT powoduje błąd CDC_INCOMPATIBLE_SCHEMA_CHANGES.ADD_COLUMN_WITH_BACKFILL. Zobacz ewolucję schematu.
Uwaga / Notatka
Databricks nie może zagwarantować, że w chwili, gdy potok pozyskiwania zawiedzie z powodu niezgodnej zmiany schematu, wszystkie wiersze przed tą zmianą były już pozyskane.
NON_INCREMENTAL_SCHEMA_CHANGE (zmiana schematu nieinkrementalna)
NON_INCREMENTAL_SCHEMA_CHANGE: Column '<column>' was added to table '<table>'. A full refresh is required to continue incremental ingestion.
Ten błąd występuje, gdy nowa kolumna zostanie dodana do tabeli źródłowej, podczas gdy pozyskiwanie przyrostowe jest aktywne. Łącznik nie może uzupełnić wartości w nowej kolumnie na podstawie historycznych danych o zmianach, dlatego wymagane jest pełne odświeżenie.
Wykonaj pełne odświeżenie tabeli, której dotyczy problem, aby wznowić importowanie danych. Zobacz W pełni odświeżane tabele docelowe.
MISSING_TABLE_IN_SOURCE
MISSING_TABLE_IN_SOURCE: Table '<schema>.<table>' could not be found in the source database.
Ten błąd występuje, gdy nie można już odnaleźć tabeli, która była wcześniej dostępna w źródłowej bazie danych. Typowe przyczyny:
- Nazwa tabeli została zmieniona lub porzucona w źródle.
- Tabela jest tymczasowo niedostępna, na przykład w trakcie okna konserwacyjnego.
Aby rozwiązać:
- Jeśli tabela jest tymczasowo niedostępna, poczekaj na zakończenie prac konserwacyjnych, a następnie ponownie uruchom potok.
- Jeśli nazwa tabeli została zmieniona lub utworzona ponownie, uruchom pełne odświeżenie tabeli, której dotyczy problem.
- Jeśli tabela została celowo usunięta, usuń ją z potoku przetwarzania.
Wartości dużych obiektów są puste w tabeli docelowej
Jeśli kolumna tekstowa lub binarna jest pusta w tabeli docelowej, ale ma wartość w źródle, wartość źródłowa może być większa niż limit rozmiaru dla dużych obiektów. Konektor pobiera zbyt duże wartości jako puste bez niepowodzenia aktualizacji potoku lub zgłaszania błędu, a tego limitu nie da się zmienić. Zobacz Limit rozmiaru dużych obiektów.
Błędy HTTP 403 przy dostępie do pamięci Azure
Jeśli Twój potok zawiodł z błędem takim jak INTERNAL_ERROR: Server returned HTTP response code: 403 for URL, Twój procesor może nie mieć dostępu do punktu pamięci Azure używanego przez konektor SQL Server.
Uruchom następujące testy w notatniku Azure Databricks, aby wyizolować problem. Użyj dbutils.secrets, aby pobrać token sygnatury dostępu współdzielonego (SAS), zamiast umieszczać go bezpośrednio w kodzie.
Przetestuj dostęp do punktu końcowego DFS (ADLS Gen2)
Poniższy fragment umożliwia wyświetlanie listy, odczyt i zapis w punkcie końcowym usługi Azure Data Lake Storage (ADLS) Gen2, nazywanym również punktem końcowym rozproszonego systemu plików (DFS). Zamień wartości zastępcze na dane konta magazynowego, kontenera i sekretu, a następnie uruchom to, aby potwierdzić, czy token SAS może dotrzeć do punktu końcowego DFS:
storage_account = "<storage-account>"
container = "<container>"
sas_token = dbutils.secrets.get(scope="<scope>", key="<key>")
spark.conf.set(
f"fs.azure.sas.{container}.{storage_account}.dfs.core.windows.net",
sas_token
)
base_path = f"abfss://{container}@{storage_account}.dfs.core.windows.net/"
# List contents
display(dbutils.fs.ls(base_path))
# Read a file
df = spark.read.format("parquet").load(base_path + "<path-to-file>")
display(df.limit(10))
# Write a test file
df.write.format("delta").save(base_path + "_connectivity_test")
Testowanie dostępu do punktu końcowego obiektu blob
Jeśli test DFS zakończy się powodzeniem, ale pipeline nadal kończy się niepowodzeniem, konektor może zamiast tego używać punktu końcowego obiektu blob. Poniższy fragment uruchamia te same testy listowania, odczytu i zapisu dla punktu końcowego obiektu blob:
storage_account = "<storage-account>"
container = "<container>"
sas_token = dbutils.secrets.get(scope="<scope>", key="<key>")
spark.conf.set(
f"fs.azure.sas.{container}.{storage_account}.blob.core.windows.net",
sas_token
)
base_path = f"wasbs://{container}@{storage_account}.blob.core.windows.net/"
# List files
display(dbutils.fs.ls(base_path))
# Read a file
df = spark.read.format("parquet").load(base_path + "<path-to-file>")
display(df.limit(10))
# Write a test file
df.write.format("delta").save(base_path + "_connectivity_test")
Jeśli którykolwiek z testów zwróci błąd 403, token SAS nie ma wymaganych uprawnień lub nie obejmuje właściwego punktu końcowego. Sprawdź, czy token SAS przyznaje przynajmniej uprawnienia do odczytu i listy na kontenerze, i wygeneruj go ponownie, jeśli zajdzie taka potrzeba.
Błędy certyfikatu serwera TLS
Aby rozwiązać problemy z błędami weryfikacji certyfikatu serwera TLS, zobacz Rozwiązywanie problemów z błędami certyfikatów TLS.