Rozwiązywanie błędów z importowaniem danych w programie SQL Server

Na tej stronie opisano typowe problemy z łącznikiem programu Microsoft SQL Server w usłudze Databricks Lakeflow Connect i sposoby ich rozwiązywania.

Aby uzyskać ogólne wskazówki dotyczące rozwiązywania problemów dotyczące wszystkich zarządzanych potoków pozyskiwania, zobacz Rozwiązywanie problemów z zarządzanymi potokami pozyskiwania.

Sprawdzanie, czy usługa CDC jest włączona dla bazy danych lub tabeli

Aby sprawdzić, czy usługa CDC jest włączona dla bazy danych <database-name>:

select is_cdc_enabled from sys.databases where name='<database-name>';

Aby sprawdzić, czy usługa CDC jest włączona dla tabeli <schema-name>.<table-name>:

select t.is_tracked_by_cdc
from sys.tables t join sys.schemas s on t.schema_id = s.schema_id
where s.name='<schema-name>' and t.name='<table-name>';

Sprawdzanie, czy śledzenie zmian jest włączone dla bazy danych lub tabeli

Aby sprawdzić, czy śledzenie zmian jest włączone dla bazy danych\<database-name\>:

select ctdb.*

from sys.change_tracking_databases ctdb join sys.databases db

    on db.database_id  = ctdb.database_id

where db.name = '<MyDatabaseName>'

Aby sprawdzić, czy śledzenie zmian jest włączone dla tabeli <schema-name>.<table-name>:

select s.name schema_name, t.name table_name, ct.*

from sys.change_tracking_tables ct join sys.tables t

    on ct.object_id = t.object_id

    join sys.schemas s on t.schema_id = s.schema_id

where s.name = '<MySchemaName>' and t.name = '<MyTableName>'

Limit czasu oczekiwania na token tabeli

Potok przesyłania danych może minąć czas oczekiwania podczas oczekiwania na informacje przekazywane przez bramę. Może to być spowodowane następującymi przyczynami:

  • Używasz starszej wersji bramy.
  • Wystąpił błąd podczas generowania niezbędnych informacji. Sprawdź dzienniki sterowników bramy pod kątem błędów.

Uwaga / Notatka

Proces pełnego odświeżania znacznie zmniejsza występowanie błędów przekroczenia limitu czasu podczas operacji pełnego odświeżania. Zobacz Mechanizm pełnego odświeżania (CDC).

domyślne uwierzytelnianie: nie można skonfigurować poświadczeń domyślnych

Jeśli wystąpi ten błąd, występuje problem z odnajdywaniem bieżących poświadczeń użytkownika. Spróbuj zastąpić następujące elementy:

w = WorkspaceClient()

tym:

w = WorkspaceClient(host=input('Databricks Workspace URL: '), token=input('Token: '))

Zobacz Uwierzytelnianie w dokumentacji zestawu SDK usługi Databricks dla języka Python.

tech.replicant.common.ExtractorException: com.microsoft.sqlserver.jdbc.SQLServerException: Nieprawidłowa nazwa kolumny "SERIAL_NUMBER".

Ten błąd może wystąpić, jeśli używasz starszej wersji tabeli wewnętrznej. Uruchom następujące na połączonej bazie danych:

drop table dbo.replicate_io_audit_ddl_trigger_1;

PERMISSION_DENIED: Nie masz autoryzacji do tworzenia klastrów. Skontaktuj się z administratorem.

Skontaktuj się z administratorem konta usługi Databricks, aby udzielić Ci Unrestricted cluster creation uprawnień.

KOD BŁĘDU DLT: INGESTION_GATEWAY_INTERNAL_ERROR

Sprawdź pliki stdout w dziennikach sterowników.

Konflikt nazewnictwa tabeli źródłowej

Ingestion pipeline error: "org.apache.spark.sql.catalyst.ExtendedAnalysisException: Cannot have multiple queries named `XYZ_snapshot_load` for `XYZ`. Additional queries on that table must be named. Note that unnamed queries default to the same name as the table.

Oznacza to, że występuje konflikt nazw z powodu wielu tabel źródłowych o nazwie XYZ w różnych schematach źródłowych, które są pozyskiwane przez ten sam potok pozyskiwania do tego samego schematu docelowego.

Utwórz wiele par brama-potok zapisujących te tabele, które są w konflikcie, do różnych schematów docelowych.

Niezgodne zmiany schematu

Niekompatybilna zmiana schematu powoduje, że potok ingestii przestaje działać z błędem CDC_INCOMPATIBLE_SCHEMA_CHANGES. Aby kontynuować replikację, wyzwól pełne odświeżanie tabel, których dotyczy problem.

Na przykład dodanie kolumny z ograniczeniem DEFAULT powoduje błąd CDC_INCOMPATIBLE_SCHEMA_CHANGES.ADD_COLUMN_WITH_BACKFILL. Zobacz ewolucję schematu.

Uwaga / Notatka

Databricks nie może zagwarantować, że w chwili, gdy potok pozyskiwania zawiedzie z powodu niezgodnej zmiany schematu, wszystkie wiersze przed tą zmianą były już pozyskane.

NON_INCREMENTAL_SCHEMA_CHANGE (zmiana schematu nieinkrementalna)

NON_INCREMENTAL_SCHEMA_CHANGE: Column '<column>' was added to table '<table>'. A full refresh is required to continue incremental ingestion.

Ten błąd występuje, gdy nowa kolumna zostanie dodana do tabeli źródłowej, podczas gdy pozyskiwanie przyrostowe jest aktywne. Łącznik nie może uzupełnić wartości w nowej kolumnie na podstawie historycznych danych o zmianach, dlatego wymagane jest pełne odświeżenie.

Wykonaj pełne odświeżenie tabeli, której dotyczy problem, aby wznowić importowanie danych. Zobacz W pełni odświeżane tabele docelowe.

MISSING_TABLE_IN_SOURCE

MISSING_TABLE_IN_SOURCE: Table '<schema>.<table>' could not be found in the source database.

Ten błąd występuje, gdy nie można już odnaleźć tabeli, która była wcześniej dostępna w źródłowej bazie danych. Typowe przyczyny:

  • Nazwa tabeli została zmieniona lub porzucona w źródle.
  • Tabela jest tymczasowo niedostępna, na przykład w trakcie okna konserwacyjnego.

Aby rozwiązać:

  • Jeśli tabela jest tymczasowo niedostępna, poczekaj na zakończenie prac konserwacyjnych, a następnie ponownie uruchom potok.
  • Jeśli nazwa tabeli została zmieniona lub utworzona ponownie, uruchom pełne odświeżenie tabeli, której dotyczy problem.
  • Jeśli tabela została celowo usunięta, usuń ją z potoku przetwarzania.

Wartości dużych obiektów są puste w tabeli docelowej

Jeśli kolumna tekstowa lub binarna jest pusta w tabeli docelowej, ale ma wartość w źródle, wartość źródłowa może być większa niż limit rozmiaru dla dużych obiektów. Konektor pobiera zbyt duże wartości jako puste bez niepowodzenia aktualizacji potoku lub zgłaszania błędu, a tego limitu nie da się zmienić. Zobacz Limit rozmiaru dużych obiektów.

Błędy HTTP 403 przy dostępie do pamięci Azure

Jeśli Twój potok zawiodł z błędem takim jak INTERNAL_ERROR: Server returned HTTP response code: 403 for URL, Twój procesor może nie mieć dostępu do punktu pamięci Azure używanego przez konektor SQL Server.

Uruchom następujące testy w notatniku Azure Databricks, aby wyizolować problem. Użyj dbutils.secrets, aby pobrać token sygnatury dostępu współdzielonego (SAS), zamiast umieszczać go bezpośrednio w kodzie.

Przetestuj dostęp do punktu końcowego DFS (ADLS Gen2)

Poniższy fragment umożliwia wyświetlanie listy, odczyt i zapis w punkcie końcowym usługi Azure Data Lake Storage (ADLS) Gen2, nazywanym również punktem końcowym rozproszonego systemu plików (DFS). Zamień wartości zastępcze na dane konta magazynowego, kontenera i sekretu, a następnie uruchom to, aby potwierdzić, czy token SAS może dotrzeć do punktu końcowego DFS:

storage_account = "<storage-account>"
container = "<container>"
sas_token = dbutils.secrets.get(scope="<scope>", key="<key>")

spark.conf.set(
    f"fs.azure.sas.{container}.{storage_account}.dfs.core.windows.net",
    sas_token
)

base_path = f"abfss://{container}@{storage_account}.dfs.core.windows.net/"

# List contents
display(dbutils.fs.ls(base_path))

# Read a file
df = spark.read.format("parquet").load(base_path + "<path-to-file>")
display(df.limit(10))

# Write a test file
df.write.format("delta").save(base_path + "_connectivity_test")

Testowanie dostępu do punktu końcowego obiektu blob

Jeśli test DFS zakończy się powodzeniem, ale pipeline nadal kończy się niepowodzeniem, konektor może zamiast tego używać punktu końcowego obiektu blob. Poniższy fragment uruchamia te same testy listowania, odczytu i zapisu dla punktu końcowego obiektu blob:

storage_account = "<storage-account>"
container = "<container>"
sas_token = dbutils.secrets.get(scope="<scope>", key="<key>")

spark.conf.set(
    f"fs.azure.sas.{container}.{storage_account}.blob.core.windows.net",
    sas_token
)

base_path = f"wasbs://{container}@{storage_account}.blob.core.windows.net/"

# List files
display(dbutils.fs.ls(base_path))

# Read a file
df = spark.read.format("parquet").load(base_path + "<path-to-file>")
display(df.limit(10))

# Write a test file
df.write.format("delta").save(base_path + "_connectivity_test")

Jeśli którykolwiek z testów zwróci błąd 403, token SAS nie ma wymaganych uprawnień lub nie obejmuje właściwego punktu końcowego. Sprawdź, czy token SAS przyznaje przynajmniej uprawnienia do odczytu i listy na kontenerze, i wygeneruj go ponownie, jeśli zajdzie taka potrzeba.

Błędy certyfikatu serwera TLS

Aby rozwiązać problemy z błędami weryfikacji certyfikatu serwera TLS, zobacz Rozwiązywanie problemów z błędami certyfikatów TLS.