Łącznik ingestowania Microsoft SQL Server

Ta strona pomaga zrozumieć przepływ pracy przetwarzania danych w programie SQL Server, w tym czynniki determinujące podejście do konfiguracji oraz kroki związane z różnymi profilami użytkowników.

Standardowa usługa CDC a zintegrowana usługa CDC

SQL Server obsługuje dwie architektury pozyskiwania. Poniższa tabela porównuje je:

Funkcja Standard CDC (oparty na bramie) Zintegrowana usługa CDC
Liczba potoków Dwa elementy (brama przyjmowania danych i potok przyjmowania danych) Jeden (ujednolicony potok)
Konfiguracja Utwórz bramę, a następnie utwórz potok importu danych odwołujący się do identyfikatora bramy Utwórz jeden potok, który odwołuje się do połączenia Unity Catalog
Tryb bramy sieciowej Brama działa w sposób ciągły Potok przetwarzania wbudowuje ekstrakcję w każdą aktualizację
Referencja połączenia ingestion_gateway_id connection_name (połączenie Unity Catalog)
Typ łącznika Niejawnie Wyraźny: connector_type: CDC
Wolumen przygotowawczy Brama zarządza woluminem przejściowym wewnętrznie Wolumin przejściowy można skonfigurować za pomocą programu data_staging_options. Potok automatycznie utworzy go, jeśli nie zostanie określony.

Ta sama konfiguracja źródłowej bazy danych ma zastosowanie do obu architektur. Zobacz Konfigurowanie Microsoft SQL Server do potrzeby importu danych do Azure Databricks. Aby uzyskać więcej informacji, zobacz Tworzenie zintegrowanego potoku CDC dla SQL Server.

Dostępność funkcji

Funkcja Availability
Tworzenie potoków opartych na interfejsie użytkownika Ikona zielonego sprawdzania Obsługiwane
Tworzenie rurociągu opartego na interfejsie API Ikona zielonego sprawdzania Obsługiwane
Pakiety automatyzacji deklaratywnej Ikona zielonego sprawdzania Obsługiwane
Pozyskiwanie przyrostowe Ikona zielonego sprawdzania Obsługiwane
Nadzór katalogu Unity Ikona zielonego sprawdzania Obsługiwane
Orkiestracja za pomocą zadań Lakeflow Ikona zielonego sprawdzania Obsługiwane
Typ SCD 2 Ikona zielonego sprawdzania Obsługiwane
Wybór i odznaczenie kolumn oparty na interfejsie API Ikona zielonego sprawdzania Obsługiwane
Filtrowanie wierszy oparte na interfejsie API Czerwona ikona X Nieobsługiwane
Automatyczna ewolucja schematu: nowe i usunięte kolumny Ikona zielonego sprawdzania Obsługiwane
Automatyczna ewolucja schematu: zmiany typu danych Czerwona ikona X Nieobsługiwane
Automatyczna ewolucja schematu: nazwy kolumn Czerwona ikona X Nieobsługiwane
Wymaga pełnego odświeżenia.
Automatyczna ewolucja schematu: nowe tabele Ikona zielonego sprawdzania Obsługiwane
W przypadku załadowania całego schematu. Zobacz ograniczenia dotyczące liczby tabel na przepływ danych.
Maksymalna liczba tabel na jeden potok 250

Metody uwierzytelniania

Metoda uwierzytelniania Availability
OAuth U2M Czerwona ikona X Nieobsługiwane
OAuth M2M Czerwona ikona X Nieobsługiwane
OAuth (token odświeżania ręcznego) Czerwona ikona X Nieobsługiwane
Uwierzytelnianie podstawowe (nazwa użytkownika/hasło) Ikona zielonego sprawdzania Obsługiwane
Uwierzytelnianie podstawowe (klucz interfejsu API) Czerwona ikona X Nieobsługiwane
Uwierzytelnianie podstawowe (klucz JSON konta usługi) Czerwona ikona X Nieobsługiwane

Co należy wiedzieć przed rozpoczęciem

Temat Dlaczego ma to znaczenie
Osoba użytkownika usługi Azure Databricks Przepływ pracy zależy od osoby użytkownika usługi Azure Databricks:
  • Jeden użytkownik: Użytkownik administracyjny konfiguruje źródłową bazę danych i tworzy połączenie do Unity Catalog, bramę do pozyskiwania oraz potok do pozyskiwania.
  • Wielu użytkowników: Użytkownik administracyjny konfiguruje źródłową bazę danych oraz tworzy połączenie, które pozwala użytkownikom niebędącym administratorami na tworzenie par połączeń gateway-pipeline.
Odmiana bazy danych Konfiguracja źródłowej bazy danych zależy od środowiska wdrażania programu SQL Server.
Metoda śledzenia zmian Konfiguracja źródłowej bazy danych zależy od sposobu śledzenia zmian w źródle.
Metoda uwierzytelniania Kroki tworzenia połączenia zależą od wybranej metody uwierzytelniania.
Interface Kroki do utworzenia połączenia, bramy i rury zależą od interfejsu.
Częstotliwość ładowania Harmonogram przepływu zależy od Twoich wymagań dotyczących opóźnień i kosztów.
Typowe wzorce W zależności od potrzeb związanych z pozyskiwaniem danych, potok może używać konfiguracji, takich jak monitorowanie historii, wybór kolumn i filtrowanie wierszy. Obsługiwane konfiguracje różnią się w zależności od łącznika. Zobacz Dostępność funkcji.

Rozpocznij pobieranie z SQL Server

Poniższa tabela zawiera omówienie całościowego procesu pobierania danych w SQL Server w zależności od typu użytkownika.

User Steps
Admin
Brak uprawnień administratora Użyj dowolnego obsługiwanego interfejsu, aby utworzyć bramę i potok. Zobacz Pozyskiwanie danych z programu SQL Server.
  • Last updated on