Microsoft SQL Server-gegevensinvoerconnector

Op deze pagina krijgt u inzicht in de opnamewerkstroom van SQL Server, met inbegrip van de factoren die uw instellingsbenadering bepalen en de stappen voor verschillende persona's van gebruikers.

Standard CDC versus geïntegreerde CDC

SQL Server ondersteunt twee opnamearchitecturen. In de volgende tabel worden deze vergeleken:

Feature Standaard CDC (gebaseerd op een gateway) Geïntegreerde CDC (bèta)
Aantal pijplijnen Twee (opnamegateway en opnamepijplijn) Eén (geïntegreerde pijplijn)
Configuratie Maak een gateway en maak vervolgens een opnamepijplijn die verwijst naar de gateway-id Eén pijplijn maken die verwijst naar een Unity Catalog-verbinding
Gateway-modus De gateway draait continu. De pijplijn sluit extractie in elke update in
Verbindingsverwijzing ingestion_gateway_id connection_name (een Unity Catalog-verbinding)
Verbindingslijntype Impliciet Uitdrukkelijk: connector_type: CDC
Stagingvolume De gateway beheert het stagingvolume intern U configureert het stagingvolume via data_staging_options. De pijplijn maakt er automatisch een als deze niet is opgegeven.

Dezelfde brondatabaseconfiguratie is van toepassing op beide architecturen. Zie Microsoft SQL Server configureren voor opname in Azure Databricks. Zie Een geïntegreerde CDC-pijplijn maken voor SQL Server voor meer informatie.

Beschikbaarheid van functies

Feature Availability
Ontwerpen van pijplijnen op basis van gebruikersinterface Pictogram Groen vinkje Ondersteund
Op API gebaseerde pijplijncreatie Pictogram Groen vinkje Ondersteund
Declaratieve automatiseringsbundels Pictogram Groen vinkje Ondersteund
Stapsgewijze opname Pictogram Groen vinkje Ondersteund
Unity Catalog-beheer Pictogram Groen vinkje Ondersteund
Orchestratie met Lakeflow Jobs Pictogram Groen vinkje Ondersteund
SCD-type 2 Pictogram Groen vinkje Ondersteund
Op API gebaseerde kolomselectie en -deselectie Pictogram Groen vinkje Ondersteund
Op API gebaseerde rijfilters Rood X-pictogram Niet ondersteund
Geautomatiseerde schemaontwikkeling: nieuwe en verwijderde kolommen Pictogram Groen vinkje Ondersteund
Geautomatiseerde schemaontwikkeling: wijzigingen in gegevenstypen Rood X-pictogram Niet ondersteund
Geautomatiseerde ontwikkeling van schema's: kolomnamen Rood X-pictogram Niet ondersteund
Vereist een volledige vernieuwing.
Geautomatiseerde schemaontwikkeling: nieuwe tabellen Pictogram Groen vinkje Ondersteund
Als u het hele schema inleest. Bekijk de beperkingen voor het aantal tabellen per pijplijn.
Maximum aantal tabellen per pijplijn 250

Verificatiemethoden

Verificatiemethode Availability
OAuth U2M Rood X-pictogram Niet ondersteund
OAuth M2M Rood X-pictogram Niet ondersteund
OAuth (token voor handmatig vernieuwen) Rood X-pictogram Niet ondersteund
Basisverificatie (gebruikersnaam/wachtwoord) Pictogram Groen vinkje Ondersteund
Basisverificatie (API-sleutel) Rood X-pictogram Niet ondersteund
Basisverificatie (JSON-sleutel voor serviceaccount) Rood X-pictogram Niet ondersteund

Wat u moet weten voordat u begint

Onderwerp Waarom het belangrijk is
Persona van Azure Databricks-gebruiker De werkstroom is afhankelijk van uw Azure Databricks-gebruikerspersoon:
  • Eén gebruiker: Een gebruiker met beheerdersrechten configureert de brondatabase en maakt een Unity Catalog-verbinding, een opnamegateway en een opnamepijplijn.
  • Meerdere gebruikers: een gebruiker met beheerdersrechten configureert de brondatabase en maakt een verbinding voor niet-beheerders om gatewaypijplijnparen met te maken.
Databasevariatie De configuratie van de brondatabase is afhankelijk van de SQL Server-implementatieomgeving.
Methode voor het bijhouden van wijzigingen De configuratie van de brondatabase is afhankelijk van hoe u ervoor kiest om wijzigingen in de bron bij te houden.
Verificatiemethode De stappen voor het maken van een verbinding zijn afhankelijk van de verificatiemethode die u kiest.
Interface De stappen voor het maken van een verbinding, een gateway en een pijplijn zijn afhankelijk van de interface.
Opnamefrequentie Het pijplijnschema is afhankelijk van uw latentie- en kostenvereisten.
Algemene patronen Afhankelijk van uw opnamebehoeften kan de pijplijn configuraties gebruiken, zoals het bijhouden van geschiedenis, kolomselectie en het filteren van rijen. Ondersteunde configuraties variëren per connector. Zie Beschikbaarheid van functies.

Inname starten van SQL Server

De volgende tabel bevat een overzicht van de end-to-end SQL Server-opnamewerkstroom op basis van het gebruikerstype:

User Steps
beheerder
Niet-beheerder Gebruik een ondersteunde interface om een gateway en een pijplijn te maken. Zie Gegevens opnemen uit SQL Server.
  • Last updated on