Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här sidan hjälper dig att förstå arbetsflödet för SQL Server-inmatning, inklusive de faktorer som avgör konfigurationsmetoden och stegen för olika användarpersoner.
Standard CDC jämfört med integrerad CDC
SQL Server stöder två inmatningsarkitekturer. I följande tabell jämförs dem:
| Feature | Standard CDC (gatewaybaserad) | Integrerad CDC (Beta) |
|---|---|---|
| Antal pipelines | Två (inmatningsgateway och inmatningspipeline) | En (enhetligt arbetsflöde) |
| Konfiguration | Skapa en gateway och skapa sedan en inmatningspipeline som refererar till gateway-ID:t | Skapa en enda pipeline som refererar till en Unity Catalog-anslutning |
| Gateway-läge | Gatewayen körs kontinuerligt | Pipeline integrerar extraktion i varje uppdatering |
| Anslutningsreferens | ingestion_gateway_id |
connection_name (en Unity Catalog-anslutning) |
| Anslutningstyp | Implicit | Uttrycklig: connector_type: CDC |
| Mellanlagringsvolym | Gatewayen hanterar mellanlagringsvolymen internt | Du konfigurerar mellanlagringsvolymen via data_staging_options. Pipelinen skapar automatiskt en om den inte anges. |
Samma källdatabaskonfiguration gäller för båda arkitekturerna. Se Konfigurera Microsoft SQL Server för inmatning till Azure Databricks. Mer information finns i Skapa en integrerad CDC-pipeline för SQL Server.
Tillgänglighet av funktioner
| Feature | Availability |
|---|---|
| Redigering av användargränssnittsbaserad pipeline |
Stöds |
| API-baserad pipelineutformning |
Stöds |
| Deklarativa automationspaket |
Stöds |
| Inkrementell intagning |
Stöds |
| Styrning av Unity-katalog |
Stöds |
| Orkestrering med Lakeflow Jobs |
Stöds |
| SCD-typ 2 |
Stöds |
| API-baserad kolumnmarkering och avmarkering |
Stöds |
| API-baserad radfiltrering |
Stöds inte |
| Automatiserad schemautveckling: Nya och borttagna kolumner |
Stöds |
| Automatiserad schemautveckling: Ändringar av datatyp |
Stöds inte |
| Automatiserad schemautveckling: Kolumnbyten |
Stöds inte Kräver en fullständig uppdatering. |
| Automatiserad schemautveckling: Nya tabeller |
Stöds Om du importerar hela schemat. Se begränsningarna för antalet tabeller per pipeline. |
| Maximalt antal tabeller per pipeline | 250 |
Autentiseringsmetoder
| Autentiseringsmetod | Availability |
|---|---|
| OAuth U2M |
Stöds inte |
| OAuth M2M |
Stöds inte |
| OAuth (manuell uppdateringstoken) |
Stöds inte |
| Grundläggande autentisering (användarnamn/lösenord) |
Stöds |
| Grundläggande autentisering (API-nyckel) |
Stöds inte |
| Grundläggande autentisering (JSON-nyckel för tjänstkonto) |
Stöds inte |
Vad du bör veta innan du börjar
| Ämne | Varför det spelar roll |
|---|---|
| Användarpersona för Azure Databricks | Arbetsflödet beror på din Azure Databricks-användarpersona:
|
| Databasvariant | Källdatabaskonfigurationen beror på SQL Server-distributionsmiljön. |
| Ändringsspårningsmetod | Källdatabaskonfigurationen beror på hur du väljer att spåra ändringar i källan. |
| Autentiseringsmetod | Stegen för att skapa en anslutning beror på vilken autentiseringsmetod du väljer. |
| Gränssnitt | Stegen för att skapa en anslutning, en gateway och en pipeline beror på gränssnittet. |
| Inmatningsfrekvens | Schemat för pipeline beror på dina latens- och kostnadskrav. |
| Vanliga mönster | Beroende på dina inmatningsbehov kan pipelinen använda konfigurationer som historikspårning, kolumnval och radfiltrering. Konfigurationer som stöds varierar beroende på anslutning. Se Funktionstillgänglighet. |
Börja hämta data från SQL Server
Följande tabell innehåller en översikt över sql server-inmatningsarbetsflödet från slutpunkt till slutpunkt baserat på användartyp:
| User | Steg |
|---|---|
| Admin |
|
| Användare utan administratörsbehörighet | Använd alla gränssnitt som stöds för att skapa en gateway och en pipeline. Se Mata in data från SQL Server. |