Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Belangrijk
De PostgreSQL-connector voor Lakeflow Connect bevindt zich in openbare preview. Neem contact op met uw Databricks-accountteam om u in te schrijven voor de openbare preview.
Op deze pagina vindt u de beperkingen en overwegingen voor postgreSQL-opname met behulp van Databricks Lakeflow Connect.
Algemene beperkingen van databaseconnectoren
De beperkingen in deze sectie zijn van toepassing op alle databaseconnectors in Lakeflow Connect. Lees verder voor connectorspecifieke beperkingen.
- Wanneer u een geplande pijplijn uitvoert, worden waarschuwingen niet onmiddellijk geactiveerd. In plaats daarvan worden ze geactiveerd wanneer de volgende update wordt uitgevoerd.
- Wanneer een brontabel wordt verwijderd, wordt de doeltabel niet automatisch verwijderd. U moet de bestemmingstabel handmatig verwijderen. Dit gedrag komt niet overeen met het gedrag van Spark Declarative Pipelines op Lakeflow.
- De faseringscatalogus kan geen buitenlandse catalogus zijn.
- Tijdens de brononderhoudsperioden heeft Databricks mogelijk geen toegang tot uw gegevens.
- Als de naam van een brontabel conflicteert met een bestaande doeltabelnaam, mislukt de pijplijnupdate.
- Ondersteuning voor multidestinatie-pijplijnen is alleen beschikbaar via de API.
- Je kunt optioneel een tabel die je binnenhaalt een andere naam geven. Als je een tabel in je pipeline hernoemt, wordt het een alleen-API-pipeline en kun je de pipeline niet langer in de UI bewerken.
- Als u een kolom selecteert nadat een pijplijn al is gestart, vult de connector de gegevens voor de nieuwe kolom niet automatisch aan. Om historische gegevens in te laden, voer handmatig een volledige vernieuwingsopdracht uit op de tabel.
- Databricks kan geen twee of meer tabellen met dezelfde naam opnemen in dezelfde pijplijn, zelfs niet als ze afkomstig zijn van verschillende bronschema's.
- In het bronsysteem wordt ervan uitgegaan dat de cursorkolommen monotonisch toenemen.
-
Elke enkele grote objectwaarde waarvan de lengte groter is dan 10.485.760, wordt als lege waarde ingelezen. De lengte wordt geteld in bytes voor binaire waarden, PostgreSQL
textenjsonb, en SQL Servervarchar(max)entext. Het wordt geteld in tekens voor OracleCLOBenNCLOB, en in UTF-16 code-units voor SQL Servernvarchar(max),ntext, enxml. Oversized tekstwaarden worden een lege string (''), en oversized binaire waarden worden een lege binaire waarde. Dit geldt voor de initiële snapshot, volledige verversingen en change data capture. Andere kolommen in dezelfde rij worden normaal opgenomen. De pipeline-update faalt niet en meldt geen fout, en je kunt deze limiet niet wijzigen. - De connector neemt onbewerkte gegevens op zonder transformaties. Gebruik downstream Spark Declarative Pipelines op Lakeflow-pijplijnen voor transformaties.
- De connector ondersteunt alleen replicatie van primaire PostgreSQL-exemplaren.
Authenticatie
- De connector biedt alleen ondersteuning voor verificatie van gebruikersnaam en wachtwoord.
Databasevariaties
- De connector ondersteunt PostgreSQL 13 of hoger.
- De connector ondersteunt AWS RDS PostgreSQL, Aurora PostgreSQL, Amazon EC2, Azure Database for PostgreSQL, Azure Virtual Machines, en GCP Cloud SQL voor PostgreSQL. De connector ondersteunt ook on-premises PostgreSQL met behulp van Azure ExpressRoute, AWS Direct Connect en VPN-netwerken. Zie Netwerkconnectiviteit voor meer informatie over connectiviteit tussen clouds.
Pipelines
- Elke opnamepijplijn moet worden gekoppeld aan precies één opnamegateway. Gateways kunnen niet worden gedeeld tussen pijplijnen.
- Hoewel de opnamepijplijn draait op serverloze rekenkracht, moet de opnamegateway draaien op klassieke rekenkracht.
- De opnamegateway moet in continue modus draaien om een overflow van de Write-Ahead Log (WAL) en replicatieslotaccumulatie te voorkomen.
Replication
- Voor logische replicatie is PostgreSQL 13 of hoger vereist, waarbij de
wal_levelparameter is ingesteld oplogical.
- Voor elke tabel die u repliceert, moet de replica-identiteit zijn ingesteld op
FULLofDEFAULT. Databricks raadt aan om replica-identiteit te gebruikenFULLvoor tabellen zonder primaire sleutels of met TOASTable-kolommen. - Replicatieslots zijn niet automatisch verwijderd wanneer u pijplijnen verwijdert. U moet replicatiesleuven handmatig opschonen om WAL-accumulatie te voorkomen. Zie ook Replicatieslots opschonen.
- De connector gebruikt de positie van het replicatieslot voor het bijhouden van controlepunten. Als het primaire PostgreSQL-knooppunt wordt gedegradeerd of vervangen (bijvoorbeeld tijdens een failover), gaat de informatie over de replicatiesite verloren. Dit resulteert in een 'slot not found'-fout waarvoor een volledige vernieuwing van alle tabellen in de pijplijn nodig is. Verbinding maken met een ander bronknooppunt wordt niet ondersteund.
Ontwikkeling van schema's
Het gedrag dat in deze sectie wordt beschreven, is alleen van toepassing als u inline DDL inschakelt. Wanneer inline-DDL is uitgeschakeld, detecteert de connector nog steeds schemawijzigingen, maar de betrokken tabellen moeten volledig worden vernieuwd. Zie Optioneel: Inline DDL-tracering configureren om inline-DDL in te schakelen.
Wanneer inline-DDL is ingeschakeld, verwerkt de connector automatisch nieuwe en verwijderde kolommen.
- Wanneer er een nieuwe kolom in de bron verschijnt, neemt de connector deze automatisch op bij de volgende pijplijnuitvoering.
- Wanneer u een kolom uit de bron verwijdert, wordt deze niet automatisch door de connector verwijderd. In plaats daarvan gebruikt de connector een tabeleigenschap om in het doel de verwijderde kolom in te stellen op
inactive. Als er later een andere kolom wordt weergegeven met een naam die conflicteert met deinactivekolom, mislukt de pijplijn. In dit geval voert u een volledige vernieuwing van de tabel uit of zet u de inactieve kolom handmatig neer.
De connector kan de volgende DDLs verwerken, maar vereist een volledige vernieuwing van de doeltabellen.
DDLs waarvoor volledige vernieuwing is vereist
- Het gegevenstype van een kolom wijzigen
- De naam van een kolom wijzigen
- De primaire sleutel van een tabel wijzigen
- Een tabel converteren van niet-geregistreerd naar geregistreerd of omgekeerd
- Partities toevoegen of verwijderen (voor gepartitioneerde tabellen)
Staging
De faseringscatalogus kan geen buitenlandse catalogus zijn.
Tables
- Databricks raadt aan om 250 of minder tabellen per pijplijn op te nemen. Er is echter geen limiet voor het aantal rijen of kolommen dat in deze tabellen wordt ondersteund.
- Databricks kan geen twee tabellen verwerken waarvan de namen alleen verschillen in hoofdlettergebruik (zoals
mytableenMyTable), met één enkele pijplijn. Ter ondersteuning van dergelijke gevallen maakt u twee gateway-opnamepijplijnparen die naar verschillende doelschema's publiceren. - De
source_catalognamen ensource_schemasource_tablenamen zijn hoofdlettergevoelig voor de databasenaam, maar niet hoofdlettergevoelig voor de schema- en tabelnamen (volgens het standaardgedrag van PostgreSQL). Als de brondatabase bijvoorbeeld een naamMyDatabaseheeft, moet u deze opgeven zoalsMyDatabasein deingestion_definition. - Hoewel u uit meerdere brondatabases of schema's in één pijplijn kunt opnemen, kunt u geen twee tabellen met dezelfde naam opnemen. U kunt bijvoorbeeld niet beide
schema1.ordersenschema2.ordersin dezelfde pijplijn opnemen. - U kunt meerdere tabel- of schemaspecificaties opnemen in het
objectsveld van deingestion_definition. De namen van brontabellen in verschillende bronschema's mogen echter niet overlappen. Overlappende namen leiden tot fouten in de gegevensinvoerpijplijn.
Gegevenstypen
- Door de gebruiker gedefinieerde typen en extensietypen van derden worden opgenomen als tekenreeksen.
- De
TIMEgegevenstypen enTIMETZgegevenstypen worden opgenomen als tekenreeksen. - Voor
NUMERICenDECIMALgegevenstypen:- Als precisie 38 of minder is,
NaNwordt toegewezen aannull. - Als de precisie groter is dan 38, wordt de waarde opgeslagen als een tekenreeks en
NaNblijft deze behouden als een tekenreeks. -
Infen-Infworden alleen ondersteund voor onbegrensde numerieke types. Voor precisie groter dan 38 wordt de waarde opgeslagen als een tekenreeks en blijft de oneindigheidswaarde behouden.
- Als precisie 38 of minder is,
- Voor
DATEgegevenstype: Het volledige PostgreSQL-datumbereik wordt ondersteund.Infen-Infworden omgezet naarnull. BC-datums worden opgeslagen met astronomische jaarnummering. 1 v.Chr. komt bijvoorbeeld overeen met jaar 0 en 2 v.Chr. komt overeen met -1. - Voor
TIMESTAMPgegevenstype (zonder tijdzone): Waarden worden opgenomen als tekenreeksen.Infen-Infworden bewaard als strings. - Voor
TIMESTAMP WITH TIME ZONEgegevenstype: Het ondersteunde PostgreSQL-bereik is van4713-01-01 00:00:00.000000 BCtot294276-12-31 23:59:59.999999 AD, terwijl het door Databricks ondersteunde bereik van-290308-12-21 BCE 19:59:06 GMTtot+294247-01-10 CE 04:00:54 GMTis. Tijdstempels boven de maximale ondersteunde tijdstempel van Databricks worden geconverteerd naarnull. BC-datums worden opgeslagen met astronomische jaarnummering. 1 v.Chr. komt bijvoorbeeld overeen met jaar 0 en 2 v.Chr. komt overeen met -1.Infen-Infworden omgezet naarnull. - Voor
INTERVALgegevenstype: Oneindige waarden worden toegewezen aan0 years 0 mins 0 days 0 hours 0 mins 0.0 secs. -
MONEYwaarden worden als strings ingevoerd. - Binaire kolommen (bijvoorbeeld
BYTEA) kunnen niet worden gebruikt als clusteringsleutels. - Een ingebouwd PostgreSQL-gegevenstype dat niet wordt vermeld in de tabel Automatische gegevenstransformaties , wordt opgenomen als tekenreeks.
Gepartitioneerde tabellen
- Gepartitioneerde PostgreSQL-tabellen worden ondersteund.
- Elke partitie wordt behandeld als een afzonderlijke tabel voor replicatiedoeleinden.
- Voor het toevoegen of verwijderen van partities is een volledige vernieuwing van de tabel vereist.
Beperkingen voor specifieke PostgreSQL-variaties
Amazon RDS en Aurora
- De
rds.logical_replicationparameter moet worden ingesteld op1.
Azure-database voor PostgreSQL
- Logische replicatie moet zijn ingeschakeld in de serverparameters.
- Voor implementaties met één server is logische replicatie alleen beschikbaar in de lagen Algemeen gebruik en Geoptimaliseerd voor geheugen.
- Voor flexibele serverimplementaties wordt logische replicatie ondersteund op alle lagen.
- De
max_slot_wal_keep_size-parameter is alleen-lezen, vast op -1 (oneindig) en kan niet worden geconfigureerd.
Google Cloud SQL voor PostgreSQL
- De
cloudsql.logical_decodingvlag moet zijn ingeschakeld. - Cloud SQL staat configureren niet toe
max_slot_wal_keep_size; deze is standaard opgelost op -1 (oneindig).