Ingest met SQL- en Spark-API's

Deze pagina beschrijft hoe u data in Databricks Lakeflow Connect kunt opnemen met behulp van SQL- en Spark-API's, die hogere niveaus van aanpassing van de ingestiepijplijnen bieden dan de beheerde connectors. Gebruik het om een ingestiebenadering te kiezen op basis van databron en het niveau van pipeline-aanpassing.

Lagen van de ETL-stack

Sommige connectors werken op één niveau van de ETL-stack. Databricks biedt bijvoorbeeld volledig beheerde connectors voor bedrijfstoepassingen zoals Salesforce en databases zoals SQL Server. Andere connectors werken op meerdere lagen van de ETL-stack. Je kunt bijvoorbeeld SQL- en Spark-API's gebruiken in Structured Streaming voor volledige aanpassing of Lakeflow-pipelines voor een beter beheerde ervaring.

ETL-stackdiagram

Databricks raadt aan om te beginnen met de meest beheerde laag. Als deze niet voldoet aan uw vereisten (bijvoorbeeld als deze geen ondersteuning biedt voor uw gegevensbron), gaat u naar de volgende laag.

In de volgende tabel worden de drie lagen van opnameproducten beschreven, gesorteerd van meest aanpasbaar tot meest beheerd:

Laag Beschrijving
Gestructureerd streamen Apache Spark Structured Streaming is een streaming-engine die end-to-end fouttolerantie biedt met exactly-once verwerkingsgaranties met behulp van Spark-API's.
Lakeflow-pijplijnen Lakeflow-pijplijnen breiden Structured Streaming uit en bieden een declaratief framework voor het maken van gegevenspijplijnen. U kunt de transformaties definiëren die moeten worden uitgevoerd op uw gegevens en Lakeflow-pijplijnen beheren indeling, bewaking, gegevenskwaliteit, fouten en meer. Ze bieden meer automatisering en minder overhead dan Structured Streaming.
Beheerde connectors Volledig beheerde connectors bouwen voort op Lakeflow-pijplijnen en bieden nog meer automatisering voor de populairste gegevensbronnen. Ze breiden de functionaliteit van Lakeflow-pijplijnen uit om ook bronspecifieke verificatie, CDC, edge-caseafhandeling, api-onderhoud op lange termijn, geautomatiseerde pogingen, geautomatiseerde schemaontwikkeling, enzovoort, toe te voegen. Daarom bieden ze nog meer automatisering voor ondersteunde gegevensbronnen.

Kies een optie

De volgende tabel geeft een overzicht van SQL- en Spark-invoeropties per databron en niveau van pipeline-aanpassing. Voor een volledig geautomatiseerde opname-ervaring gebruikt u in plaats daarvan beheerde connectors .

SQL-voorbeelden voor incrementele opname van opslag in cloudobjecten gebruiken CREATE STREAMING TABLE syntaxis. Het biedt SQL-gebruikers een schaalbare ervaring voor gegevensinname, daarom is het het aanbevolen alternatief voor COPY INTO.

Bron Meer aanpassingen Sommige aanpassingen Meer automatisering
Cloudopslag van objecten Automatisch laden met gestructureerd streamen
(Python, Scala)		 Automatisch laden met Lakeflow-pijplijnen
(Python, SQL)		 Automatisch laden met Databricks SQL
(SQL)
SFTP-servers Bestanden opnemen van SFTP-servers
(Python, SQL)		 N/A N/A
Apache Kafka Gestructureerd streamen met Kafka-bron
(Python, Scala)		 Lakeflow-pijplijnen met Kafka-bron
(Python, SQL)		 Databricks SQL met Kafka-bron
(SQL)
Google Pub/Sub (een berichten- en gebeurtenissenservice van Google) Gestructureerd streamen met pub/subbron
(Python, Scala)		 Lakeflow-pijplijnen met Pub/Sub-bron
(Python, SQL)		 Databricks SQL met Pub/Sub-bron
(SQL)
Apache Pulsar Gestructureerd streamen met Pulsar-bron
(Python, Scala)		 Lakeflow-pijplijnen met Pulsar-bron
(Python, SQL)		 Databricks SQL met Pulsar-bron
(SQL)

opnameschema's

U kunt opnamepijplijnen zo configureren dat ze worden uitgevoerd volgens een terugkerend schema of continu.

Gebruiksituatie Pijplijnmodus
Batchinvoer Geactiveerd: verwerkt nieuwe gegevens volgens een schema of wanneer deze handmatig worden geactiveerd.
Streaming-ingestie Doorlopend: hiermee worden nieuwe gegevens verwerkt wanneer deze binnenkomen in de bron.
  • Laatst bijgewerkt om