Wählen Sie einen ETL-Ansatz auf Azure Databricks

Azure Databricks unterstützt mehrere Möglichkeiten, Extrahieren-, Transformieren- und Laden-(ETL)-Pipelines zu erstellen. Databricks empfiehlt Lakeflow-Pipelines, die auf Apache Spark™ Declarative Pipelines (SDP) basieren, für die meisten ETL-Workloads. Wenn du bereits DBT oder Spark verwendest, funktionieren diese Ansätze auch auf Azure Databricks.

Verfügbare Ansätze

Jeder Ansatz unterscheidet sich darin, wie man Transformationen definiert und wer Abhängigkeiten, inkrementelle Verarbeitung und Orchestrierung verwaltet. Für Hintergrundinformationen zu den deklarativen und prozeduralen Modellen hinter diesen Ansätzen siehe Prozedurale vs. deklarative Datenverarbeitung in Azure Databricks.

Approach Was es bewirkt Wann wird es verwendet? Zentrale Konstrukte Erste Schritte
Lakeflow pipelines (SDP) Du deklarierst die Tabellen und Transformationen, und die Pipeline-Engine verwaltet Abhängigkeiten, inkrementelle Verarbeitung und Orchestrierung. Neue Batch- und inkrementelle ETL-Workloads. Streaming-Tabellen, materialisierte Ansichten, Flows, AUTO CDC, REPLACE WHERE Lakeflow-Pipelines
dbt on Azure Databricks Führt deine bestehenden DBT-Modelle auf Azure Databricks Compute aus. Dein Team betreibt bereits ein DBT-Projekt. dbt-Modelle, dbt-Aufgaben in Lakeflow-Jobs Tutorial: Erstellen, ausführen und testen Sie dbt-Modelle lokal
Spark-Notebooks und Jobs Führt Spark-Code aus, den du in Notizbüchern oder Skripten schreibst und mit Lakeflow-Jobs orchestrierst. Komplexe Transformationslogik, die du direkt in Spark ausdrücken möchtest. Spark DataFrames, Notebooks, Lakeflow-Jobs Lakeflow-Aufträge
Gespeicherte Prozeduren Kapselt prozedurale SQL-Logik, die auf einem SQL-Warehouse läuft. Prozedurales SQL, das du als Paket zusammenfassen und wiederverwenden möchtest. CREATE PROCEDURE, SQL-Skripting PROZEDUR ERSTELLEN

Zusätzliche Ressourcen

  • Zuletzt aktualisiert um