Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Azure Databricks supporta diversi modi per costruire pipeline di estrazione, trasformazione e caricamento (ETL). Databricks raccomanda pipeline Lakeflow, costruite su Apache Spark™ Declarative Pipelines (SDP), per la maggior parte dei carichi di lavoro ETL. Se già usi dbt o Spark, questi approcci funzionano anche su Azure Databricks.
Approcci disponibili
Ogni approccio differisce nel modo in cui definisci le trasformazioni e chi gestisce le dipendenze, l'elaborazione incrementale e l'orchestrazione. Per informazioni di base sui modelli dichiarativi e procedurali alla base di questi approcci, vedi Procedural vs. declarative data processing in Azure Databricks.
| Avvicinarsi | Funzionamento | Quando usarlo | Costrutti chiave | Come iniziare |
|---|---|---|---|---|
| Lakeflow pipelines (SDP) | Dichiari le tabelle e le trasformazioni, e il motore della pipeline gestisce dipendenze, elaborazione incrementale e orchestrazione. | Nuovi carichi di lavoro ETL batch e incrementali. | tabelle streaming, viste materializzate, flusso, AUTO CDC, REPLACE WHERE |
Pipeline di Lakeflow |
| dbt on Azure Databricks | Esegue i tuoi modelli DBT esistenti su Azure Databricks compute. | Il tuo team gestisce già un progetto DBT. | modelli dbt, task dbt in Lakeflow Jobs | Tutorial: Crea, esegue e testa modelli DBT localmente |
| Notebook e processi Spark | Esegue codice Spark che scrivi in notebook o script e che orchestri con Lakeflow Jobs. | Logica di trasformazione complessa che vuoi esprimere direttamente in Spark. | Spark DataFrames, notebook, Lakeflow Jobs | Lavori a Lakeflow |
| Procedure memorizzate | Racchiude la logica SQL procedurale che gira su un SQL warehouse. | SQL procedurale che vuoi confezionare e riutilizzare. |
CREATE PROCEDURE, script SQL |
CREATE PROCEDURE |