Pipeline dichiarative di Spark su Lakeflow versione 2025.30

23 luglio - 30, 2025

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2025.30 di Spark Declarative Pipelines on Lakeflow.

Versioni di Databricks Runtime usate da questa versione

Canale:

  • CURRENT (impostazione predefinita): Databricks Runtime 16.1
  • ANTEPRIMA: Databricks Runtime 16.4

Annotazioni

Poiché le pipeline dichiarative Spark nelle versioni del canale Lakeflow seguono un processo di aggiornamento in sequenza, gli aggiornamenti del canale vengono distribuiti in aree diverse in momenti diversi. La versione, incluse le versioni di Databricks Runtime, potrebbe non essere aggiornata fino a una settimana o più dopo la data di rilascio iniziale. Per trovare la versione di Databricks Runtime per una pipeline, vedere Informazioni sul runtime.

Nuove funzionalità e miglioramenti

  • Abbiamo aggiunto le seguenti nuove funzionalità alle AUTO CDC API in Spark Declarative Pipelines su Lakeflow.

    • Flussi multipli per obiettivo: Il create_auto_cdc_flow comando ora supporta un name parametro, permettendo a più flussi indipendenti AUTO CDC di scrivere nella stessa tabella di destinazione. Ciò consente scenari come l'applicazione di aggiornamenti incrementali e flussi di correzione a una singola tabella.

    • Riempimenti una tantum: Un nuovo once parametro supporta operazioni di riempimento una tantum (ad esempio, idratazioni iniziali). Quando once = true, il flusso assorbe un singolo snapshot di dati e ignora i futuri arrivi di file.

    • Supporto SQL: La nuova CREATE FLOW sintassi SQL permette di usare AUTO CDC INTO direttamente in SQL, con lo stesso supporto per name e once.

  • L'editor Lakeflow supporta ora la connessione al cluster su richiesta + il keep-alive del cluster attivato dall'attività dell'utente.

  • Ultimo aggiornamento: