Publication des pipelines déclaratifs Spark sur Lakeflow 2025.30

23 juillet - 30, 2025

Ces fonctionnalités et améliorations ont été publiées avec la version 2025.30 des pipelines déclaratifs Spark sur Lakeflow.

Versions de Databricks Runtime utilisées par cette version

Canal :

  • CURRENT (valeur par défaut) : Databricks Runtime 16.1
  • APERÇU : Databricks Runtime 16.4

Note

Étant donné que les versions des canaux des pipelines déclaratifs Spark sur Lakeflow suivent un processus de mise à niveau progressive, les mises à niveau des canaux sont déployées dans différentes régions à différents moments. Votre version, y compris les versions de Databricks Runtime, peut ne pas être mise à jour jusqu’à une semaine ou plus après la date de publication initiale. Pour rechercher la version de Databricks Runtime pour un pipeline, consultez informations de Runtime.

Nouvelles fonctionnalités et améliorations

  • Nous avons ajouté les nouvelles fonctionnalités suivantes aux AUTO CDC API dans Spark Declarative Pipelines sur Lakeflow.

    • Flux multiples par cible : La create_auto_cdc_flow commande prend désormais en charge un name paramètre, permettant à plusieurs flux indépendants AUTO CDC d’écrire dans la même table de destination. Cela permet des scénarios tels que l’application de mises à jour incrémentielles et de flux de correction à une seule table.

    • Rechargements ponctuels : Un nouveau paramètre once permet des opérations de rechargement ponctuelles (par exemple, les chargements initiaux). Lorsque once = true, le flux ingère un instantané de données une seule fois et ignore les arrivées futures de fichiers.

    • Prise en charge de SQL : La nouvelle CREATE FLOW syntaxe SQL permet d’utiliser AUTO CDC INTO directement en SQL, avec le même support pour name et once.

  • L’éditeur Lakeflow prend désormais en charge la connexion au cluster à la demande + le maintien en vie du cluster déclenché par l’activité utilisateur.

  • Dernière mise à jour :