Notes de publication de Lakeflow Declarative Pipelines 2025.29

16 juillet - 18, 2025

Ces fonctionnalités et améliorations ont été publiées avec la version 2025.29 des pipelines déclaratifs.

Versions de Databricks Runtime utilisées par cette version

Canal:

  • CURRENT (valeur par défaut) : Databricks Runtime 16.1
  • Aperçu : Databricks Runtime 16.4

Note

Étant donné que les versions des canaux des pipelines déclaratifs Spark sur Lakeflow suivent un processus de mise à niveau progressive, les mises à niveau des canaux sont déployées dans différentes régions à différents moments. Votre version, y compris les versions de Databricks Runtime, peut ne pas être mise à jour jusqu’à une semaine ou plus après la date de publication initiale. Pour rechercher la version databricks Runtime d’un pipeline, consultez les informations d’exécution.

Améliorations et nouvelles fonctionnalités

  • La fonctionnalité Déplacer des tables entre les pipelines déclaratifs Lakeflow est désormais en disponibilité générale. Cela permet aux utilisateurs de déplacer des vues matérialisées et des tables de streaming d’un pipeline vers un autre avec une commande SQL et un ajustement de code mineur. Voir Déplacer des tables entre les pipelines déclaratifs Lakeflow

  • Les commandes ALTER peuvent désormais être exécutées sur des MV/ST créées par des pipelines ETL, pour les commentaires de table, les commentaires de colonne et RLS/CLM. Dans le cadre de cette fonctionnalité, les mises à jour du pipeline conservent, en utilisant le nom de la colonne comme clé, les valeurs des champs que les utilisateurs peuvent modifier via ALTER, au lieu de les remplacer. Nous continuerons à respecter les définitions explicites dans le code source, et tout ce qui n’est pas défini explicitement est conservé. Le tableau ci-dessous montre ce comportement :

Métadonnées au niveau des colonnes :

Approche Comportement État existant sur le jeu de données Ce qui est défini sur le code source du pipeline ou la commande Create and Replace État final après l’actualisation du pipeline ou l’exécution de la commande Create and Replace
Merge Nous n’allons pas supprimer les métadonnées existantes sur le jeu de données avant d’appliquer ce qui est défini dans le code source du pipeline ou la commande Create and Replace. Colonne X avec commentaire 1 Colonne Y avec commentaire 2 Colonne X avec commentaire 1 Colonne Y avec commentaire 2
Merge Si les métadonnées sont définies dans la source du pipeline, elles sont réinitialisées lors de l’actualisation. Colonne X avec commentaire 1 Colonne X avec commentaire 3 Colonne Y avec commentaire 2 Colonne X avec commentaire 3 Colonne Y avec commentaire 2

Métadonnées au niveau de la table :

Approche Comportement État existant sur le jeu de données Ce qui est défini sur le code source du pipeline ou la commande Create and Replace État final après l’actualisation du pipeline ou l’exécution de la commande Create and Replace
Merge Nous n’allons pas supprimer les métadonnées existantes sur le jeu de données avant d’appliquer ce qui est défini dans le code source du pipeline ou la commande Create and Replace. Filtre de ligne 1 Filtre de ligne 2 Filtre de ligne 2
Merge Si les métadonnées sont définies dans la source du pipeline, elles sont réinitialisées lors de l’actualisation. Filtre de ligne 1 Aucun Filtre de ligne 1

Vous pouvez continuer à modifier le code source comme avant. Cette approche de fusion préserve les modifications externes apportées à la table via des instructions ALTER.

Ce nouveau comportement de fusion introduit une modification importante. Avant, les mises à jour du pipeline ont supprimé des filtres de lignes existants ou des masques de colonne si la définition du pipeline ne les incluait pas. Vous devez maintenant supprimer explicitement des commentaires, des filtres de lignes ou des masques de colonne existants à l’aide de l’Explorateur de catalogues ou de la commande ALTER.

Pour savoir comment utiliser les commandes SQL, consultez ALTER MATERIALIZED VIEW et ALTER STREAMING TABLE.

  • Last updated on