Notes de publication des pipelines Lakeflow 2026

Les fonctionnalités, améliorations et correctifs de bogues des pipelines Lakeflow suivants ont été publiés en 2026.

Septembre 2026

Ces caractéristiques et améliorations des pipelines Lakeflow ont été publiées entre le 9 septembre 2026 et le 9 octobre 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient à jour au 9 octobre 2026.

Canal :

• CURRENT (par défaut) : Databricks Runtime 18
• APERÇU : Databricks Runtime 19

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais définir l’identité run-as d’un pipeline à un groupe de comptes, en plus d’un utilisateur ou d’un principal de service. Les mises à jour du pipeline s’exécutent avec les permissions du groupe, afin qu’une équipe puisse posséder un pipeline automatisé sans le lier au compte d’une seule personne.
• Vous pouvez désormais définir une fenêtre de maintenance pour des pipelines continus afin de contrôler quand les mises à jour de la plateforme, telles que les nouvelles versions d’exécution et la maintenance d’infrastructure serverless, sont appliquées. Vous configurez la fenêtre par jour de la semaine, heure de début et fuseau horaire. Voir Gérer les mises à jour pour les pipelines continus.
• Rewind (Beta) prend périodiquement des instantanés de métadonnées d’un pipeline, couvrant les ensembles de données, les décalages de source et l’état de l’opérateur. Quand quelque chose tourne mal, vous pouvez revenir à un instantané antérieur, corriger votre code et retraiter les données. Rewind nécessite que le canal PREVIEW et le pipelines.rewind.betaEnabled paramètre du pipeline soient définis à true. Voir Rembobiner et relire un pipeline.
• Les tests unitaires Python pour les pipelines (version bêta) vous permettent d’écrire des tests sur des données simulées afin de valider la logique d’ingestion et de transformation, notamment AUTO CDC et les attentes, sans toucher aux données de production. Vous pouvez créer des tests depuis l’éditeur de pipeline ou avec la commande /tests dans Genie Code. Consultez tests unitaires pour les pipelines.
• AUTO CDC utilise désormais l’évaluation native des expressions. Cela accélère le traitement de la capture des données modifiées.
• Pipeline SQL substitue désormais les variables avant de résoudre les marqueurs de paramètres. Cela fait que le SQL paramétré se comporte de manière cohérente.
• Définir à la fois partition et clustering des colonnes sur la même table renvoie alors un message d’erreur plus clair. Cela facilite le diagnostic et la résolution du conflit.

• Vous pouvez désormais définir des tables de streaming autonomes, des vues matérialisées et des tables REPLACE WHERE avec les décorateurs pyspark.pipelines (@dp.table and @dp.materialized_view) sur le calcul sans serveur (bêta), outre SQL. Les pipelines sur le calcul serverless sont désormais pris en charge dans toutes les régions. Voir : Utiliser Python avec des pipelines autonomes.

• La version Bêta étendue des vues matérialisées et des tables de streaming dans des notebooks et jobs serverless est désormais disponible dans toutes les régions. Vous pouvez créer et actualiser ces tables depuis des notebooks serverless et des jobs dans n’importe quelle région. Consultez La configuration requise pour les pipelines autonomes.
• Le profil de requête pour les vues matérialisées montre désormais pourquoi un rafraîchissement n’a pas été exécuté de manière incrémentale, comme la configuration de la table source ou les opérateurs de requête non pris en charge. Cela vous aide à corriger à la fois les vues matérialisées pipeline et autonomes, depuis l’interface utilisateur ou avec Genie Code. Consultez Actualisation incrémentielle pour les vues matérialisées.

Corrections de bugs

• Les identifiants se résolvent désormais correctement lorsque les paramètres sont vides.
• Le schéma statistique est désormais conservé pour le clustering liquide automatique.

Août 2026

Ces caractéristiques et améliorations des pipelines Lakeflow ont été publiées entre le 13 août 2026 et le 8 septembre 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient à jour au 8 septembre 2026.

Canal :

• CURRENT (par défaut) : Databricks Runtime 18
• VERSION PRÉLIMINAIRE : Databricks Runtime 18

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais créer des tables gérées non diffusées en continu, alimentées par un ou plusieurs flux d’ajout (bêta), à l’aide des nouvelles API CREATE TABLE ... FLOW (SQL) et create_table() avec @append_flow (Python), afin que plusieurs sources puissent alimenter une seule table. L’option import_checkpoint migre une charge de travail de streaming structuré existante dans un pipeline sans retraitement. Voir CREATE TABLE ... FLOW (pipelines) et create_table.
• Les pipelines peuvent désormais exécuter des transactions SQL à instructions multiples dans les récepteurs foreachBatch. Cela permet une logique transactionnelle et multi-états par lots au sein des pipelines de streaming.
• Les modifications ALTER TABLE au niveau des colonnes dans les tables de streaming sont désormais limitées aux métadonnées (bêta) ; elles ne nécessitent donc plus de rafraîchissement complet, de réinitialisation du point de contrôle ni de nouvelle ingestion, et le renommage ou la suppression d’une source ne nécessitent plus de schemaTrackingLocation. Cela nécessite un catalogue Unity avec des métadonnées externes activées.
• Les vues matérialisées et les tables de flux nouvellement créées dans les pipelines Unity Catalog classiques bénéficient désormais du suivi des lignes, comme dans les pipelines serverless. Cela unifie le comportement de suivi des lignes entre les pipelines Classic et serverless.
• La version de l’environnement Lakeflow Pipelines offre désormais une couverture à 100 % de l’API Lakeflow Pipelines sur Spark Connect (préversion publique). Vous pouvez l’adopter manuellement ou via une migration automatique, ce qui inclut la détection des changements de comportement et le retour en arrière automatique en cas d’échec d’une exécution. Consultez Configurer les versions d’environnement pour les pipelines.
• Le journal des événements des pipelines Lakeflow est désormais disponible sous forme de table système Unity Catalog ( system.lakeflow_pipeline_events_preview.pipeline_events Bêta). Vous pouvez interroger les événements de chaque pipeline d’une région à partir d’une seule table en temps réel, et les événements sont conservés même après la suppression d’un pipeline. Voir la référence de la table du système des événements de pipeline.
• Le graphe du pipeline Lakeflow Pipelines affiche désormais les sources amont sous forme de nœuds dans le DAG, avec une option dans l’interface utilisateur pour les afficher ou les masquer. Cela facilite la retrace de l’origine des données d’un pipeline.
• Vous pouvez désormais déclencher un rafraîchissement complet sélectif en mode standard directement depuis la page de surveillance du pipeline. Cela vous donne plus de contrôle sur la façon dont un rafraîchissement complet s’exécute sans modifier la définition du pipeline.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.

Juillet 2026

Ces caractéristiques et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 7 juillet 2026 et le 12 août 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient à jour au 12 août 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• VERSION PRÉLIMINAIRE : Databricks Runtime 18

Nouvelles fonctionnalités et améliorations

• Les pipelines prennent désormais en charge le mode sans version, dans lequel Azure Databricks gère automatiquement la version de Databricks Runtime au lieu de vous obliger à fixer une version spécifique. Cela permet aux pipelines de rester sur un temps d’exécution maintenu sans mises à jour manuelles de version.
• Les commits de catalogue sont désormais disponibles en Version préliminaire publique pour tous les espaces de travail pour des tables en flux continu et des vues matérialisées. Vous pouvez exécuter des instructions de manipulation de données (DML) sur des tables en flux continu avec validation activée dans des transactions à plusieurs tables et à plusieurs instructions. Consultez les validations de catalogue.
• Les pipelines peuvent désormais importer un point de contrôle existant, ce qui simplifie les scénarios de migration et de récupération.
• Les pipelines continus s’intègrent désormais à l’historique des requêtes, améliorant la traçabilité des modifications produites par des mises à jour continues de longue durée.
• Vous pouvez désormais configurer le nombre maximal de mises à jour de pipeline actives simultanément, vous offrant ainsi un meilleur contrôle de la concurrence du pipeline.
• Les nouveaux pipelines utilisent désormais automatiquement le mode de publication actuel par défaut, ce qui simplifie leur création.
• Les rafraîchissements planifiés sont désormais bloqués pour les vues matérialisées autonomes et les tables de flux qui référencent des vues temporaires, afin d’éviter les échecs de rafraîchissement.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.

Juin 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 10 juin 2026 et le 7 juillet 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 7 juillet 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• VERSION PRÉLIMINAIRE : Databricks Runtime 18

Nouvelles fonctionnalités et améliorations

• AUTO CDC Les tables cibles prennent désormais en charge le clustering liquide, que vous pouvez activer par clé primaire ou par le biais de la spécification d’ingestion. Cela améliore les performances des requêtes sur les cibles de capture de données modifiées sans maintenance manuelle du clustering.
• Vous pouvez désormais ajouter des règles de qualité des données aux vues matérialisées autonomes en utilisant la clause CONSTRAINT expectation_name EXPECT (expectation_expr). Cela vous permet d’appliquer des règles de qualité des données sur des vues matérialisées autonomes sans définition de pipeline.
• REPLACE WHERE Les flux prennent désormais en charge l’actualisation incrémentielle. Les flux éligibles recompilent uniquement les données modifiées au lieu de retraiter l’entrée complète, ce qui réduit le coût d’actualisation.
• Les pipelines s’exécutant sur le calcul classique prennent désormais en charge les versions d’environnement, ce qui vous donne plus de contrôle sur la gestion des dépendances sur le calcul classique.

Corrections de bugs

• Correction d’un problème où un curseur validé pouvait se bloquer lorsqu’un connecteur inactif reprenait, ce qui pouvait interrompre la progression de l’ingestion.

Mai 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 6 mai 2026 et le 9 juin 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 9 juin 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• Préversion : Databricks Runtime 18.1

Nouvelles fonctionnalités et améliorations

• AUTO CDC prend désormais en charge le suivi bitemporel, en conservant à la fois le temps système (lorsqu’un enregistrement a été stocké) et le temps de validité (lorsqu’il était valide) pour chaque ligne. Cela garantit l’exactitude à un instant donné pour les charges de travail financières, d’audit et réglementaires.
• les pipelines basés sur Python réutilisent désormais des environnements virtuels à partir des mises à jour précédentes. Les REPL du pool chaud préchargent des environnements mis en cache, ce qui leur permet d’éviter l’installation des dépendances lorsque l’environnement reste inchangé d’une mise à jour à l’autre. Cela réduit le temps de démarrage.
• Vous pouvez désormais déclarer directement les dépendances de bibliothèque Python dans la définition de votre pipeline au lieu d’utiliser des appels %pip install dans les cellules du notebook. Les dépendances sont installées dans l’environnement Python au début d’une mise à jour. Consultez Gestion des dépendances Python pour les pipelines.
• Les pipelines qui utilisent le liquid clustering automatique (CLUSTER BY AUTO) retirent désormais automatiquement les colonnes de clustering lorsque celles-ci sont supprimées du schéma de la vue matérialisée. Auparavant, cela nécessitait une actualisation complète manuelle.
• Vous pouvez désormais remplacer le propriétaire d’une vue matérialisée ou d’une table de streaming par un principal de service avec ALTER MATERIALIZED VIEW ou ALTER STREAMING TABLE ... SET OWNER TO. Auparavant, la propriété ne pouvait être modifiée que par le biais de l’Explorateur de catalogues.
• La commande ALTER TABLE ... DROP FEATURE est désormais prise en charge pour les vues matérialisées et les tables de streaming.

Corrections de bugs

• Correction d’une situation de concurrence dans laquelle des appels StartUpdate en double pouvaient déclencher plusieurs mises à jour simultanées du pipeline. Les jetons d’Idempotency sont désormais validés et stockés pour empêcher les exécutions en double.

Avril 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 5 avril 2026 et le 6 mai 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 6 mai 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• Préversion : Databricks Runtime 18.1

Nouvelles fonctionnalités et améliorations

• Les vues matérialisées autonomes et les tables de streaming (précédemment appelées pipelines dans Databricks SQL) sont désormais disponibles sur le calcul serverless (bêta), ce qui vous permet de créer et de gérer ces objets sans provisionner des clusters de pipeline dédiés. Cela réduit la surcharge opérationnelle et le coût des objets déclaratifs autonomes.
• Les pipelines et les tables de streaming autonomes prennent désormais en charge les flux REPLACE WHERE (bêta). REPLACE WHERE Les flux sont bien adaptés au traitement par lots incrémentiel des jointures et des agrégations. Voir le traitement par lots avec des flux REPLACE WHERE.
• Le traitement SCD Type 2 omet désormais les entrées Null des cartes de version pendant les opérations de lecture et d’écriture, ce qui améliore l’efficacité du stockage et les performances des requêtes pour les charges de travail de dimension à variation lente.

• L’éditeur Databricks SQL inclut désormais une compétence dédiée pour créer des vues matérialisées, fournissant une assistance guidée et une aide de syntaxe directement dans l’éditeur. Cela simplifie le flux de travail pour définir et configurer des vues matérialisées.
• L’éditeur Databricks SQL inclut désormais une AUTO CDC compétence qui vous aide à configurer des pipelines de capture de données modifiées (CDC). Cela réduit la courbe d’apprentissage pour la configuration des pipelines CDC.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.

Mars 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 26 février 2026 et le 31 mars 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient à jour le 31 mars 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3.8
• Aperçu : Databricks Runtime 18.1.0

Nouvelles fonctionnalités et améliorations

• Les pipelines serverless prennent désormais en charge la mise à l’échelle automatique verticale basée sur le processeur. La fonctionnalité ajuste dynamiquement les ressources de cluster en fonction de l’utilisation réelle du processeur pour améliorer la stabilité de la charge de travail.
• Vous pouvez maintenant conserver les tables du catalogue Unity lors de la suppression d’un pipeline, en conservant vos ressources de données même après la suppression du pipeline. Cela vous offre une plus grande flexibilité dans la gestion des cycles de vie des pipelines sans risque de perte de données.
• Vous pouvez désormais créer des tables de diffusion en continu à l’aide de la nouvelle syntaxe de flux, qui fournit un moyen plus direct et déclaratif de définir des pipelines de données de streaming. Cela simplifie la création et l’alignement des pipelines avec les modèles d’ingénierie de données actuels.
• Les pipelines conservent désormais les configurations de filtre de lignes et de masque de colonne pendant les mises à jour des tables, de sorte que vos stratégies de sécurité du catalogue Unity restent intactes dans les actualisations du pipeline. Cela empêche la suppression accidentelle d’une stratégie de sécurité pendant l’évolution du schéma.
• La fonctionnalité CDC prend désormais en charge le mode de rebasage des dates et heures. La fonctionnalité gère correctement les conversions d'horodatage entre les systèmes de calendrier classiques et modernes. Cela empêche les incohérences de données lors du traitement des données datetime historiques par le biais de flux de capture de données modifiées.
• Vous pouvez désormais utiliser des instructions SQL au sein foreachBatch d’opérations dans des pipelines de streaming, ce qui permet une logique de traitement de micro-lots plus flexible. Cela supprime les limitations précédentes qui nécessitaient Python ou Scala pour la gestion de lots personnalisée.
• Les pipelines prennent désormais en charge les références anticipées lors de l’enregistrement des récepteurs. Vous pouvez définir des flux de données qui référencent des tables en aval avant qu’elles ne soient déclarées. Cela simplifie les définitions de pipeline complexes et supprime les contraintes de classement.
• Les flux en mode ajout une fois sont désormais validés pendant les tests à blanc, ce qui permet de détecter les erreurs de configuration avant le début de l’exécution du pipeline. Cela améliore l'expérience de développement en mettant en évidence les problèmes plus tôt dans le processus d'élaboration des pipelines.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.

Février 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 14 janvier 2026 et le 25 février 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 25 février 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Les pipelines prennent désormais en charge l’élargissement des types pour les tables Delta, ce qui permet d'élargir en toute sécurité les types de données des colonnes (par exemple, de INT à LONG, de FLOAT à DOUBLE) sans nécessiter une réinitialisation complète du pipeline. Cela permet des flux de travail d’évolution de schéma qui nécessitaient auparavant une intervention manuelle.
• Vous pouvez maintenant utiliser la matérialisation SCD Type 1 avec AUTO CDC, ce qui fournit un modèle CDC plus simple qui effectue des upserts de la dernière valeur sans conserver l’historique complet des modifications. Cela réduit la surcharge de stockage pour les cas d’usage qui ne nécessitent pas d’historique complet.
• Les pipelines réutilisent désormais les clusters existants lors de la nouvelle tentative de mises à jour ayant échoué, ce qui réduit la latence des nouvelles tentatives et réduit les coûts de calcul en éliminant le temps de démarrage du cluster redondant.
• L’activation de l’optimisation prédictive s’affiche désormais correctement sur les vues matérialisées et les tables de diffusion en continu, si elles ont été actualisées au cours du mois dernier.
• Les pipelines valident désormais plusieurs flux ensemble, interceptant les conflits de configuration et les problèmes de dépendance entre les flux pendant la phase d’exécution sèche avant le début de l’exécution.
• Les métadonnées modifiables sont désormais conservées pendant les mises à jour du pipeline d’ingestion, ce qui permet une prise en charge complète des commandes « ALTER » sur les tables de streaming d’ingestion.
• Les erreurs Python dans les pipelines contiennent désormais des codes d’état SQL, améliorant les diagnostics d’erreurs et permettant une meilleure gestion programmatique des erreurs pour les outils en aval.
• Les pipelines prennent désormais en charge les instances ARM pour le calcul classique.

Corrections de bugs

• Les valeurs des colonnes d’identité dans les tables de streaming en mode ajout uniquement sont désormais correctement générées dès la première mise à jour.

Janvier 2026

Ces fonctionnalités et améliorations apportées aux pipelines Lakeflow ont été publiées entre le 14 novembre 2025 et le 13 janvier 2026.

Versions de Databricks Runtime utilisées par cette version

Les versions suivantes étaient en cours depuis le 13 janvier 2026.

Canal :

• CURRENT (valeur par défaut) : Databricks Runtime 17.3
• APERÇU : Databricks Runtime 17.3

Nouvelles fonctionnalités et améliorations

• Vous pouvez désormais stocker et gérer les attentes de qualité des données directement dans les tables du catalogue Unity, centralisant les règles de qualité des données avec votre framework de gouvernance des données. Cela permet la gestion de versions et l'audit des règles de qualité, lesquelles peuvent être partagées sur plusieurs pipelines.

• Les pipelines continus s’exécutant depuis plus de 7 jours redémarrent désormais en douceur avec un temps d’arrêt minimal et une cause de mise à jour explicite (INFRASTRUCTURE_MAINTENANCE), au lieu de redémarrer brusquement lorsque les ressources de calcul sous-jacentes doivent être actualisées.

• Les pipelines prennent désormais en charge le mode d'exécution en file d'attente, permettant à plusieurs demandes de mise à jour d'être automatiquement mises en attente et exécutées séquentiellement, évitant ainsi les échecs dus aux conflits. Cela simplifie les opérations pour les pipelines avec des déclencheurs de mise à jour fréquents et élimine la nécessité d’une coordination manuelle des nouvelles tentatives.

• Vous pouvez maintenant matérialiser plusieurs vues SCD Type 2 à partir d’une seule source de données modifiées, ce qui améliore l’efficacité lors de la création de plusieurs vues historiques des mêmes données. Cela élimine la nécessité de retraiter les données sources pour chaque sortie SCD Type 2.

• Les planifications et la configuration du pipeline peuvent désormais être stockées et lues à partir des propriétés de la table catalogue Unity, ce qui permet la gestion des paramètres centralisés par le biais de la gouvernance des données. Cela vous permet de gérer le comportement du pipeline en même temps que vos définitions de données.

• MANAGE les autorisations sont désormais propagées automatiquement aux vues matérialisées et aux tables de streaming dans le catalogue Unity, ce qui simplifie la gestion des autorisations pour les sorties de pipeline. Cela garantit un contrôle d’accès cohérent sans octroi d’autorisations manuelles.

• Les opérations SCD Type 2 fusionnent désormais automatiquement les enregistrements en double avec la même clé naturelle, garantissant ainsi la cohérence des données et empêchant les enregistrements historiques en double dans vos tables de dimension à variation lente.

• Les pipelines ont désormais la possibilité de supprimer automatiquement les tables inactives qui ne font plus partie de la définition du pipeline. Cela permet de conserver des entrepôts de données propres et de réduire les coûts de stockage des tables obsolètes. Consultez Utiliser le catalogue Unity avec des pipelines.

• La définition du pipeline, les opérations de correction et les modifications de l'identité d'exécution sont désormais consignées dans le journal d’audit, offrant un suivi exhaustif des modifications de configuration pour la conformité et la surveillance de la sécurité. Consultez le journal des événements pipeline.

Corrections de bugs

Aucun correctif de bogue significatif n’a été inclus dans cette période de mise en production. Toutes les modifications ont été de nouvelles fonctionnalités et améliorations.