Version DLT 2025.04

23 janvier - 30 janvier 2025

Ces fonctionnalités et améliorations ont été publiées avec la version 2025.04 de DLT.

Versions de Databricks Runtime utilisées par cette version

Channel:

  • CURRENT (valeur par défaut) : Databricks Runtime 15.4
  • Version Préliminaire : Databricks Runtime 15.4 ou 16.1

Note

Étant donné que les versions de canal DLT suivent un processus de mise à niveau propagée, les mises à niveau de canal sont déployées dans différentes régions à différents moments. Votre version, y compris les versions de Databricks Runtime, peut ne pas être mise à jour jusqu’à une semaine ou plus après la date de publication initiale. Pour rechercher la version de Databricks Runtime pour un pipeline, consultez informations de Runtime.

Nouvelles fonctionnalités et améliorations

  • Par défaut, les nouveaux pipelines Spark déclaratifs dans Lakeflow prennent en charge la création et la mise à jour de vues matérialisées et de tables en continu dans plusieurs catalogues et schémas. Ce nouveau comportement par défaut pour la configuration du pipeline nécessite que les utilisateurs spécifient un schéma cible qui devient le schéma par défaut du pipeline. Le schéma virtuel LIVE et la syntaxe associée n’est plus nécessaire. Pour plus d’informations, consultez Définir le catalogue cible et le schéma, Configurer des pipelines et un schéma LIVE (hérité).

  • La requête clone a pipeline dans l’API REST Databricks est désormais en disponibilité générale. Vous pouvez utiliser cette demande pour copier un pipeline existant qui publie dans le metastore Hive vers un nouveau pipeline qui publie dans le catalogue Unity. Consultez Créer un pipeline Unity Catalog en clonant un pipeline de metastore Hive.

  • Le support dédié à l'affichage des métriques du travail en streaming pour vos mises à jour de pipeline est en version préliminaire publique. Lorsque vous consultez les mises à jour du pipeline dans l’interface utilisateur Lakeflow de Spark Declarative Pipelines, vous pouvez désormais afficher des métriques telles que les secondes de retard, les octets en attente, les enregistrements en attente et les fichiers en attente pour chaque flux de données en continu du pipeline. Les métriques de streaming sont prises en charge pour les sources de Spark Structured Streaming, notamment Apache Kafka, Amazon Kinesis et Auto Loader. Consultez Afficher les mesures de diffusion en continu.

  • Last updated on