Lanzamiento 2025.30 de las canalizaciones declarativas de Spark en Lakeflow

23 de julio de 30, 2025

Estas características y mejoras se publicaron con la versión 2025.30 de Spark Declarative Pipelines on Lakeflow.

Versiones de Databricks Runtime usadas por esta versión

Canal:

  • CURRENT (valor predeterminado): Databricks Runtime 16.1
  • VERSIÓN PRELIMINAR: Databricks Runtime 16.4

Nota:

Dado que los lanzamientos del canal de las canalizaciones declarativas de Spark en Lakeflow siguen un proceso de actualización progresiva, las actualizaciones del canal se implementan en diferentes regiones en distintos momentos. Es posible que su versión, incluidas las versiones de Databricks Runtime, no se actualice hasta una semana o más después de la fecha de lanzamiento inicial. Para buscar la versión de Databricks Runtime para una canalización, consulte Información del entorno de ejecución.

Nuevas características y mejoras

  • Hemos añadido las siguientes nuevas capacidades a las APIs AUTO CDC en Spark Declarative Pipelines en Lakeflow.

    • Múltiples flujos por objetivo: El create_auto_cdc_flow comando ahora soporta un name parámetro, permitiendo que múltiples flujos independientes AUTO CDC escriban en la misma tabla de destino. Esto permite escenarios como aplicar actualizaciones incrementales y flujos de corrección a una sola tabla.

    • Backfills puntuales: Un nuevo parámetro once admite operaciones de backfill puntuales (por ejemplo, hidrataciones iniciales). Cuando once = true, el flujo ingiere una instantánea de datos una sola vez e ignora futuras llegadas de archivos.

    • Soporte SQL: La nueva CREATE FLOW sintaxis SQL permite usar AUTO CDC INTO directamente en SQL, con el mismo soporte para name y once.

  • El Editor de Lakeflow ahora admite la conexión de clúster bajo demanda y la función de mantener activo el clúster, desencadenada por la actividad del usuario.

  • Se actualizó por última vez el