Declaratieve Spark-pijplijnen op Lakeflow release 2025.30

23 juli - 30 juli 2025

Deze functies en verbeteringen zijn uitgebracht met de 2025.30-release van Spark Declarative Pipelines on Lakeflow.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

  • CURRENT (standaard): Databricks Runtime 16.1
  • PREVIEW: Databricks Runtime 16.4

Opmerking

Omdat Spark Declarative Pipelines in Lakeflow-kanaalreleases een gefaseerd upgradeproces volgen, worden kanaalupgrades in verschillende regio's op verschillende tijdstippen uitgerold. Uw release, inclusief Databricks Runtime-versies, wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum. Zie Runtime-informatie om de Databricks Runtime-versie voor een pijplijn te vinden.

Nieuwe functies en verbeteringen

  • We hebben de volgende nieuwe mogelijkheden toegevoegd aan AUTO CDC API's in Spark Declarative Pipelines op Lakeflow.

    • Meerdere flows per doel: Het create_auto_cdc_flow commando ondersteunt nu een name parameter, waardoor meerdere onafhankelijke AUTO CDC flows in dezelfde bestemmingstabel kunnen worden geschreven. Dit maakt scenario's mogelijk, zoals het toepassen van incrementele updates en correctiestromen op één tabel.

    • Eenmalige backfills: Een nieuwe once parameter ondersteunt eenmalige backfill-operaties (bijvoorbeeld initiële hydrataties). Wanneer once = true, verwerkt de flow eenmalig een momentopname van gegevens en negeert toekomstige bestandsaankomsten.

    • SQL-ondersteuning: De nieuwe CREATE FLOW SQL-syntaxis maakt het mogelijk om AUTO CDC INTO direct in SQL te gebruiken, met dezelfde ondersteuning voor name en once.

  • De Lakeflow-editor ondersteunt nu on-demand cluster connect en cluster keep-alive, geactiveerd door gebruikersactiviteit.

  • Laatst bijgewerkt om