deklarativa Spark-pipelines på Lakeflow, utgåva 2025.30

23 juli - 30, 2025

Dessa funktioner och förbättringar lanserades i version 2025.30 av Spark Declarative Pipelines i Lakeflow.

Databricks Runtime-versioner som används av den här versionen

Kanal:

  • CURRENT (standard): Databricks Runtime 16.1
  • FÖRHANDSVERSION: Databricks Runtime 16.4

Anmärkning

Eftersom kanalversioner för Spark Declarative Pipelines i Lakeflow följer en löpande uppgraderingsprocess rullas kanaluppgraderingar ut i olika regioner vid olika tidpunkter. Din version, inklusive Databricks Runtime-versioner, kanske inte uppdateras förrän en vecka eller mer efter det första lanseringsdatumet. Information om hur du hittar Databricks Runtime-versionen för en pipeline finns i Runtime-information.

Nya funktioner och förbättringar

  • Vi har lagt till följande nya funktioner i AUTO CDC-API:erna i Spark Declarative Pipelines i Lakeflow.

    • Flera flöden per mål: Kommandot create_auto_cdc_flow stöder nu en namnparameter, vilket gör att flera oberoende AUTO CDC-flöden kan skriva till samma måltabell. Detta möjliggör scenarier som att tillämpa både inkrementella uppdateringar och korrigeringsströmmar på en enda tabell.

    • Engångspåfyllningar: En ny parameter en gång stöder engångsåtgärder för återfyllnad (t.ex. inledande hydreringar). När `once = true` läser flödet in en ögonblicksbild av data en enda gång och ignorerar framtida inkommande filer.

    • SQL-stöd: Med ny CREATE FLOW SQL-syntax kan du använda AUTO CDC INTO direkt i SQL, med samma stöd för namn och en gång.

  • Lakeflow-redigeraren har nu stöd för klusteranslutning på begäran + kluster keep-alive som utlöses av användaraktivitet.

  • Last updated on