Spark Declarative Pipelines no Lakeflow, versão 2025.30

Julho 23 - 30, 2025

Estas funcionalidades e melhorias foram lançadas com a versão 2025.30 do Spark Declarative Pipelines no Lakeflow.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 16.1
  • ANTEVISÃO: Databricks Runtime 16.4

Observação

Como as versões de canal do Lakeflow para Spark Declarative Pipelines seguem um processo de atualização progressiva, as atualizações de canal são implementadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte Informações sobre o tempo de execução.

Novos recursos e melhorias

  • Adicionámos as seguintes novas capacidades às APIs AUTO CDC no Spark Declarative Pipelines do Lakeflow.

    • Vários fluxos por destino: O comando create_auto_cdc_flow agora suporta um parâmetro name, permitindo que vários fluxos AUTO CDC independentes gravem na mesma tabela de destino. Isso permite cenários como a aplicação de atualizações incrementais e fluxos de correção a uma única tabela.

    • Preenchimentos únicos: um novo parâmetro once suporta operações únicas de preenchimento (por exemplo, hidratação inicial). Quando `once` = true, o fluxo assimila um instantâneo dos dados uma única vez e ignora ficheiros que cheguem posteriormente.

    • Suporte para SQL: A nova sintaxe SQL CREATE FLOW permite utilizar AUTO CDC INTO diretamente em SQL, com o mesmo suporte para name e once.

  • O Lakeflow Editor agora suporta conexão de cluster sob demanda + manutenção de cluster ativada pela atividade do usuário.

  • Last updated on