Pipelines declarativos do Spark no Lakeflow versão 2025.30

23 de julho a 30 de 2025

Esses recursos e melhorias foram lançados com a versão 2025.30 do Spark Declarative Pipelines on Lakeflow.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 16.1
  • VERSÃO PRÉVIA: Databricks Runtime 16.4

Observação

Como as versões de canal dos Pipelines declarativos do Spark no Lakeflow seguem um processo de atualização sem interrupção, as atualizações do canal são implantadas em diferentes regiões em momentos distintos. Sua versão, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte as informações do Runtime.

Novos recursos e melhorias

  • Adicionamos os novos recursos a seguir às APIs AUTO CDC em Pipelines Declarativos do Spark no Lakeflow.

    • Vários fluxos por destino: o comando create_auto_cdc_flow agora dá suporte a um parâmetro de nome, permitindo que vários fluxos AUTO CDC independentes sejam gravados na mesma tabela de destino. Isso permite cenários como a aplicação de atualizações incrementais e fluxos de correção a uma única tabela.

    • Provisionamentos únicos: um novo parâmetro once dá suporte a operações de provisionamento único (por exemplo, hidratações iniciais). Quando once = true, o fluxo ingere um instantâneo de dados apenas uma vez e ignora futuras chegadas de arquivos.

    • Suporte ao SQL: a nova sintaxe CREATE FLOW SQL permite a você usar AUTO CDC INTO diretamente no SQL, com o mesmo suporte para nome e uma vez.

  • O Editor Lakeflow agora oferece suporte para conexão de cluster sob demanda e manutenção ativa do cluster iniciada pela atividade do usuário.

  • Last updated on