Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
16 a 18 de julho de 2025
Esses recursos e melhorias foram lançados com a versão 2025.29 do Declarative Pipelines.
Versões do Databricks Runtime usadas por esta versão
Canal:
- ATUAL (padrão): Databricks Runtime 16.1
- VERSÃO PRÉVIA: Databricks Runtime 16.4
Observação
Como as versões de canal dos Pipelines declarativos do Spark no Lakeflow seguem um processo de atualização sem interrupção, as atualizações do canal são implantadas em diferentes regiões em momentos distintos. Sua versão, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte as informações do Runtime.
Novos recursos e aprimoramentos
O recurso de Mover tabelas entre Pipelines Declarativos do Lakeflow agora está em disponibilidade geral (GA). Isso permite que os usuários movam exibições materializadas e tabelas de streaming de um pipeline para outro com um comando SQL e um ajuste de código secundário. Consulte Mover tabelas entre pipelines declarativos do Lakeflow
Os comandos ALTER agora podem ser executados em MV/STs criados por pipelines de ETL para comentários em tabelas, comentários em colunas e RLS/CLM. Como parte desse recurso, as atualizações do pipeline preservam, com base na chave do nome da coluna, os valores dos campos que os usuários podem alterar, em vez de sobrescrevê-los. Continuaremos respeitando definições explícitas no código-fonte e qualquer coisa não definida explicitamente será preservada. A tabela abaixo mostra esse comportamento:
Metadados no nível da coluna:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que é definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do Pipeline ou a execução do comando Criar e Substituir |
|---|---|---|---|---|
| Merge | Não descartaremos metadados existentes no conjunto de dados antes de aplicar o que é definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Coluna X com comentário 1 | Coluna Y com Comentário 2 | Coluna X com comentário 1 Coluna Y com Comentário 2 |
| Merge | Se os metadados estiverem definidos na origem do pipeline, eles serão redefinidos no recarregamento. | Coluna X com comentário 1 | Coluna X com comentário 3 Coluna Y com Comentário 2 | Coluna X com comentário 3 Coluna Y com Comentário 2 |
Metadados no nível da tabela:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que é definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do Pipeline ou a execução do comando Criar e Substituir |
|---|---|---|---|---|
| Merge | Não descartaremos metadados existentes no conjunto de dados antes de aplicar o que é definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Filtro de linha 1 | Filtro de linha 2 | Filtro de linha 2 |
| Merge | Se os metadados estiverem definidos na origem do pipeline, eles serão redefinidos no recarregamento. | Filtro de linha 1 | None | Filtro de linha 1 |
Você pode continuar modificando o código-fonte como antes. Essa abordagem de mesclagem preserva as alterações ALTER externas feitas na tabela.
Esse novo comportamento de mesclagem apresenta uma alteração importante. Antes, as atualizações de pipeline excluíam filtros de linha ou máscaras de coluna existentes se a definição do pipeline não os incluísse. Agora você deve excluir explicitamente comentários, filtros de linha ou máscaras de coluna existentes usando o Gerenciador de Catálogos ou o comando ALTER.
Para saber como usar os comandos SQL, consulte ALTER MATERIALIZED VIEW e ALTER STREAMING TABLE.