Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
16 a 18 de julho de 2025
Esses recursos e melhorias foram lançados com a versão 2025.29 do Declarative Pipelines.
Versões do Databricks Runtime usadas por esta versão
Canal:
- ATUAL (padrão): Databricks Runtime 16.1
- PRÉ-VISUALIZAÇÃO: Databricks Runtime 16.4
Observação
Como as versões de canal do Lakeflow para Spark Declarative Pipelines seguem um processo de atualização progressiva, as atualizações de canal são implementadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte Informações sobre o tempo de execução.
Novos recursos e melhorias
A funcionalidade Mover Tabelas Entre Pipelines Declarativos do Lakeflow está agora disponível de forma geral (GA). Isso permite que os usuários movam Exibições Materializadas e Tabelas de Streaming de um pipeline para outro com um comando SQL e um pequeno ajuste de código. Consulte Mover tabelas entre Pipelines Declarativos do Lakeflow
Os comandos ALTER podem agora ser aplicados a MV/STs criados por pipelines de ETL, relativos a comentários de tabelas, comentários de colunas e RLS/CLM. Como parte desta funcionalidade, as atualizações do pipeline preservam, com base na chave do nome da coluna, os valores dos campos que podem ser modificados pelos utilizadores, em vez de os substituir. Continuaremos a respeitar definições explícitas no código-fonte, e tudo o que não for explicitamente definido será preservado. A tabela abaixo mostra esse comportamento:
Metadados em nível de coluna:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que está definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do pipeline ou a execução do comando Criar e substituir |
|---|---|---|---|---|
| Merge | NÃO vamos eliminar os metadados existentes no conjunto de dados antes de aplicar o que está definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Coluna X com comentário 1 | Coluna Y com Comentário 2 | Coluna X com comentário 1 Coluna Y com comentário 2 |
| Merge | Se os metadados estiverem definidos na fonte do pipeline, serão redefinidos na atualização. | Coluna X com comentário 1 | Coluna X com comentário 3 Coluna Y com comentário 2 | Coluna X com comentário 3 Coluna Y com comentário 2 |
Metadados no nível da tabela:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que está definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do pipeline ou a execução do comando Criar e substituir |
|---|---|---|---|---|
| Merge | NÃO vamos eliminar os metadados existentes no conjunto de dados antes de aplicar o que está definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Filtro de linha 1 | Filtro de linha 2 | Filtro de linha 2 |
| Merge | Se os metadados estiverem definidos na fonte do pipeline, serão redefinidos na atualização. | Filtro de linha 1 | Nenhum | Filtro de linha 1 |
Você pode continuar a modificar o código-fonte como antes. Esta abordagem de fusão preserva os comandos ALTER externos efetuados na tabela.
Esse novo comportamento de mesclagem introduz uma alteração importante. Antes, as atualizações de pipeline excluíam filtros de linha ou máscaras de coluna existentes se a definição de pipeline não os incluísse. Agora você deve excluir explicitamente comentários, filtros de linha ou máscaras de coluna existentes, usando o Catalog Explorer ou o comando ALTER.
Para saber como usar os comandos SQL, consulte ALTER MATERIALIZED VIEW e ALTER STREAMING TABLE.