Versão DLT 2023.41

16 de setembro - 20 de outubro de 2023

Esses recursos e melhorias foram lançados com a versão 2023.41 do DLT.

Observação

As liberações são disponibilizadas em fases. Sua versão DLT, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Versões do Databricks Runtime usadas por esta versão

Canal:

  • ATUAL (padrão): Databricks Runtime 12.2.14
  • VERSÃO PRÉVIA: Databricks Runtime 13.3.3

Novos recursos e melhorias nesta versão

  • Agora você pode adicionar monitoramento personalizado e alertas aos Pipelines Declarativos do Spark no Lakeflow usando ganchos de evento (Versão preliminar pública). Por exemplo, usando ganchos de evento, você pode enviar emails ou integrar-se a soluções de monitoramento de terceiros para enviar alertas quando ocorrem eventos selecionados.

  • Esta versão melhora a detecção e as mensagens de erro das dependências circulares em um pipeline. Por exemplo, quando uma tabela a jusante é referenciada para criar uma tabela a montante.

Correções de bug nesta versão

  • Esta versão corrige um problema que faz com que um pipeline falhe quando uma consulta SCD tipo 1 com expectativas habilitadas tem uma incompatibilidade de letras maiúsculas e minúsculas nos nomes das colunas.

  • Com esta versão, os valores padrão da política de cluster são aplicados corretamente quando a configuração de apply_policy_default_values é definida como true na configuração do pipeline. Anteriormente, em alguns casos, os padrões de política de cluster não eram aplicados corretamente. Consulte Selecionar uma política de computação.