Fusão de baixa mistura no Azure Databricks

O Delta Lake atualiza uma tabela reescrevendo ficheiros de dados completos. Quando um comando MERGE atualiza ou elimina algumas linhas num ficheiro, também tem de reescrever todas as linhas não modificadas desse ficheiro. Sem low shuffle merge, essas linhas não modificadas passam pelas mesmas fases de embaralhamento que as linhas modificadas. Isto torna MERGE mais lento e embaralha a disposição dos dados existente, pelo que as consultas posteriores também abrandam.

Low shuffle merge é a implementação otimizada do Azure Databricks de MERGE. Processa linhas não modificadas separadamente das linhas modificadas, sem embaralhamentos ou outros cálculos dispendiosos. Como resultado, MERGE embaralha muito menos dados e é executado mais rapidamente.

A fusão low shuffle está ativada por defeito, por isso não precisa de alterar as suas instruções MERGE para beneficiar dela. Ajuda sobretudo quando um MERGE atualiza um número relativamente pequeno de linhas numa tabela grande.

Disposição dos dados após uma fusão

A implementação anterior MERGE alterou completamente o layout dos dados não modificados, o que abrandou as operações posteriores. A fusão de baixo embaralhamento tenta preservar a disposição existente das linhas não modificadas, incluindo a disposição de liquid clustering. Como resultado, o desempenho degrada-se mais lentamente após um ou mais comandos MERGE, e é necessário executar OPTIMIZE com menos frequência.

A disposição das linhas atualizadas ou recém-inseridas pode não ser ideal. Ainda podes precisar de correr OPTIMIZE em tabelas com o clustering líquido ativado.

Para tabelas que usam ordenação Z, o low shuffle merge também tenta preservar a disposição existente da ordem Z das linhas não modificadas. Pode ainda precisar de correr OPTIMIZE o ZORDER BY depois de uma MERGE operação. O Databricks recomenda usar clustering líquido para todas as novas tabelas.