Manutenção de mesas Delta em casa do lago

Execute a manutenção em tabelas Delta para mantê-las saudáveis ao longo do tempo, compactando arquivos pequenos, aplicando otimizações de leitura e removendo arquivos obsoletos que não são mais referenciados.

Você pode executar manutenção tanto como uma operação ad hoc no portal Fabric (ação de manutenção da tabela lakehouse) quanto como um processo programado e orquestrado usando notebooks, pipelines ou API REST. Os pipelines da Fabric Data Factory incluem uma atividade dedicada de Manutenção do Lago (Preview) que pode rodar OPTIMIZE (com ordem V opcional) e VACUUM nas tabelas Delta do Lago como parte dos fluxos de trabalho programados do pipeline. Este artigo se concentra no fluxo de trabalho do portal ad hoc.

Para diretrizes de manutenção de cargas de trabalho cruzadas, incluindo recomendações para ponto de extremidade de análise SQL, Power BI Direct Lake e consumidores de Data Warehouses, consulte Manutenção e otimização de tabelas entre cargas de trabalho. Para padrões de manutenção code-first, veja otimização de tabelas Delta Lake e V-order e Gerencie a casa do lago com Fabric REST API.

Manutenção da mesa de corrida a partir da casa do lago

A manutenção das mesas no Lakehouse se aplica apenas às mesas Delta. Não há suporte para tabelas herdadas do Hive que usam formatos como Parquet, ORC, AVRO ou CSV.

Na caixa de diálogo Executar comandos de manutenção , escolha opções com base em sua meta.

Como prática geral, execute a manutenção após a ingestão principal ou a atividade de atualização ou quando observar muitos arquivos pequenos e desempenho de leitura mais lento.

1. A partir da sua conta Fabric, navegue até a casa do lago desejada.

2. No explorador Lakehouse, em Tabelas, clique com o botão direito na tabela de destino (ou use a elipse).

3. Selecione a entrada de menu Manutenção.

   

4. Na caixa de diálogo Executar comandos de manutenção, escolha as opções de manutenção:

   • Selecione a opção On para compactar pequenos arquivos Parquet em arquivos maiores para leituras mais eficientes.

   • Se Ligado estiver selecionado, você também pode selecionar a caixa de seleção Aplicar V-order . Ao selecionar essa opção, o Fabric aplica a ordem V (ordenação, codificação e compressão otimizadas) como parte da otimização.

     Observação

     A ordem V tem um impacto de cerca de 15% nos tempos médios de escrita. Ele também pode fornecer até 50% mais compactação.

   • Selecione a opção On para executar o comando Delta Lake VACUUM e remover arquivos não referenciados mais antigos do que o limite de retenção. Para obter detalhes de comportamento de retenção e segurança, consulte as configurações de retenção de vácuo.

   • Selecione a opção On para mesclar transações em arquivos parquet e remover os arquivos de vetores de exclusão adicionais, limpando o espaço e otimizando as leituras da tabela.

5. Selecione Executar agora para executar o trabalho de manutenção da tabelas.

6. Acompanhe a execução do trabalho em qualquer um destes locais:

   • O Painel de Notificações (ícone de sino no cabeçalho do portal do Fabric) para o status de execução em tempo real.
   • Hub de monitoramento (selecione Monitor na navegação à esquerda) para obter detalhes completos do trabalho. Procure por atividades cujo nome contenha TableMaintenance para execuções iniciadas pelo portal. Para execução de manutenção por meio dos pipelines do Fabric Data Factory, procure a execução do pipeline na visualização Hub de Monitoramento > Pipelines e filtre pelo nome da atividade Manutenção do Lakehouse.

Depois de executar a manutenção, o sucesso será exibido como uma atividade de manutenção de tabela concluída em Notificações e como uma entrada bem-sucedida TableMaintenance no Hub de Monitoramento.

Para obter mais informações sobre a navegação e os filtros do hub de monitoramento, consulte Usar o hub de monitoramento.

Configurações de retenção de vácuo

O VACUUM comando remove arquivos que não são mais referenciados pelo log Delta e que são mais antigos que o limite de retenção. O limite de retenção padrão é de sete dias.

O uso de um intervalo de retenção mais curto pode reduzir o histórico de viagem no tempo delta e pode afetar leitores ou gravadores simultâneos. As solicitações de manutenção do portal do Fabric e da API falham por padrão para intervalos de retenção inferiores a sete dias.

Se você precisar usar um intervalo de retenção inferior a sete dias, defina spark.databricks.delta.retentionDurationCheck.enabled como false nas propriedades do Spark do ambiente do Fabric usadas pelas cargas de trabalho do Spark do workspace. Para saber onde configurar e anexar ambientes, consulte Criar, configurar e usar um ambiente nasconfigurações de computação do Fabric e do Spark em ambientes do Fabric.

Conteúdo relacionado

• Visão geral do Delta Lake em Fabric
• Atividade de manutenção do Lakehouse (versão prévia)
• Manutenção e otimização de tabela para cargas de trabalho múltiplas
• Otimização de tabelas Delta Lake e ordem V
• Gerencie a casa do lago com a API Fabric REST