Atualizar a atividade do endpoint de análise de SQL

A atividade de atualização do endpoint de análise SQL nos pipelines Microsoft Fabric permite que você atualize programaticamente um endpoint de análise SQL do Lakehouse como parte de um fluxo de trabalho orquestrado. Ele faz parte do Lakehouse Utility Suite para pipelines e normalmente é usado após a atividade de Manutenção do Lakehouse (por exemplo, após operações OPTIMIZE ou VACUUM). Os consumidores downstream, como relatórios do Power BI, notebooks ou clientes SQL externos, veem os dados mais recentes após a conclusão das etapas de preparação ou manutenção de dados.

Use essa atividade para fazer com que os endpoints de análise SQL reflitam imediatamente atualizações recentes, sem depender de atualizações manuais ou processos ad hoc. Use essa atividade quando o pipeline:

• Atualiza ou mantém os dados do Lakehouse (por exemplo, após jobs de cópia, execução de notebooks ou atividades de manutenção do Lakehouse).
• Exige que o endpoint de análise SQL do Lakehouse reflita os metadados e mudanças de dados mais recentes.
• Precisa do tempo de atualização determinística antes das etapas downstream, como relatórios, análises ou exportações.

Pré-requisitos

Antes de usar essa atividade, verifique se:

• Uma conta de locatário com uma assinatura ativa. Crie uma conta gratuitamente.
• Um espaço de trabalho com um Lakehouse
• Existe um endpoint de análise SQL para o Lakehouse.
• A identidade do pipeline (usuário ou principal de serviço) tem permissão para atualizar o endpoint de análise SQL.

Adicione uma atividade de atualização do endpoint de análise SQL ao seu pipeline na interface

1. Crie um novo pipeline em seu espaço de trabalho.

2. Procure por Refresh SQL Analytics endpoint no painel de Atividades do pipeline e selecione-o para adicioná-lo ao pipeline canvas.

   

3. Selecione a nova atividade Atualizar endpoint de análise SQL na tela, caso ainda não esteja selecionada.

   

   Dica

   Você pode orquestrar essa atividade ao lado de outras atividades do Lakehouse Utility Suite, como a atividade de Manutenção do Lakehouse, no mesmo pipeline para que a manutenção e a atualização executem em sequência.

4. Consulte as diretrizes de Configurações Geraispara definir a guia Configurações Gerais.

Atualizar as configurações de atividade do endpoint de análise SQL

1. Selecione a guia Configurações para configurar a atividade.  

2. Configure a conexão selecionando uma conexão existente na lista suspensa Conexão ou criando uma nova conexão e especificando seus detalhes de configuração.

3. Especifique o Workspace que contém o Lakehouse.

4. Especifique ID do endpoint de análise SQL como o endpoint de análise SQL do Lakehouse que você deseja atualizar. A atualização atualiza os metadados do endpoint de análise SQL do Lakehouse para que reflitam as mudanças recentes de dados e esquemas.

   

Comportamento da atividade

Quando a execução da atividade for concluída:

• Se o pop-up Saída mostrar o status de Sucesso , a solicitação sincroniza os dados não sincronizados com êxito.

  

• Um status NotRun no pop-up de Saída significa que a atualização do endpoint de análise SQL não foi executada. Essa condição geralmente significa que você não adicionou novos dados desde a última sincronização, portanto, você não precisou executá-los.

  

• Se o pop-up de saída mostrar o status de Falha, algo está errado.

Cenários comuns

• Atualizar o endpoint de análise SQL após um Notebook gravar dados transformados em um Lakehouse.
• Acione uma atualização do endpoint analítico SQL após a atividade de Manutenção do Lakehouse ser concluída (OPTIMIZE ou VACUUM).
• Garantir que relatórios e painéis consultem o estado mais recente de Lakehouse em pontos bem definidos de um pipeline.

Por que a atualização do meu endpoint de análise SQL falha quando os dados subjacentes estão bloqueados?

A atividade de atualização do endpoint de análise SQL pode falhar intermitentemente quando outros processos atualizam ativamente os dados subjacentes do Lakehouse. Esses processos incluem pipelines de ingestão, cadernos eletrônicos ou operações de gravação simultâneas.

Essa falha acontece porque o endpoint de análise SQL precisa adquirir bloqueios internos para concluir a atualização. Se outra operação bloquear os dados, a solicitação atingirá o tempo limite ou retornará um erro.

Esse comportamento é esperado com base em como os endpoints de análise SQL gerenciam operações de atualização de metadados.

Symptoms

• A atividade falha intermitentemente, não de forma consistente.
• Mensagens de erro indicam conflitos de atualização ou contention de bloqueio.
• Pipelines com múltiplas atividades sequenciais de atualização de SQL analytics apresentam taxas de falha mais altas.

Causa raiz

Endpoints de análise SQL exigem acesso exclusivo a certas estruturas de metadados durante a atualização. Se outro processo de computação escrever no Lakehouse ao mesmo tempo, ocorrerá contenção de bloqueio.

Esse comportamento não é um defeito na atividade de atualização do endpoint de análise SQL. É o resultado natural de operações simultâneas de leitura e gravação nos dados subjacentes.

Soluções alternativas

Duas abordagens práticas podem atenuar esse problema:

• Use apenas uma atividade de atualização do endpoint SQL Analytics no final do processamento
• Implemente um cronograma de atualização recorrente

Use apenas uma atividade de atualização do endpoint de análise SQL no final do processamento

Para reduzir a probabilidade de conflitos de bloqueio, consolide seu pipeline para que:

• Todas as atividades de ingestão, transformação e atualização são executadas primeiro,
• Então, apenas uma atividade de atualização do endpoint de análise SQL é executada no final.
• Essa abordagem não elimina completamente as falhas, mas reduz consideravelmente a frequência com que elas ocorrem.

Implemente um cronograma de atualização recorrente

Se o cenário não exigir consistência transacional estrita em um momento específico, adote um padrão de atualização recorrente:

• Agende uma atualização a cada 15 minutos , continuamente. Algumas tentativas de atualização podem falhar devido ao bloqueio, mas atualizações suficientes são concluídas com sucesso para manter seu endpoint de análise SQL relativamente atualizado.

Essa abordagem é prática e robusta para muitas cargas de trabalho de análise.

Salve e execute ou agende o pipeline

Alterne para a guia Página Inicial na parte superior do editor de pipeline e selecione o botão Salvar. Selecione Executar para executá-lo diretamente ou Agendar para agendar execuções em intervalos ou horários específicos. Para obter mais informações sobre execuções de pipeline, consulte: cronograma de execuções de pipeline.

Depois de executar, você pode monitorar a execução do pipeline e exibir o histórico de execução na guia Saída abaixo da tela.

Problemas conhecidos

• A atividade de atualização do endpoint de análise SQL pode falhar intermitentemente quando outros processos atualizam ativamente os dados subjacentes do Lakehouse. Para soluções alternativas, veja Por que a atualização do endpoint de análise SQL falha quando os dados subjacentes são bloqueados?

Conteúdo relacionado

• Atividade de manutenção do Lakehouse
• Atualize os metadados dos endpoints de análise SQL com a API REST