Acessar o histórico de consultas para pipelines

Histórico de consultas e perfis de consulta de execuções de pipeline ajudam você a depurar consultas, identificar gargalos de desempenho e otimizar execuções de pipeline. Essas informações estão disponíveis na página de histórico de consultas, na página de monitoramento do pipeline e no Editor do Lakeflow Pipelines.

Examinar o histórico de consultas para atualizações de pipeline

Para todos os pipelines de ETL, tanto os acionados quanto os contínuos, uma instrução de consulta aparece no histórico de consultas quando as exibições materializadas e as tabelas de streaming são atualizadas. Há uma REFRESH instrução para cada execução de fluxo que atualiza uma tabela de destino. Você pode usar o filtro de computação na página de histórico de consultas para mostrar apenas as consultas processadas usando a computação de pipeline. Consulte o histórico de consultas para saber mais sobre a interface do usuário do histórico de consultas.

Para acessar os detalhes da consulta, siga estas etapas:

1. Clique no Histórico de consultas na barra lateral.

2. Selecione a opção Pipeline compute no filtro suspenso Compute para exibir apenas pipelines.

   Você também pode filtrar por usuário, hora, status e outros recursos da consulta ou atualização.

3. Clique em uma instrução de consulta para exibir detalhes resumidos, como a duração da consulta e as métricas agregadas. Confira exibir detalhes da consulta.

4. Clique em Ver o perfil de consulta para abrir o perfil de consulta. Consulte o perfil de consulta para obter detalhes sobre o perfil de consulta. Você pode abrir o perfil de consulta enquanto o pipeline está em execução ou após a conclusão da execução.

5. Opcionalmente, use os links na seção Origem da Consulta para abrir a página de monitoramento do fluxo de trabalho relacionado.

Acessar o histórico de consultas na página de monitoramento do pipeline

Na página de monitoramento de pipeline, clique na guia Desempenho próximo à parte inferior da tela para acessar o histórico do pipeline. Você pode visualizar o painel de detalhes da consulta e o respectivo perfil clicando em uma instrução enquanto o pipeline estiver em execução ou depois que a execução for concluída.

Acesse o histórico de consultas no Editor do Lakeflow Pipelines

Ao editar um pipeline, você pode acessar o histórico de consultas na guia Desempenho no painel inferior. Se você selecionar uma tabela inicialmente, o histórico de consultas será focado nessa tabela.

Cada item na lista corresponde à execução de um fluxo definido em seu código. Há uma instrução por tabela, a menos que vários fluxos gravem na mesma tabela.

• Você pode filtrar esta lista pelo nome do conjunto de dados para localizar as declarações para fluxos que escrevem nessa tabela.
• Esta lista mostra até 1.000 declarações. Se o pipeline tiver mais instruções, você poderá clicar em Exibir tudo no histórico de consultas para ver a lista completa de instruções na página histórico de consultas, filtrada pela ID de execução do Pipeline mais recente.
• Por padrão, você pode ver a duração e as métricas para leituras e gravações. Você pode clicar em uma REFRESH instrução na lista para exibir mais métricas e o perfil de consulta para o fluxo.
• As métricas e os perfis de consulta estão disponíveis enquanto o pipeline está em execução ou após a conclusão da execução.

Para saber mais sobre os detalhes disponíveis nesta exibição, confira Exibir detalhes da consulta.

Limitações

• O tempo de provisionamento e enfileiramento não está disponível.