Monitorizar tarefas do Lakeflow

A interface do Azure Databricks permite-lhe ver os trabalhos a que tem acesso, consultar o histórico das execuções de cada trabalho e inspecionar os detalhes das execuções individuais. Para configurar notificações para trabalhos, consulte Adicionar notificações no trabalho.

Para saber mais sobre como usar a CLI do Databricks para exibir e executar trabalhos, execute os comandos databricks jobs list -hda CLI , databricks jobs get -he databricks jobs run-now -h. Para saber mais sobre como usar a API de Trabalhos, consulte a API de Trabalhos.

Se tiver acesso ao system.lakeflow esquema, também pode ver e consultar registos de execuções de trabalhos e tarefas de toda a conta. Consulte Tabela de referência do sistema de trabalhos. Você também pode juntar as tabelas do sistema de trabalhos com tabelas de faturamento para monitorar o custo dos trabalhos em toda a sua conta. Verifique Monitorizar os custos & de desempenho do trabalho com tabelas do sistema.

Exibir trabalhos e pipelines

Para exibir a lista de trabalhos aos quais você tem acesso, clique no Jobs & Pipelines na barra lateral. A guia Jobs & pipelines na interface do usuário Lakeflow Jobs lista informações sobre todos os trabalhos e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Para alterar as colunas exibidas na lista, clique no e selecione ou desmarque colunas.

Você pode filtrar trabalhos na lista Jobs & pipelines , conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto: a pesquisa por palavra-chave é suportada para os campos Nome e ID do trabalho . Para pesquisar uma tag criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma tag com a chave department e o valor finance, pode pesquisar department ou finance para encontrar trabalhos correspondentes. Para pesquisar pela chave e pelo valor, insira a chave e o valor separados por dois pontos (por exemplo, department:finance).
2. Tipo: selecione apenas empregos, pipelines ou todos.
3. Proprietário: selecione apenas os trabalhos ou pipelines de que é proprietário.
4. Favoritos: selecione todos os trabalhos ou pipelines que você marcou como favoritos.
5. Etiquetas: Usar etiquetas. Para pesquisar por etiqueta, pode utilizar o menu pendente de etiquetas para filtrar até cinco etiquetas ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.
6. Executar como: Filtrar por até dois run as valores.

Para iniciar um trabalho ou pipeline, clique no botão de reprodução. Para interromper um fluxo de trabalho, clique no botão de . Para aceder a outras ações, clique no . Por exemplo, pode eliminar as definições de fluxo de trabalho ou de acesso a um pipeline a partir deste menu.

Veja as execuções recentes em todas as tarefas e pipelines

Pode ver uma lista de execuções em execução e recentemente concluídas de todos os trabalhos e pipelines num espaço de trabalho que pode acessar, incluindo execuções iniciadas por ferramentas externas de orquestração como Apache Airflow ou Azure Data Factory. Para ver a lista de corridas recentes:

1. Clique no Jobs & Pipelines na barra lateral.
2. Clique no Runs para mostrar o gráfico da contagem de execuções concluídas e a lista de execuções de tarefas e pipelines.
3. (Opcional) Clique em Jobs ou Pipelines para filtrar a lista por tipo.

A lista de corridas inclui opções de filtragem no topo, um gráfico das corridas recentemente concluídas e dos 5 principais erros, e uma lista das corridas recentemente concluídas.

Pode filtrar por:

• Nome do trabalho ou pipeline.
• Todos, Tarefas ou Pipelines.
• Tipo de pipeline (ETL, Ingestão, MV/ST ou Sincronização de Tabela de Base de Dados).
• O Executar como usuário.
• ID da execução para encontrar uma execução específica.
• A hora de início da execução (nas últimas 48 horas).
• O Estado de execução.
• O código de erro para execuções com falha.

Os filtros aplicam-se ao gráfico, aos códigos de erro e à lista de execuções.

Gráfico de contagem de corridas finalizadas

O gráfico de contagem de corridas finalizadas mostra o número de corridas concluídas nas últimas 48 horas. Por predefinição, o gráfico mostra as execuções falhadas, ignoradas e bem-sucedidas. Você também pode filtrar o gráfico para mostrar status de execução específicos ou restringir o gráfico a um intervalo de tempo específico.

Os filtros no topo do separador Runs aplicam-se ao gráfico.

Para limitar o intervalo de tempo apresentado no gráfico de contagem de execuções Terminadas , defina um intervalo de tempo no filtro. Em alternativa, pode clicar e arrastar o cursor no gráfico para selecionar o intervalo de tempo. O gráfico e a tabela de execuções atualizam-se para mostrar as execuções apenas a partir do intervalo de tempo definido.

A tabela Top 5 tipos de erro mostra uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo-lhe ver rapidamente as causas mais comuns dos problemas no seu espaço de trabalho.

Lista de corridas

O separador Runs inclui também uma tabela de execuções de tarefas e pipelines dos últimos 60 dias. O Azure Databricks mantém o histórico de execução durante 60 dias tanto para jobs como para pipelines. Por predefinição, a tabela inclui detalhes sobre execuções falhadas, ignoradas e bem-sucedidas.

Os filtros no topo do separador Execuções aplicam-se à lista.

Por padrão, a lista de execuções na tabela de execuções exibe o seguinte:

• A hora de início da corrida.
• O nome da tarefa ou do pipeline associado à execução.
• O tipo (Job ou Pipeline) da execução.
• O nome de utilizador com o qual a execução é executada.
• O que desencadeou a execução (Launched): um agendamento, um pedido de API ou um arranque manual.
• O tempo decorrido de um trabalho ou pipeline em execução, ou o tempo total de execução de uma execução concluída. A interface exibe um aviso se a duração exceder um tempo de conclusão esperado configurado.
• O estado da execução: Em fila, Pendente, Em execução, Ignorado, Concluído com êxito, Concluído com falhas, Falhou, Tempo esgotado, A cancelar ou Cancelado.
• Qualquer código de erro com o qual a execução terminou.
• Quaisquer parâmetros para a execução.
• Para interromper uma tarefa ou pipeline em execução, clique no botão Parar. Para abrir as ações da execução, clique no (por exemplo, para parar uma execução ativa ou eliminar uma execução concluída).

Para alterar as colunas apresentadas na lista de corridas, clique selecione ou limpe colunas.

Para exibir os detalhes da execução do trabalho, clique no link na coluna Hora de início da execução. Para ver detalhes da tarefa ou do pipeline, clique no nome na coluna Tarefa.

View é executado para um único trabalho

Você pode exibir uma lista de execuções atualmente em execução e concluídas recentemente para um trabalho ao qual você tem acesso, incluindo execuções iniciadas por ferramentas de orquestração externas, como o Apache Airflow ou o Azure Data Factory. Para exibir a lista de execuções de tarefas recentes:

1. Na barra lateral do espaço de trabalho do Azure Databricks, clique em Trabalhos & Pipelines.

2. Opcionalmente, selecione os filtros Trabalhos e Propriedade de mim .

3. Clique no link Nome da sua vaga.

   A guia Execuções aparece com exibições de matriz e lista de execuções ativas e concluídas.

A visualização de matriz mostra um histórico de execuções do trabalho, incluindo cada tarefa.

A linha Duração total da execução da matriz exibe a duração total da execução e o estado da execução. Para visualizar os detalhes da execução, incluindo a hora de início, a duração e o status, coloque o cursor sobre a barra na linha Duração total da execução.

Cada célula na linha Tarefas representa uma tarefa e o status correspondente da tarefa. Para exibir detalhes de cada tarefa, incluindo a hora de início, duração, cluster e status, passe o mouse sobre a célula dessa tarefa.

As barras de execução de trabalho e de execução de tarefas são codificadas por cores para indicar o estado da execução. As corridas bem-sucedidas são verdes. As corridas malsucedidas são vermelhas, as corridas ignoradas são cor-de-rosa e a espera por uma nova tentativa é amarela. Pendente, cancelado ou com tempo de expiração são cinzentos. A altura das barras individuais de execução do trabalho e da tarefa indica visualmente a duração da execução.

Se você configurou um tempo de conclusão esperado, a exibição de matriz exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Por padrão, a visualização em lista das execuções exibe o seguinte:

• A hora de início da corrida.
• O identificador de execução. Vejam o URL de execução de trabalho e ID para descobrir como encontrar e partilhar o URL de execução.
• Se a execução foi acionada por uma agenda de trabalho ou uma solicitação de API, ou se foi iniciada manualmente.
• O tempo decorrido para uma tarefa em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
• O estado da execução, quer Enfileirado, Pendente, Em Execução, Saltado, Bem-sucedido, Bem-sucedido com falhas, Falhado, Cronometrado, Cancelado ou Cancelado.
• O código de erro com o qual a execução terminou.
• Os parâmetros de execução.

As execuções atualmente ativas exibem um botão de parada. Para interromper todas as execuções ativas e enfileiradas, selecione Cancelar execuções ou Cancelar todas as execuções enfileiradas no menu suspenso.

Para aceder a ações específicas do contexto para a execução, clique no (por exemplo, para interromper uma execução ativa ou excluir uma execução concluída).

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desmarque colunas.

Para exibir detalhes de uma execução de trabalho, clique no link para a execução na coluna Hora de início na exibição de lista de execuções. Para exibir detalhes da execução bem-sucedida mais recente deste trabalho, clique em Ir para a última execução bem-sucedida.

O Azure Databricks mantém um histórico de execuções de trabalho por até 60 dias. Se você precisar preservar as execuções de trabalho, o Databricks recomenda exportar os resultados antes que eles expirem. Para obter mais informações, consulte Exportar resultados de execução de tarefa.

Ver detalhes da execução do trabalho

A página de detalhes da execução de tarefas contém os resultados do trabalho e links para registros, incluindo informações sobre o sucesso ou falha de cada tarefa na execução do trabalho. Pode aceder aos detalhes da execução do trabalho no separador Execuções do trabalho.

Para visualizar os detalhes da execução de trabalho no separador Execuções, clique no link da execução na coluna Hora de início na vista de lista de execuções. Para retornar à guia Execuções do trabalho, clique no valor ID do trabalho.

Além disso, os trabalhos com várias tarefas têm um gráfico, uma linha do tempo e uma vista de lista.

Visualização do gráfico

Clique em um nó de tarefa no gráfico para exibir os detalhes da execução da tarefa, incluindo:

• Detalhes da tarefa, incluindo executado como, como a tarefa foi iniciada, hora de início, hora de fim, duração e estado.
• O código-fonte.
• O cluster que executou a tarefa e os links para o seu histórico de consultas e logs.
• Métricas para a tarefa.

Vista de linha cronológica

Os trabalhos que contêm várias tarefas têm uma exibição de linha do tempo para identificar tarefas que estão levando muito tempo para serem concluídas, entender as dependências e a sobreposição para ajudar a depurar e otimizar esses trabalhos.

Para tarefas serverless, as consultas e os perfis das consultas estão integrados na vista de cronologia. Clique na seta ao lado do nome de uma tarefa para ver as instruções de consulta e as suas durações, depois clique numa instrução para navegar até ao perfil de consulta correspondente. Consulte Detalhes da consulta para execuções de tarefas.

Visualização da lista

Por predefinição, a vista em lista mostra o estado, o nome, o tipo, o recurso, a duração e as dependências. Pode adicionar e remover colunas nesta vista.

Pode procurar uma tarefa por nome, filtrar por estado ou tipo de tarefa, e ordenar tarefas por estado, nome ou duração.

Clique no ID do Trabalho para retornar à aba Execuções do trabalho.

Para ver onde o tempo é gasto numa corrida e o que pode fazer para o reduzir, veja a divisão de fase. Veja Ver a divisão das corridas por fase.

Como o Azure Databricks determina o estado da execução do trabalho

O Azure Databricks determina se uma execução de trabalho foi bem-sucedida com base no resultado das tarefas finais do trabalho. Uma tarefa terminal é uma tarefa que não tem dependências posteriores. Uma execução de uma tarefa pode ter um dos seguintes resultados:

• Êxito: Todas as tarefas foram bem-sucedidas.
• Sucesso com falhas: Algumas tarefas falharam, mas todas as tarefas da folha foram bem-sucedidas.
• Falha: Uma ou mais tarefas de folha falharam.
• Ignorado: a execução do trabalho foi ignorada (por exemplo, uma tarefa pode ser ignorada porque você excedeu o máximo de execuções simultâneas para seu trabalho ou seu espaço de trabalho).
• Tempo esgotado: a execução do trabalho demorou demasiado tempo para ser concluída e excedeu o tempo limite.
• Cancelado: A execução do trabalho foi cancelada (por exemplo, um usuário cancelou manualmente a execução em andamento).

Tarefas individuais também podem terminar com um Disabled status quando as desativar explicitamente nas definições de trabalho, ou quando o Lakeflow Jobs as desativa para uma execução porque uma tarefa prévia está desativada. As tarefas desativadas mostram um canto superior direito do DAG. Veja Tarefas Desativadas em Empregos Lakeflow.

Ver métricas de desempenho no trabalho

As métricas de tarefas de transmissão em fluxo e as métricas de desempenho de consultas sem servidor estão documentadas juntamente com as outras ferramentas de desempenho de tarefas. Veja Diagnóstico do desempenho das tarefas do Lakeflow.

Ver histórico de execução de tarefas

Para exibir o histórico de execução de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique numa tarefa na página de detalhes da execução do trabalho . A página Detalhes da execução da tarefa é exibida.
2. Selecione a tarefa executada no menu suspenso Histórico de execução.

Exibir histórico de execução de uma For each tarefa

Aceder ao histórico de execução de uma For each tarefa é o mesmo que para uma tarefa padrão de Lakeflow Jobs. Você pode clicar no For each nó da tarefa na página de detalhes de execução do trabalho ou na célula correspondente na visão de matriz. No entanto, ao contrário de uma tarefa padrão, os detalhes de execução de uma tarefa For each são apresentados como uma tabela que mostra as iterações da tarefa aninhada.

Para exibir apenas iterações com falha, clique em Somente iterações com falha.

Para exibir a saída de uma iteração, clique nos valores Hora de início ou Hora de término da iteração.

Ver informações de linhagem de dados para uma tarefa

Se o Catálogo Unity estiver habilitado em seu espaço de trabalho, você poderá visualizar informações de linhagem para qualquer tabela do Catálogo Unity em seu fluxo de trabalho. Se houver informação de linhagem disponível para o teu fluxo de trabalho, vês um link com a contagem de tabelas a montante e a jusante no painel de detalhes do teu trabalho , no painel de detalhes de execução de trabalhos para uma execução de trabalho, ou no painel de detalhes de execução de tarefas para uma execução de tarefa. Clique no link para mostrar a lista de tabelas. Clique numa tabela para ver informações detalhadas no Explorador de Catálogos.

Visualize e execute um trabalho criado com Pacotes de Automação Declarativa

Pode usar a interface Lakeflow Jobs para visualizar e executar jobs implementados pelos Declarative Automation Bundles. Por predefinição, estas tarefas são de leitura apenas na interface de usuário de Tarefas. Para editar um trabalho implantado por um pacote, altere o arquivo de configuração do pacote e reimplante o trabalho. A aplicação de alterações somente à configuração do pacote garante que os arquivos de origem do pacote sempre capturem a configuração de trabalho atual.

No entanto, se você precisar fazer alterações imediatas em um trabalho, poderá desconectá-lo da configuração do pacote para habilitar a edição das configurações do trabalho na interface do usuário. Para desconectar o trabalho, clique em Desconectar da origem. Na caixa de diálogo Desconectar da origem, clique em Desconectar para confirmar.

Quaisquer alterações feitas na tarefa na interface não são aplicadas à configuração do conjunto. Para aplicar as alterações feitas na interface do usuário ao pacote, você deve atualizar manualmente a configuração do pacote. Para reconectar o trabalho à configuração do pacote, reimplante-o usando o pacote.

Exportar resultados de execução de trabalho

Você pode exportar os resultados da execução de cadernos e os registos de execução de tarefas para todos os tipos de tarefas.

Exportar resultados de execução do notebook

Você pode persistir as execuções de tarefas exportando os seus resultados. Para execuções de trabalho de bloco de anotações, você pode exportar um bloco de anotações renderizado que pode ser importado posteriormente para seu espaço de trabalho do Azure Databricks.

Para exportar os resultados de execução do caderno de anotações para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias ).
2. Clique em Exportar para HTML.

Para exportar os resultados da execução de notebooks para um trabalho com várias tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias ).
2. Clique na tarefa do bloco de notas para exportar.
3. Clique em Exportar para HTML.

Exportar logs de execução de tarefas

Você também pode exportar os logs para a execução do trabalho. Você pode configurar a sua tarefa para entregar logs automaticamente ao DBFS ao configurar a computação de tarefas (consulte de referência de configuração de computação) ou por meio da API de Tarefa. Veja o new_cluster.cluster_log_conf objeto no corpo da solicitação passado para a operação Criar um novo trabalho (POST /jobs/create) na API de Trabalhos.