Configurar e editar tarefas no Lakeflow Jobs

Crie, configure e edite tarefas num job do Lakeflow através da interface do espaço de trabalho Jobs & Pipelines.

O Azure Databricks gere tarefas como componentes dos Lakeflow Jobs. Um trabalho tem uma ou mais tarefas. Você cria um novo trabalho na interface do usuário do espaço de trabalho configurando a primeira tarefa. Para configurar um novo trabalho, consulte Configurar e editar trabalhos do Lakeflow.

Cada tarefa tem um recurso de computação associado que executa a lógica da tarefa. Se estiver a usar serverless, o Azure Databricks configura os seus recursos de computação. Se você não estiver usando serverless, consulte Configurar computação para trabalhos.

O Azure Databricks tem outros pontos de entrada e ferramentas para configuração de tarefas, incluindo as seguintes:

• Referência da API REST de tarefas
• Databricks CLI
• Criar e gerir tarefas agendadas de blocos de anotações

Criar ou configurar uma tarefa

Para editar uma tarefa existente ou adicionar uma nova tarefa com a interface do usuário do espaço de trabalho, selecione um trabalho existente usando as seguintes etapas:

1. Na barra lateral do seu espaço de trabalho do Azure Databricks, clique em Jobs & Pipelines.
2. Opcionalmente, selecione os filtros Trabalhos e Propriedade de mim .
3. Clique no link Nome da sua vaga.
4. Clique na guia Tarefas . O gráfico de tarefas é exibido.
5. Para editar uma tarefa, clique no nome da tarefa. A configuração da tarefa aparece abaixo do gráfico de tarefas.
6. Para adicionar uma tarefa:
   • Se o trabalho ainda não tiver tarefas, o gráfico de tarefas mostra botões para os tipos de tarefas mais recentes. Clique no botão para o tipo de tarefa ou clique Adicione outro tipo de tarefa para escolher um tipo diferente.
   • Se o trabalho já tiver uma ou mais tarefas, clique Adiciona a tarefa no gráfico de tarefas.

Tipos de tarefas

As opções de configuração e as instruções variam de acordo com a tarefa. Os seguintes tipos de tarefas estão disponíveis:

• Caderno
• Preparação de dados visuais

• Bloco de notas do Clean Room

• Script Python
• Roda Python
• SQL
• Oleoduto
• Pipeline de Sincronização de Tabelas de Base de Dados
• Pipeline de ingestão
• SQL Alert (Pré-visualização pública)
• Dashboards
• Power BI
• DBT
• Plataforma DBT (Pré-visualização Pública)
• JAR
• Spark Submit
• Run Job
• Código Génio (Beta)
• Se/senão
• Para cada

Clone uma tarefa

Clonar tarefas para copiar todas as configurações de uma tarefa existente, incluindo dependências upstream.

Para clonar uma tarefa, faça o seguinte:

1. Selecione a tarefa no gráfico de tarefas.
2. Clique em .
3. Especifique um nome de tarefa clonada e clique em Clonar.

Desativar uma tarefa

Desativar uma tarefa para que seja ignorada em tempo de execução sem removê-la do processo. A tarefa mantém a sua configuração e histórico de execução, por isso podes reativar mais tarde sem reconstruir a tarefa.

Cenários comuns para desativar uma tarefa incluem os seguintes:

• Excluir temporariamente uma tarefa enquanto se depura um problema a montante sem perder as definições da tarefa.
• Pausar uma tarefa falhada para que o resto do trabalho continue a correr de acordo com o cronograma.
• Manter o Grafo Acíclico Dirigido (DAG) e o histórico de execução do trabalho intactos ao decidir se remove ou não uma tarefa.

Para desativar uma tarefa num trabalho:

1. Abra o job e selecione a tarefa no DAG.
2. Clica para desativar a tarefa.

Para reativar uma tarefa desativada, selecione a tarefa e clique em .

Para saltar uma tarefa durante uma única execução sem alterar as definições do trabalho, use Executar um trabalho com definições diferentes .

Para saber como as tarefas desativadas afetam as tarefas a jusante, reparações e execuções parciais, veja Tarefas desativadas em Lakeflow Jobs.

Excluir uma tarefa

Para excluir uma tarefa, faça o seguinte:

1. Selecione a tarefa no gráfico de tarefas.
2. Clique e selecione Apagar tarefa.

Para manter a configuração da tarefa e o histórico de execução em vez de a apagar, desative a tarefa.

Copiar um caminho de tarefa

Certos tipos de tarefas, por exemplo, tarefas de bloco de anotações, permitem copiar o caminho para o código-fonte da tarefa:

1. Clique na guia Tarefas .
2. Selecione a tarefa que contém o caminho a ser copiado.
3. Clique ao lado do caminho da tarefa para copiá-lo para a área de transferência.

Configurações avançadas de tarefas

As configurações avançadas a seguir controlam novas tentativas para tarefas com falha e políticas de tempo limite para tarefas que não respondem.

Definir uma política de repetição

A configuração padrão para novas tentativas de tarefas depende da configuração do trabalho. Para a maioria das configurações, a configuração padrão não tenta novamente nenhuma tarefa em caso de falha de tarefa.

Os trabalhos sem servidor otimizam automaticamente as novas tentativas por padrão. Consulte Configurar a otimização automática de computação sem servidor para não permitir novas tentativas

Os trabalhos contínuos usam uma política de backoff exponencial para novas tentativas. Veja Gestão de falhas para trabalhos contínuos.

Para configurar uma política que determine quando e quantas vezes as tarefas falhadas são tentadas novamente, clique Adicionar ao lado de Tentativas.

O intervalo de repetição é calculado em milissegundos entre o início da execução com falha e a execução de repetição subsequente.

Configurar limites para a duração de execução de tarefas ou métricas de atraso de processamento de streaming

Você pode configurar limites opcionais para a duração da execução da tarefa ou métricas de lista de pendências de streaming. Para configurar limites de duração ou de métricas de streaming, clique em Limites de métrica no painel de configuração da tarefa.

Para configurar os limites de duração da tarefa, incluindo os tempos de conclusão esperados e máximos da tarefa, selecione Duração da execução no menu suspenso Métrica. Insira uma duração no campo Aviso para configurar o tempo esperado de conclusão da tarefa. Se a execução da tarefa exceder esse limite, um evento será acionado. Para configurar um tempo máximo de conclusão de uma tarefa, insira a duração máxima no campo Tempo limite . Se a tarefa não for concluída nesse tempo, o Azure Databricks define o seu estado para "Esgotado".

Para configurar um limite para uma métrica de lista de pendências de streaming, selecione a métrica no menu suspenso Métrica e insira um valor para o limite. Para saber mais sobre as métricas específicas suportadas por uma fonte de streaming, consulte Exibir métricas para tarefas de streaming.

Se um evento for acionado porque um limite é excedido, você pode usar o evento para enviar uma notificação. Consulte Configurar notificações para trabalhos lentos.