Desenvolver e depurar pipelines com um notebook (legado)

Pode desenvolver e depurar pipelines ETL a partir de um bloco de notas do Azure Databricks ligado a um pipeline, utilizando a experiência legada de edição de blocos de notas nos pipelines Lakeflow.

Visão geral dos blocos de notas nos pipelines

Quando trabalha num caderno Python ou SQL configurado como código-fonte para um pipeline existente, pode ligar o caderno diretamente ao pipeline. Quando o notebook está conectado ao pipeline, os seguintes recursos estão disponíveis:

• Inicie e valide o pipeline a partir do notebook.
• Veja o gráfico de fluxo de dados e o registo de eventos do pipeline para obter a atualização mais recente no caderno.
• Veja os diagnósticos do pipeline no editor de notebook.
• Exiba o status do cluster do pipeline no bloco de anotações.
• Aceda à interface do pipeline a partir do notebook.

Pré-requisitos

• Deve ter um pipeline existente com um caderno Python ou SQL configurado como código-fonte.
• Deve ser o proprietário do pipeline ou ter o privilégio CAN_MANAGE.

Limitações

• As funcionalidades abordadas neste artigo estão disponíveis apenas nos cadernos Azure Databricks. Não há suporte para arquivos de espaço de trabalho.
• O terminal web não está disponível quando conectado a um pipeline. Como resultado, não é visível como um separador no painel inferior.

Conectar um computador portátil a um pipeline

Dentro do portátil, clique no menu suspenso usado para selecionar cálculo. O menu suspenso mostra todos os teus pipelines com este caderno como código-fonte. Para ligar o notebook a um pipeline, selecione-o na lista.

Ver o estado do cluster do pipeline

Para entender facilmente o estado do cluster do pipeline, seu status é mostrado no menu suspenso de computação com uma cor verde para indicar que o cluster está em execução.

Validar o código do pipeline

Você pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar dados.

Para validar um pipeline, siga um destes procedimentos:

• No canto superior direito do bloco de notas, clique em Validar.
• Pressione Shift+Enter em qualquer célula do caderno.
• No menu suspenso de uma célula, clique em Validar Pipeline.

Iniciar uma atualização do pipeline

Para iniciar uma atualização do seu pipeline, clique no botão Iniciar no canto superior direito do notebook. Consulte Executar uma atualização de pipeline.

Exibir o status de uma atualização

O painel superior no notebook exibe se uma atualização do pipeline é:

• Starting
• Validação
• Parar

Ver erros e diagnósticos

Depois de iniciar uma atualização ou validação de pipeline, todos os erros são mostrados em linha com um sublinhado vermelho. Passe o cursor sobre um erro para ver mais informações.

Visualizar eventos de pipeline

Quando ligado a um pipeline, existe um separador de registo de eventos do pipeline na parte inferior do caderno.

Exibir o gráfico de fluxo de dados do pipeline

Para visualizar o grafo de fluxo de dados de um pipeline, utilize o separador «Grafo do pipeline» na parte inferior do bloco de notas. A seleção de um nó no gráfico exibe o esquema no painel direito.

Como aceder à interface do pipeline a partir do portátil

Para saltar facilmente para a interface do pipeline, use o menu no canto superior direito do caderno.

Aceder aos registos do driver e à interface do utilizador do Spark no notebook.

Os logs do driver e a interface do usuário do Spark associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu Exibir do notebook.