Desenvolver e depurar pipelines com um notebook (herdado)

Você pode desenvolver e depurar pipelines de ETL em um notebook do Azure Databricks conectado a um pipeline usando a experiência legada de edição de notebooks em pipelines do Lakeflow.

Visão geral de notebooks em pipelines

Ao trabalhar em um notebook Python ou SQL que é configurado como o código-fonte de um pipeline existente, você pode conectar o notebook diretamente ao pipeline. Quando o notebook estiver conectado ao pipeline, os seguintes recursos estarão disponíveis:

• Inicie e valide o pipeline do notebook.
• Veja o gráfico do fluxo de dados do pipeline e o log de eventos da atualização mais recente no notebook.
• Veja o diagnóstico do pipeline diretamente no editor do notebook.
• Visualize o status do cluster do pipeline no notebook.
• Acesse a interface do pipeline a partir do notebook.

Pré-requisitos

• É preciso ter um pipeline do DLT existente com um notebook do Python ou do SQL configurado como o código-fonte.
• Você precisa ser o proprietário do pipeline ou ter o privilégio CAN_MANAGE.

Limitações

• Os recursos abordados neste artigo só estão disponíveis em blocos de anotações Azure Databricks. Não há suporte para arquivos de workspace.
• O terminal web não está disponível quando ligado a um pipeline. Como resultado, ele não é visível como uma aba no painel inferior.

Conectar um notebook a um pipeline

No notebook, clique no menu suspenso usado para selecionar a computação. O menu suspenso mostra todos os pipelines com este notebook como código-fonte. Para conectar o notebook a um pipeline, selecione-o na lista.

Ver o status do cluster do pipeline.

Para entender facilmente o estado do cluster do pipeline, seu status é mostrado no menu suspenso de computação em verde para indicar que o cluster está em execução.

Validar o código do pipeline

Você pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar dados.

Para validar um pipeline, siga um destes procedimentos:

• No canto superior direito do notebook, clique em Validar.
• Pressione Shift+Enter em qualquer célula do notebook.
• No menu suspenso de uma célula, clique em Validar pipeline.

Iniciar uma atualização de pipeline

Para iniciar uma atualização do seu pipeline, clique no botão Iniciar no canto superior direito do notebook. Consulte Como executar uma atualização de pipeline.

Exibir o status de uma atualização

O painel superior do notebook mostra se uma atualização do pipeline está:

• Iniciando
• Validando
• Parar

Ver erros e diagnóstico

Depois que você iniciar uma atualização ou uma validação de pipeline, todos os erros serão exibidos em linha com um sublinhado vermelho. Passe o mouse sobre um erro para ver mais informações.

Ver eventos de pipeline

Ao ser anexado a um pipeline, há uma aba de log de eventos do pipeline na parte inferior do notebook.

Ver o grafo do fluxo de dados do pipeline

Para exibir o grafo do fluxo de dados de um pipeline, use a guia de grafo do pipeline na parte inferior do notebook. Selecionar um nó no grafo exibe o esquema no painel direito.

Como acessar a interface de usuário do pipeline no notebook

Para ir diretamente para a interface do pipeline, use o menu no canto superior direito do notebook.

Acessar os logs de driver e a interface do usuário do Spark no notebook

Os registros do driver e a interface de usuário do Spark associadas ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu Exibir do notebook.