Pipelines de build

Crie pipelines do Lakeflow carregando e transformando dados, aplicando verificações de qualidade de dados e gravando resultados nas tabelas de destino. Os tópicos a seguir abordam as tarefas envolvidas na criação e execução de pipelines.

Para conhecer os conceitos declarativos por trás dos pipelines (conjuntos de dados, fluxos e o grafo do pipeline), consulte O que são os pipelines do Lakeflow?. Para ver um passo a passo, consulte Tutorial: Criar um pipeline de ETL usando a captura de dados de mudanças.

Topic Description
Desenvolva no editor do Lakeflow Pipelines Criar, executar e depurar pipelines no editor, com um grafo do pipeline, versões prévias de dados e execução seletiva.
Usar o Genie Code para desenvolvimento de pipeline Gere, edite e depure código de pipeline a partir de um único prompt com o modo Genie Code Agent no editor.
Gerenciar identidades e privilégios Controle a identidade usada para executar um pipeline e quem pode criar, executar, atualizar e visualizar pipelines e os resultados gerados por eles.
Carregar dados Ingira dados no seu pipeline a partir do armazenamento de objetos na nuvem e de barramentos de mensagens de streaming.
Transformar dados Aplique transformações, junções e agregações para criar conjuntos de dados derivados.
Atualização completa para tabelas de streaming Reprocesse todos os dados de origem para recompilar uma tabela de streaming.
Qualidade dos dados Valide registros com expectativas e controle o que acontece quando um registro falha.
Gravar conjuntos de dados Grave os resultados do pipeline em coletores, como Apache Kafka e Hubs de Eventos do Azure, e use fluxos para gravar em destinos de streaming.

Recursos adicionais

  • Last updated on