Construir pipelines

Crie pipelines do Lakeflow ao carregar e transformar dados, aplicar controlos de qualidade dos dados e gravar os resultados nas tabelas de destino. Os tópicos seguintes abrangem as tarefas envolvidas na construção e execução de pipelines.

Para conhecer os conceitos declarativos subjacentes aos pipelines (conjuntos de dados, fluxos e o grafo do pipeline), consulte O que são os pipelines Lakeflow?. Para um guia passo a passo, veja o Tutorial: Construir um pipeline ETL usando captura de dados de alteração.

Topic Description
Desenvolver no Editor de Pipelines do Lakeflow Criar, executar e depurar pipelines no editor, com um gráfico do pipeline, pré-visualizações dos dados e execução seletiva.
Use o Código Genie para desenvolvimento de pipelines Gerar, editar e depurar código de pipeline a partir de um único prompt com o modo Genie Code Agent no editor.
Gerir identidades e privilégios Controle a identidade utilizada para executar um pipeline e quem o pode criar, executar, atualizar e visualizar, bem como o respetivo resultado.
Carregar dados Importe dados para o seu pipeline a partir de armazenamento de objetos na nuvem e de barramentos de mensagens em fluxo.
Transformar dados Aplicar transformações, uniões e agregações para construir conjuntos de dados derivados.
Atualização completa para tabelas de streaming Reprocessa todos os dados de origem para reconstruir uma tabela de streaming.
Qualidade dos dados Valida os registos com expectativas e controla o que acontece quando um registo falha.
Escrever conjuntos de dados Escreve os resultados do pipeline para sinks como o Apache Kafka e o Hubs de Eventos do Azure, e usa fluxos para escrever nos alvos de streaming.

Recursos adicionais

  • Last updated on