Cenário de ponta a ponta do Data Factory: introdução e arquitetura

Este tutorial orienta você por um cenário completo de integração de dados em cerca de uma hora. Você aprenderá os principais recursos do Data Factory em Microsoft Fabric e como aplicá-los a fluxos de trabalho de dados comuns.

O que você vai construir

Este tutorial inclui uma introdução e três módulos:

• Módulo 1: Ingerir dados com um trabalho de Cópia: Criar um trabalho de Cópia independente para ingerir dados brutos do armazenamento Blob em uma tabela bronze em um Lakehouse.
• Módulo 2: Transformar dados com um fluxo de dados: processe dados brutos de sua tabela bronze e mova-os para uma tabela de ouro no Lakehouse.
• Módulo 3: Orquestar e automatizar com um pipeline: Criar um pipeline para orquestrar o trabalho de Copiar e o fluxo de dados, enviar uma notificação por e-mail quando os jobs terminarem e escalar todo o fluxo.

Fábrica de Dados no Microsoft Fabric

Microsoft Fabric é uma plataforma de análise unificada que abrange movimentação de dados, data lakes, engenharia de dados, integração de dados, ciência de dados, análise em tempo real e business intelligence. Você não precisa reunir serviços de vários fornecedores.

Data Factory no Fabric combina a facilidade de uso de Power Query com a escala de Azure Data Factory. Ele oferece preparação de dados com baixo código, habilitada para IA, transformação em escala petabyte e centenas de conectores com conectividade híbrida e multinuvem.

Características principais

O Data Factory fornece três recursos principais para suas necessidades de integração de dados:

• Ingestão de dados com trabalho de cópia: um trabalho de cópia é o ponto de partida recomendado para ingestão de dados. Ele move dados em escala petabyte de centenas de fontes de dados para o seu Lakehouse, com suporte nativo para cópia baseada em captura de dados em massa, incremental e de mudança (CDC) - sem a necessidade de construir um pipeline.
• Transformação de dados: o Dataflow Gen2 fornece uma interface de baixo código para transformar seus dados com mais de 300 transformações. Você pode carregar resultados em vários destinos, como Banco de Dados SQL do Azure, Lakehouse e muito mais.
• Automação de ponta a ponta: Pipelines orquestram atividades, incluindo tarefa de cópia, fluxo de dados, notebook e mais. Encadear atividades em conjunto para serem executadas sequencialmente ou em paralelo. Monitore todo o fluxo de integração de dados em um só lugar.

Arquitetura do tutorial

Você explorará os três principais recursos ao concluir um cenário de integração de dados de ponta a ponta.

O cenário inclui três módulos:

1. Ingerir dados com uma tarefa de cópia: Crie uma tarefa de cópia independente para ingerir dados de exemplo em uma tabela bronze em um Lakehouse.
2. Transformar dados com um fluxo de dados: processe os dados brutos da tabela bronze e mova-os para uma tabela de ouro .
3. Orquestrar e automatizar com um pipeline: crie um pipeline para orquestrar o trabalho de Cópia e o fluxo de dados, enviar uma notificação por email e agendar todo o fluxo.

Este tutorial usa o conjunto de dados de exemplo NYC-Taxi . Ao concluir, você pode analisar descontos diários em tarifas de táxi por um período específico usando o Data Factory em Microsoft Fabric.

Próxima etapa