Kompleksowe scenariusze usługi Data Factory: wprowadzenie i architektura

Ten samouczek przeprowadzi Cię przez pełny scenariusz integracji danych w ciągu około godziny. Poznasz kluczowe możliwości usługi Data Factory w Microsoft Fabric i dowiesz się, jak zastosować je do typowych przepływów pracy danych.

Co będziesz tworzyć

Ten samouczek zawiera wprowadzenie i trzy moduły:

• Moduł 1: Pobieranie danych za pomocą zadania kopiowania: Stwórz samodzielne zadanie kopiowania, aby pobrać surowe dane z pamięci Blob do brązowego stołu w Lakehouse.
• Moduł 2: Przekształcanie danych za pomocą przepływu danych: Przetwarzaj nieprzetworzone dane z tabeli bronze i przenieś je do złotej tabeli w Lakehouse.
• Moduł 3: Orkiestracja i automatyzacja z pipeline: Stwórz pipeline do orkiestracji zadania kopiowania i przepływu danych, wyślij powiadomienie e-mail o zakończeniu zadań oraz zaplanuj cały przepływ.

Usługa Data Factory w usłudze Microsoft Fabric

Microsoft Fabric to ujednolicona platforma analityczna obejmująca przenoszenie danych, jeziora danych, inżynierię danych, integrację danych, naukę o danych, analizę w czasie rzeczywistym i analizę biznesową. Nie musisz łączyć usług od wielu dostawców.

Data Factory w Fabric łączy łatwość użycia Power Query ze skalą Azure Data Factory. Oferuje on niskokodowe przygotowywanie danych wspomagane sztuczną inteligencją, transformację w skali petabajtów oraz setki łączników z łącznością hybrydową i wielochmurową.

Kluczowe funkcje

Usługa Data Factory oferuje trzy podstawowe funkcje dla potrzeb integracji danych:

• Pozyskiwanie danych za pomocą zadania kopiowania: zadanie kopiowania jest zalecanym punktem wyjścia do pozyskiwania danych. Przenosi dane w skali petabajtów z setek źródeł danych do Twojego Lakehouse, z natywnym wsparciem dla kopiowania masowego, inkrementalnego oraz kopiowania opartego na przechwytywaniu zmian (CDC) – bez konieczności budowania pipeline'u.
• Przekształcanie danych: Dataflow Gen2 udostępnia niskokodowy interfejs do przekształcania danych z ponad 300 przekształceniami. Wyniki można załadować do wielu miejsc docelowych, takich jak Azure SQL Database, Lakehouse i nie tylko.
• Automatyzacja end-to-end: Pipeline’y organizują działania, w tym proces kopiowania, przepływy danych, notatniki i inne. Połącz działania, aby uruchamiać je sekwencyjnie i równolegle. Monitoruj cały przepływ integracji danych w jednym miejscu.

Architektura tutoriali

Zapoznasz się ze wszystkimi trzema kluczowymi funkcjami podczas wykonywania kompleksowego scenariusza integracji danych.

Scenariusz obejmuje trzy moduły:

1. Pozyskaj dane za pomocą zadania kopiowania: Utwórz samodzielne zadanie kopiowania, aby pozyskać przykładowe dane do tabeli bronze w Lakehouse.
2. Przekształcanie danych za pomocą przepływu danych: przetwarzanie nieprzetworzonych danych z tabeli z brązu i przenoszenie ich do złotej tabeli.
3. Organizowanie i automatyzowanie przy użyciu potoku: Utwórz potok, aby koordynować zadanie kopiowania i przepływ danych, wysłać powiadomienie e-mail i zaplanować cały przepływ.

W tym samouczku używany jest przykładowy zestaw danych NYC-Taxi. Po zakończeniu możesz analizować dzienne rabaty na taryfy taksówek przez określony okres przy użyciu usługi Data Factory w Microsoft Fabric.

Następny krok