Uaktualnij potoki Azure Data Factory z użyciem Mapping Data Flows do Fabric (Preview)

Skorzystaj z wbudowanego mechanizmu uaktualniania Azure Data Factory, aby uaktualnić kwalifikujące się potoki zawierające Mapping Data Flows do Microsoft Fabric Data Factory. Podczas aktualizacji obsługiwane przepływy danych mapowania są przekształcane w transformacje przepływu danych mapowania (MDF) w Dataflow Gen2, a powiązane potoki są aktualizowane do potoków Fabric.

Ten artykuł opisuje dodatkowe etapy walidacji, wykonania i monitorowania zaktualizowanych przekształceń MDF. Aby uzyskać przegląd pełnego procesu uaktualniania usługi Azure Data Factory, zobacz Zaktualizuj swoje potoki Azure Data Factory do Fabric Data Factory.

Wymagania wstępne

Przed rozpoczęciem uaktualniania upewnij się, że masz następujące elementy:

• Instancja Azure Data Factory z co najmniej jednym potokiem zawierającym Mapping Przepływ danych.
• Uprawnienie do dostępu do instancji Azure Data Factory i jej potoków.
• Dostęp do dzierżawcy z włączoną usługą Microsoft Fabric.
• Licencja Fabric. Jeśli jej nie masz, podczas wdrażania View in Fabric (Preview) pojawi się monit o zarejestrowanie bezpłatnej licencji, jeśli rejestracja samoobsługowa jest włączona dla Twojej dzierżawy.
• Dostęp do pojemności Fabric, takiej jak pojemność Trial.
• Uprawnienia współtwórcy lub wyższe do tworzenia i aktualizacji elementów w przestrzeni roboczej Fabric.
• Połączenia Fabric dla źródłowych i docelowych magazynów danych, które nie są automatycznie tworzone podczas aktualizacji.

Proces uaktualniania automatycznie tworzy obsługiwane połączenia Fabric, gdy konfiguracje uwierzytelniania Azure Data Factory mogą być bezpiecznie mapowane. W przypadku innych połączeń wybierz istniejące połączenie Fabric lub utwórz je przed rozpoczęciem aktualizacji.

Obsługiwane scenariusze uaktualniania

Wbudowany proces uaktualniania obsługuje kwalifikujące się potoki danych Azure Data Factory zawierające Mapping Data Flows. Podczas procesu modernizacji:

• Wybrane potoki danych Azure Data Factory są aktualizowane do potoków danych Fabric.
• Obsługiwane przepływy danych mapowania są przekształcane w transformacje MDF w Dataflow Gen2.
• Potoki danych i ich referencyjne Przepływy danych mapowania są aktualizowane razem.
• Obsługiwane usługi powiązane są mapowane na nowe lub istniejące połączenia Fabric.
• Oryginalne potoki Azure Data Factory i przepływy danych mapujących pozostają niezmienione.

Przed aktualizacją zapoznaj się z ograniczeniami transformacji MDF, obsługiwanymi konektorami, transformacjami, metodami uwierzytelniania oraz wymaganiami sieciowymi.

Zaktualizuj potoki zawierające przepływy danych mapujących

Rozpocznij aktualizację w Azure Data Factory poprzez View in Fabric (Preview). Wyświetlenie fabryki w Fabric nie ulepsza ani nie zmienia twoich pipeline'ów. Aktualizacja zaczyna się dopiero po przeglądzie gotowości, wybraniu potoków i wyraźnym wybraniu Start upgrade (Preview).

Krok 1: Wyświetl swój Azure Data Factory w Fabric

1. Otwórz swój portal Azure Data Factory.

2. Wybierz View in Fabric (Preview).

   

3. Jeśli korzystasz z tego doświadczenia po raz pierwszy, zapoznaj się i zaakceptuj regulamin, a następnie wybierz Spróbuj Fabric Data Factory.

   

4. Postępuj zgodnie z krokami wdrożenia, aby:

   • Zweryfikuj lub uzyskaj licencję Fabric.
   • Wybierz pojemność usługi Fabric.
   • Stwórz lub ponownie wykorzystaj przestrzeń roboczą Fabric powiązaną z twoim Azure Data Factory.
   • Wyświetl usługę Azure Data Factory jako element w obszarze roboczym.
   • Opcjonalnie można udostępnić dostęp do obszaru roboczego istniejącym użytkownikom i grupom Azure Data Factory.

   

Po skonfigurowaniu Twój Azure Data Factory jest widoczny w Fabric. Nie są przeprowadzane żadne uaktualnienia, a wykonywanie potoków i rozliczenia pozostają w Azure Data Factory.

Szczegółowe informacje dotyczące wdrażania znajdziesz w artykule Zaktualizuj swoje potoki Azure Data Factory do Fabric Data Factory.

Krok 2: Przygotowanie do recenzji

1. W elemencie Azure Data Factory w usłudze Fabric wybierz Oceń i uaktualnij.

   

2. Przejrzyj ocenę gotowości.

3. Zidentyfikuj potoki danych zawierające Mapowanie przepływów danych, które chcesz zaktualizować.

4. Przejrzyj wszystkie potoki sklasyfikowane jako Review i zajmij się nieobsługiwanymi lub częściowo obsługiwanymi funkcjami przed aktualizacją.

5. Wybierz odpowiednie pipeline, które chcesz zaktualizować.

Ocena jest tylko do odczytu i nie modyfikuje ani nie aktualizuje wybranych potoków przetwarzania.

Krok 3: Przejrzyj połączenia

1. Wybierz pozycję Przejrzyj połączenia.
2. Przejrzyj powiązane usługi Azure Data Factory używane przez wybrane potoki danych oraz Mapowanie przepływów danych.
3. Sprawdź połączenia utworzone automatycznie.
4. W przypadku połączeń, które nie zostały utworzone automatycznie, wybierz istniejące połączenie Fabric lub utwórz nowe połączenie.
5. Potwierdź, że każde wymagane źródło i miejsce docelowe są skojarzone z prawidłowym połączeniem Fabric.

Krok 4: Rozpocznij aktualizację

1. Przejrzyj wybrane potoki przetwarzania i mapowania połączeń.
2. Wybierz Rozpocznij uaktualnianie (Podgląd).
3. Poczekaj na ukończenie uaktualnienia.
4. Sprawdź status każdego ulepszonego elementu.

Podczas modernizacji:

• Wybrane potoki danych usługi Azure Data Factory są uaktualniane do potoków danych usługi Fabric.
• Wspierane przepływy danych mapowania, do których odwołują się wybrane potoki danych, są konwertowane na transformacje MDF w Dataflow Gen2.
• Potoki i ich przepływy danych mapowania są aktualizowane razem.
• Zaktualizowane elementy umieszczane są w folderze z prefiksem zawierającym nazwę źródłowej usługi Azure Data Factory.
• Źródłowe potoki Azure Data Factory oraz Mapowanie przepływów danych pozostają bez zmian.

Zweryfikuj zaktualizowane transformacje mapowania przepływu danych

Po zakończeniu aktualizacji otwórz wyniki aktualizacji lub folder zawierający zaktualizowane elementy i zweryfikowaj transformacje MDF przed uruchomieniem potoków.

Otwórz zaktualizowany element Dataflow Gen2

1. Otwórz ulepszony element Dataflow Gen2.

2. Przejrzyj zaktualizowaną logikę transformacji MDF.

3. Zweryfikuj graf transformacji.

   

Zapisz transformację przepływu danych mapowania po uaktualnieniu

1. Otwórz menu Zapisz i uruchom .

2. Wybierz opcję Zapisz.

   

Uruchom ulepszone potoki przetwarzania

Po walidacji uruchom zaktualizowany potok Fabric.

Konfigurowanie przebiegu potoku

1. Otwórz ulepszony pipeline Fabric.

2. Wybierz działanie Przepływ danych.

3. Przejrzyj wybrane zapytanie transformacji MDF.

4. W razie potrzeby skonfiguruj ustawienia środowiska uruchomieniowego platformy Spark.

   

Uruchom zmodernizowany pipeline

1. Zweryfikuj potok.

2. Sprawdź, czy wszystkie wymagane połączenia są zmapowane i uwierzytelnione.

3. Ponownie włącz wszystkie aktywności, które wyłączyłeś z powodu nieprzypisanych połączeń.

4. Uruchom pipeline ręcznie.

5. Porównaj wyniki z oryginalnym pipeline'em Azure Data Factory.

6. Po walidacji uruchom, skonfiguruj i ponownie włącz harmonogramy i wyzwalacze w razie potrzeby.

   

Zweryfikuj wyniki aktualizacji

Przed przejściem do produkcji zweryfikowaj zaktualizowane obciążenie w środowisku nieprodukcyjnym:

• Potwierdź, że zmapowałeś i uwierzytelniłeś wszystkie wymagane połączenia Fabric.
• Porównaj liczbę wierszy źródłowych i docelowych z oryginalnym uruchomieniem Azure Data Factory.
• Zweryfikować schemat, typy danych, obsługę wartości null oraz zachowanie dryfu schematu.
• Zweryfikuj wyrażenia i wyniki transformacji w mapowaniu Przepływ danych.
• Zweryfikuj zachowanie insert, update, upsert i delete.
• Weryfikować parametry i dynamiczną treść.
• Potwierdź zachowanie idempotentne podczas ponownego uruchamiania potoków.
• Przejrzyj obsługę błędów i monitorowanie.
• Porównaj zachowanie podczas działania i wydajność bez założenia identycznego czasu działania.
• Włącz ponownie i skonfiguruj wyzwalacze dopiero po zakończeniu walidacji end-to-end.

Oryginalne potoki Azure Data Factory oraz funkcja Mapowanie przepływów danych pozostają dostępne do walidacji równoległej.

Monitorowanie wykonań zaktualizowanych przekształceń mapujących przepływu danych

Możesz monitorować wykonanie zaktualizowanego potoku i transformacji MDF poprzez:

• Panel danych wyjściowych potoku
• Centrum monitorowania
• Przebiegi działań
• Szczegóły wykonywania działania przepływu danych

Aby przejrzeć szczegóły wykonania:

1. Otwórz szczegóły przebiegu potoku.

2. Wybierz działanie Przepływ danych w obszarze Uruchomienia działań.

3. Przejrzyj stan wykonywania i szczegóły środowiska uruchomieniowego.

   

   

Ograniczenia

Ogólne ograniczenia aktualizacji Azure Data Factory dotyczą również potoków zawierających Mapping Data Flows. Przed wyborem pipeline’ów do aktualizacji zapoznaj się z znanymi ograniczeniami.

Obecnie obowiązują następujące ograniczenia dotyczące transformacji MDF podczas publicznego podglądu:

Treści powiązane

• Zaktualizuj swoje potoki Azure Data Factory do Fabric Data Factory
• Przepływ danych mapowania w usłudze Dataflow Gen2 (wersja zapoznawcza)
• Planowanie aktualizacji Azure Data Factory do Fabric Data Factory
• Uaktualnianie najlepszych praktyk z Azure Data Factory do Fabric Data Factory
• Cennik przepływu danych Gen2