Aktualizacja najlepszych praktyk dla Azure Data Factory do Fabric Data Factory

Ten artykuł przedstawia najlepsze praktyki na poziomie implementacyjnym dla każdego komponentu aktualizacji Azure Data Factory (ADF) do Fabric Data Factory: połączenia, środowiska uruchomienia integracji, działania, przepływy danych, parametry globalne oraz narzędzia. Informacje na temat planowania aktualizacji na wysokim poziomie, w tym wyboru ścieżki aktualizacji i ustalania priorytetów potoków, można znaleźć w artykule Zaplanuj aktualizację z usługi Azure Data Factory do platformy Fabric.

Rozważania przed aktualizacją

Przed aktualizacją oceń, co warto wykorzystać, przetłumaczyć lub przeprojektować. Wykonaj następujące kroki, aby zapewnić płynne przejście:

  1. Identyfikowanie wzorców uwierzytelniania, takich jak tożsamość zarządzana lub uwierzytelnianie oparte na kluczach.
  2. Przejrzyj wymagania dotyczące sieci, w tym prywatne punkty końcowe i bramy.
  3. Mapowanie harmonogramów i semantyki wyzwalaczy oraz dostosowywanie ustawień monitorowania i alarmów.
  4. Porównaj cechy ADF z odpowiednikami w Fabric. W przypadku potoków zawierających Mapping Data Flows oceń, czy można je zaktualizować do transformacji MDF w Dataflow Gen2 oraz zidentyfikuj wszelkie nieobsługiwane konektory, transformacje, metody uwierzytelniania, konfiguracje sieciowe lub inne ograniczenia podglądowe. Zwróć też uwagę na luki w możliwościach takich jak SSIS.
  5. Zdefiniuj niefunkcjonalne cele, takie jak umowy SLA, przepływność, limity kosztów i możliwość obserwowania.
  6. Utwórz scenariusz testowy z przykładowymi zbiorami danych i oczekiwanymi wynikami, aby obiektywnie porównać przebiegi ADF i Fabric.
  7. Zaplanuj rotację sekretów, konwencje nazewnicze i taksonomię przestrzeni roboczej, aby migracja usprawniła — a nie tylko powieliła — obecną strategię integracji danych.

Etapowe podejście z równoległymi planami weryfikacji i wycofywania minimalizuje ryzyko przy jednoczesnym umożliwieniu szybszego wykonywania, scentralizowanego monitorowania i głębszej integracji z usługą Microsoft Fabric.

W przypadku dużych migracji rozważ współpracę z certyfikowanymi partnerami firmy Microsoft lub zespołem kont Microsoft, aby uzyskać wskazówki.

Najlepsze praktyki dotyczące migrowania usług połączonych i zestawów danych ADF do połączeń w usłudze Fabric

W Azure Data Factory (ADF) połączone usługi i zestawy danych definiują połączenia i struktury danych. W Fabricu odnoszą się do łączników i ustawień aktywności, ze szczególnym naciskiem na ponowne użycie na poziomie obszaru roboczego i tożsamość zarządzaną. Poniżej przedstawiono sposób dostosowywania zasobów usługi ADF:

  1. Przejrzyj ciągłość łącznika między usługą Azure Data Factory a Fabric, aby potwierdzić obsługę źródeł danych i odbiorników.
  2. Konsolidacja nadmiarowych połączeń w celu usprawnienia zarządzania.
  3. Wdrażanie tożsamości zarządzanej na potrzeby bezpiecznego i spójnego uwierzytelniania.
  4. Standaryzacja parametryzacji folderów i tabel przy użyciu czystych konwencji nazewnictwa, na przykład: conn-sql-warehouse-sales lub ds-lh-raw-orders.

Aby zapewnić spójność i skalowalność, w pełni udokumentować każde źródło i miejsce docelowe za pomocą:

  • Owners
  • Poziomy czułości
  • Ustawienia ponawiania prób

Ta dokumentacja ułatwia standaryzację operacji w potokach i poprawę zarządzania.

Integracja Runtime i OPDG, brama sieci wirtualnej

Azure Data Factory (ADF) używa Integration Runtimes (IRs) do definiowania zasobów obliczeniowych na potrzeby przetwarzania danych. Są one następujące:

  • Usługa Cloud IRs dla zasobów obliczeniowych hostowanych na platformie Azure.
  • Self-hosted IRs (SHIRs) dla lokalnych lub prywatnych źródeł sieciowych.
  • SSIS IRs dla usług SQL Server Integration Services.
  • IR z obsługą VNet na potrzeby bezpiecznej łączności sieciowej.

W Fabric, opcje te są mapowane jako wykonywanie chmurowe, On-premises Data Gateway (OPDG) i Brama danych sieci wirtualnej. Poniżej przedstawiono sposób planowania migracji:

  1. Zidentyfikuj potoki, które korzystają z jednostek SHIR, i zaplanuj mapowanie bramy i ustalanie rozmiaru przepływności.
  2. Zweryfikuj system DNS, ruch wychodzący, reguły zapory i uwierzytelnianie dla każdego łącznika.
  3. Przećwicz scenariusze awaryjnego przełączania, aby zapewnić niezawodność.
  4. Jeśli to możliwe, przeprowadź migrację do prywatnych punktów końcowych lub bram danych sieci wirtualnej, aby uprościć przeglądy zabezpieczeń i zmniejszyć nakład pracy operacyjnej.

Fabric upraszcza zarządzanie obliczeniami, wykorzystując zasoby oparte na chmurze w ramach pojemności Fabric. SSIS IRs nie są dostępne w Fabric. W przypadku łączności lokalnej użyj lokalnej bramy danych (OPDG). Aby zapewnić bezpieczną łączność sieciową, użyj bramy danych sieci wirtualnej.

Podczas migracji:

  • Publiczne usługi IR Azure nie wymagają przenoszenia.
  • Utwórz ponownie shiRs jako OPDGs.
  • Zastąp Azure IR włączone do VNet bramami danych sieci wirtualnych.

Najlepsze praktyki dotyczące migrowania działań potoku ADF do platformy Fabric

Wszystkie podstawowe działania w usłudze Azure Data Factory (ADF), takie jak kopiowanie, wyszukiwanie, procedura składowana/skrypt SQL, sieć Web i przepływ sterowania, mają bezpośrednie odpowiedniki w Fabric. Istnieją jednak pewne różnice w właściwościach, składni wyrażenia i limitach. Podczas migracji zapoznaj się z następującymi tematami:

  • Zasady ponawiania prób i limity czasowe.
  • Ustawienia stronicowania dla źródeł REST.
  • Konfiguracje kopii binarnych i tabelarycznych.
  • Wzorce foreach i filtrów.
  • Zmienne systemowe używane w zawartości dynamicznej.

Fabric często udostępnia bardziej natywne opcje dla niektórych zadań. Na przykład użyj skryptu SQL w hurtowni danych zamiast ogólnego wywołania procedury składowanej, aby lepiej śledzić pochodzenie i monitorować dane. Aby usprawnić migrację, zcentralizuj typowe wyrażenia, takie jak ścieżki, daty i identyfikatory URI specyficzne dla najemców, do parametrów strumienia. Zmniejsza to dryf i przyspiesza testowanie.

Aby uzyskać więcej informacji, zobacz Ciągłość działań między Azure Data Factory a Fabric.

Najlepsze praktyki uaktualniania przepływów danych mapowania

Wbudowany proces aktualizacji obsługuje odpowiednie potoki Azure Data Factory i Azure Synapse Analytics zawierające przepływy danych mapowania. Obsługiwane przepływy danych mapowania są aktualizowane do transformacji Mapping Przepływ danych (MDF) w generacji 2 Dataflow, zachowując logikę transformacji oraz model wykonawczy oparty na Spark. Ta funkcja jest obecnie dostępna w wersji zapoznawczej.

Przed aktualizacją zapoznaj się z obsługiwanymi złączami, transformacjami, metodami uwierzytelniania, wymaganiami sieciowymi oraz aktualnymi ograniczeniami. Obecne ograniczenia podglądu obejmują flowlety, Przepływ danych Library, funkcje definiowane przez użytkownika, łączność Managed Virtual Network oraz bezpośrednie wykonywanie Dataflow Gen2.

W przypadku mapowania przepływów danych wykorzystujących nieobsługiwane funkcje, rozważ przeprojektowanie transformacji poprzez użycie:

  • Power Query w Dataflow Gen2 do zarządzanego, niskokodowego przygotowania danych i transformacji zestawów wierszy.
  • Fabric Warehouse SQL do operacji ELT opartych na zbiorach.
  • notesniki Spark do niestandardowego kodu Spark i zaawansowanych transformacji.
  • Fabric pipeline lub inne elementy Fabric, gdy zapewniają bardziej odpowiednią implementację.

Po aktualizacji zweryfikować połączenia, parametry, wyniki transformacji, schemat, liczbę wierszy, zachowanie przy ponownym uruchomieniu, monitorowanie i wydajność przed przejściem do produkcji. Wymagania i instrukcje krok po kroku znajdziesz w Upgrade Azure Data Factory Mapping Przepływ danych pipelines to Fabric.

Parametry globalne w Azure Data Factory

Fabric używa przestrzeni roboczej poziomu Variable Libraries do definiowania stałych w elementach Fabric. Podczas migracji do usługi Microsoft Fabric Data Factory należy zamienić globalne parametry Azure Data Factory na biblioteki zmiennych.

Aby uzyskać pełne wskazówki dotyczące konwersji, zobacz Konwertowanie parametrów globalnych ADF na biblioteki zmiennych Fabric.

Oferty partnerów witryny Azure Marketplace

Zaufani partnerzy migracji, podobnie jak Bitwise Global, udostępniają narzędzia ułatwiające migrację. Te narzędzia mogą wykonywać następujące czynności:

  • Przeskanuj środowisko usługi Azure Data Factory (ADF).
  • Generowanie docelowych artefaktów Fabric.
  • Przeprowadź analizę wpływu i śledzenie pochodzenia.
  • Tworzenie planów testów automatycznych.

Te rozwiązania są szczególnie przydatne, jeśli masz:

  • Setki rurociągów.
  • Różne łączniki.
  • Ścisłe wymagania dotyczące przestojów.

Narzędzia partnerskie standaryzują reguły mapowania, generują raporty konwersji i uruchamiają równoległe testy walidacji. Dzięki temu można porównać liczby wierszy, sumy kontrolne i wydajność między starymi i nowymi środowiskami. Nawet jeśli nie używasz partnera do całej migracji, ich moduły odnajdywania i oceny mogą pomóc w rozpoczęciu wewnętrznego planowania i zmniejszeniu niepewności.

Używanie narzędzi Copilot i sztucznej inteligencji w celu przyspieszenia migracji ZDF na Fabric

Duże modele językowe (LLM), takie jak Microsoft Copilot, ChatGPT i Claude, mogą przyspieszyć zadania migracji. Te narzędzia są przydatne w następujących celach:

  • Refaktoryzacja wyrażeń.
  • Konwertowanie kodu JSON Azure Data Factory (ADF) na składnię Fabric.
  • Pisanie instrukcji MERGE.
  • Generowanie szablonów połączeń.
  • Tworzenie skryptów walidacji.

Wykorzystaj je do tworzenia dokumentacji, takiej jak podręczniki bieżące, słowniki danych czy listy kontrolne do aktualizacji, aby inżynierowie i operatorzy pozostali na jednej linii. Jednak zachowaj te narzędzia na bieżąco, ale nie na czele:

  • Unikaj wklejania poufnych informacji do narzędzi sztucznej inteligencji.
  • Zweryfikuj wszystkie elementy w środowisku projektowym.
  • Użyj testów automatycznych, takich jak zliczanie wierszy, porównania schematów i sprawdzanie reguł biznesowych, aby wykrywać subtelne problemy, takie jak niezgodność typów lub parsowanie dat zależne od ustawień regionalnych.

Aby uzyskać więcej informacji, zobacz Use Copilot in Data Factory and AI in Microsoft Fabric (Używanie narzędzia Copilot w usłudze Data Factory i sztucznej inteligencji w usłudze Microsoft Fabric).

Ścieżki aktualizacji

Szczegółowe wskazówki dotyczące opcji ścieżek aktualizacji (w tym montowania elementów ADF dla ciągłości, korzystania z wbudowanego doświadczenia ulepszeń, konwersji PowerShell oraz strategii zmiany platformy) można znaleźć w sekcji Ścieżki aktualizacji w przewodniku planowania ulepszeń.

Treści powiązane

  • Ostatnia aktualizacja o