Migrowanie z usługi Dataflow Gen1 do usługi Dataflow Gen2

Ten artykuł dotyczy twórców przepływów danych usługi Power BI. Udostępnia on wskazówki i uzasadnienie, aby ułatwić migrowanie przepływów danych do usługi Dataflow Gen2 w usłudze Data Factory dla usługi Microsoft Fabric.

Notatka

Power BI Dataflow Gen1 jest obecnie w stanie przestarzałym i nie są już rozwijane dla niego nowe funkcje. Dla klientów w warstwie Premium z dostępem do Fabric zalecany jest przepływ danych Gen2, oferujący ulepszenia w zakresie wydajności, skalowania, niezawodności, funkcjonalności oraz wbudowanej sztucznej inteligencji. Klienci Pro i PPU mogą nadal korzystać z Gen1, ponieważ wytyczne Gen2 dla tych scenariuszy się rozwijają.

Tło

Usługa Microsoft Fabric przekształciła się w zintegrowaną platformę zarówno na potrzeby samoobsługowych, jak i zarządzanych przez IT danych przedsiębiorstwa. Wraz ze wzrostem wykładniczym ilości i złożoności danych klienci Fabric domagają się, aby ich rozwiązania dla przedsiębiorstw były skalowalne, bezpieczne, łatwe w zarządzaniu i dostępne dla wszystkich użytkowników w największych organizacjach.

W ostatnich latach firma Microsoft poczyniła duże postępy w dostarczaniu skalowalnych funkcji chmurowych w zakresie pojemności usługi Fabric. W tym celu Data Factory w Fabric natychmiast umożliwia działanie dużego ekosystemu deweloperów integracji danych i rozwiązań do integracji danych, które były budowane przez dziesięciolecia. Stosuje on pełny zestaw funkcji i możliwości, które wykraczają daleko poza porównywalną funkcjonalność dostępną w poprzednich generacjach.

Oczywiście klienci pytają teraz, czy istnieje możliwość skonsolidowania rozwiązań integracji danych przez hostowanie ich w usłudze Fabric. Często zadają pytania, takie jak:

  • Czy funkcyjności przepływu danych, na których polegamy, działają w usłudze Dataflow Gen2?
  • Jakie możliwości są dostępne tylko w usłudze Dataflow Gen2?
  • Jak przeprowadzić migrację istniejących przepływów danych do usługi Dataflow Gen2?
  • Co to jest plan firmy Microsoft dotyczący pozyskiwania danych przedsiębiorstwa?

Odpowiedzi na wiele z tych pytań zostały opisane w tym artykule.

Zbieżność integracji danych samoobsługowej i przedsiębiorstwa

Konsolidacja elementów w usłudze Fabric upraszcza odnajdywanie, współpracę i zarządzanie przez umieszczenie zasobów w jednym miejscu. Dzięki niej centralne zespoły IT mogą łatwiej wdrażać i integrować popularne elementy samoobsługi. Jednocześnie umożliwia operacjonalizacja usług przenoszenia i przekształcania danych o znaczeniu krytycznym, dostosowanych do standardów firmy, w tym pochodzenia danych i monitorowania.

Aby zapewnić obsługę współpracy i skalowalnych potrzeb twórców, usługa Dataflow Gen2 w Fabric wprowadza szybkie kopiowanie, co umożliwia wydajne pozyskiwanie dużych ilości danych przy użyciu infrastruktury zaplecza Fabric w celu przechowywania i przetwarzania danych pośrednich podczas transformacji. Może bezproblemowo obsługiwać terabajty danych. Twórcy przepływów danych mogą określić miejsca docelowe dla swoich przekształconych danych, takie jak Fabric lakehouse, magazyn, eventhouse lub Azure SQL Database, co ułatwia lepsze zarządzanie danymi i ich dostępność. Co więcej, najnowsza integracja generowania sztucznej inteligencji za pośrednictwem Copilot rozszerza środowisko przygotowywania danych, zapewniając inteligentne generowanie kodu i automatyzowanie powtarzających się zadań, zapewniając prostą i szybszą ścieżkę do tworzenia złożonych rozwiązań.

Korzystając ze wspólnej platformy, przepływ pracy jest usprawniony, co pozwala zwiększyć współpracę między firmą a it. W związku z tym organizacje mogą skalować swoje rozwiązania danych na poziomy przedsiębiorstwa, zapewniając wysoką wydajność, elastyczność i wydajność w zarządzaniu ogromnymi ilościami danych.

Pojemność sieci szkieletowej

Ze względu na architekturę rozproszoną, pojemność Fabric jest mniej wrażliwa na ogólne obciążenie, skoki czasowe i wysoką współbieżność. Konsolidując pojemności do większych jednostek SKU pojemności Fabric, klienci mogą osiągnąć zwiększoną wydajność i przepustowość.

Porównanie funkcji

W poniższej tabeli przedstawiono funkcje obsługiwane w przepływie danych usługi Power BI i/lub w usłudze Fabric Dataflow Gen2.

Funkcja Przepływ danych Power BI Gen1 Przepływ danych Fabric Gen2
Łączność
Obsługa wszystkich źródeł danych Power Query Tak Tak
Nawiązywanie połączenia z przepływami danych i ładowanie danych z nich w programie Power BI Desktop, programie Excel lub usłudze Power Apps. Tak Tak
DirectQuery przez przepływy danych połączenie bezpośrednie z przepływem danych, pomijając import danych do modelu semantycznego Tak Brak 1
skalowalność
Szybkie kopiowanie, które obsługuje pozyskiwanie danych na dużą skalę, przy użyciu działania kopiowania potoku w przepływach danych Nie Tak
zaplanowane odświeżanie, które utrzymuje dane w aktualnym stanie Tak Tak
odświeżanie przyrostowe, które używa polityk do automatyzowania przyrostowego ładowania danych i może wspomóc dostarczanie raportów niemal w czasie rzeczywistym Tak Tak
Orkiestracja potoku, która umożliwia dodawanie aktywności przepływu danych do potoku i tworzenie orkiestracjonowanych zdarzeń warunkowych Nie Tak
sztuczna inteligencja
Copilot for Data Factory, która zapewnia inteligentne generowanie kodu w celu łatwego przekształcania danych i generuje wyjaśnienia kodu, aby lepiej zrozumieć złożone zadania Nie Tak
Cognitive Services, które używają sztucznej inteligencji (AI) do stosowania różnych algorytmów z usług Azure Cognitive Services w celu ulepszania przygotowania danych samoobsługowych Tak Tak 2
Zautomatyzowane uczenie maszynowe (AutoML), które umożliwia analitykom biznesowym trenowanie, weryfikowanie i wywoływanie modeli uczenia maszynowego (ML) bezpośrednio w systemie Fabric Przestarzałe 3
integracji z Azure Machine Learning, która udostępnia niestandardowe modele jako dynamiczne funkcje Power Query, które użytkownicy mogą wywoływać w edytorze Power Query Tak Tak 2
zarządzanie zawartością
widok pochodzenia danych, który pomaga użytkownikom zrozumieć i ocenić zależności elementów przepływu danych Tak Tak
potoki wdrażania, które zarządzają cyklem życia zawartości Fabric Tak Tak
Skalowalność i odporność platformy
Architektura pojemności Premium, która obsługuje zwiększoną skalę i wydajność Tak Tak
obsługa Multi-Geo, która pomaga klientom wielonarodowym spełniać wymagania dotyczące rezydencji danych regionalnych, branżowych lub organizacyjnych. Tak 4 Tak
Bezpieczeństwo
brama danych sieci wirtualnej (VNet), która umożliwia bezproblemowe działanie Fabric w wirtualnej sieci organizacji Nie Tak
Brama danych lokalnych łączność, która umożliwia bezpieczny dostęp do danych między lokalnymi źródłami danych a systemem Fabric organizacji Tak Tak
Obsługa tagów usługi Azure i, będącej zdefiniowaną grupą adresów IP, która jest automatycznie zarządzana w celu zminimalizowania złożoności aktualizacji lub zmian reguł zabezpieczeń sieci. Tak Tak
Zarządzanie
poparcie, aby promować lub certyfikować cenne, wysokiej jakości artykuły z tkanin. Tak Tak
Etykiety wrażliwości usługi Microsoft Information Protection (MIP) i integracja z usługą Microsoft Defender for Cloud Apps na potrzeby ochrony przed utratą danych (DLP) Tak Tak
monitorowanie i rejestrowanie diagnostyczne
Ulepszona historia odświeżania , która pozwala na szczegółową ocenę tego, co wydarzyło się podczas odświeżania przepływu danych. Nie Tak
centrum monitorowania, które zapewnia możliwości monitorowania elementów Fabric Nie Tak
aplikacja Microsoft Fabric Capacity Metrics, która zapewnia możliwości monitorowania pojemności Fabric Tak Tak
dziennik inspekcji, który śledzi działania użytkowników na platformie Fabric i w rozwiązaniu Microsoft 365 Tak Tak

1 Zaleca się używanie miejsc docelowych danych i łączenie się bezpośrednio z tabelami wyjściowymi, zobacz ten artykuł.

2 Aby dowiedzieć się, jak dodać kolumnę AI Prompt w przepływach danych Gen2 (CI/CD), zobacz Monit dotyczący sztucznej inteligencji w Fabric Dataflow Gen2 (wersja zapoznawcza).

3 Zautomatyzowane uczenie maszynowe (AutoML) zostało uznane za przestarzałe. Aby uzyskać więcej informacji, zapoznaj się z tym oficjalnym ogłoszeniem.

4 Aby skonfigurować magazyn przepływu danych usługi Power BI do korzystania z usługi Azure Data Lake Storage (ADLS) Gen2, zapoznaj się z tym artykułem.

Zagadnienia dotyczące

Przed migracją do usługi Dataflow Gen2 należy wziąć pod uwagę inne kwestie.

Licencjonowania

Do publikowania przepływów danych (Dataflow Gen1) w usłudze Power BI lub zarządzania nimi wymagana jest licencja Pro lub Premium na użytkownika (PPU). Z kolei w obszarze roboczym pojemności Premium wymagana jest tylko licencja usługi Microsoft Fabric (wersja bezpłatna) na tworzenie przepływu danych Gen2.

Usługa Dataflow Gen1 pozostaje obsługiwana, ale jest teraz w stanie przestarzałym i nie otrzyma nowych inwestycji w funkcje. Istniejące obciążenia mogą nadal działać podczas planowania przejścia do usługi Dataflow Gen2.

  • Klienci Premium z dostępem do Fabric: Rekomendowaną ścieżką jest Dataflow Gen2, która oferuje ulepszenia w zakresie wydajności, skalowalności, niezawodności, funkcjonalności oraz wbudowanej sztucznej inteligencji. Wiele zespołów uważa, że warto zacząć od oceny gen2 pod kątem nowych lub zmieniających się obciążeń, w których te korzyści można szybko zrealizować.
  • Klienci Pro i Premium Per User (PPU): Usługa Dataflow Gen1 pozostaje wspieraną opcją, która najlepiej odpowiada na bieżące potrzeby. Gdy nowe ścieżki gen2 przepływu danych dla scenariuszy Pro/PPU staną się dostępne, udostępnimy jasne wskazówki i zalecane kroki, aby ułatwić bezproblemowe przejście.

Scenariusze migracji

Podczas migracji przepływów danych ważne jest, aby poza kopiowaniem istniejących rozwiązań po prostu myśleć. Zamiast tego zalecamy modernizację rozwiązań dzięki wykorzystaniu najnowszych innowacji i możliwości usługi Dataflow Gen2. Takie podejście zapewnia, że twoje rozwiązania mogą obsługiwać rosnące wymagania firmy.

W artykule Scenariusze migracji opisano kilka metod uaktualniania, tworzenia spisu i używania akceleratorów, takich jak szablony Power Query. Te metody mogą pomóc w zapewnieniu bezproblemowego uaktualniania projektów.

Jeśli chcesz uaktualnić elementy Dataflow Gen1 na miejscu, zachowując identyfikator, nazwę, harmonogram i połączenia każdego przepływu danych, użyj Dataflows Upgrade Wizard, który jest obecnie dostępny w wersji zapoznawczej.

Harmonogram działania

Plan wydania Microsoft Fabric ogłasza najnowsze aktualizacje oraz harmonogramy, ponieważ funkcje są przygotowywane do przyszłego wydania, w tym nowości i plany dotyczące Data Factory w Microsoft Fabric.

Powiązana zawartość

Aby uzyskać więcej informacji na temat tego artykułu, zapoznaj się z następującymi zasobami:

  • Ostatnia aktualizacja o