Co to jest usługa Data Factory w usłudze Microsoft Fabric?

Usługa Data Factory w usłudze Microsoft Fabric ułatwia rozwiązywanie jednego z najtrudniejszych wyzwań biznesowych: przekształcanie rozproszonych danych w przydatne szczegółowe informacje.

Dane organizacji są przechowywane w wielu różnych miejscach: bazy danych, pliki, usługi w chmurze i starsze systemy. Ta różnorodność utrudnia uzyskanie pełnego obrazu Twojej firmy. Usługa Data Factory łączy się z ponad 170 źródłami danych, w tym środowiskami wielochmurowymi i konfiguracjami hybrydowymi z bramami lokalnymi. Ułatwia ona przenoszenie i przekształcanie danych na dużą skalę, przekształcając je w formaty, które dobrze sprawdzają się w analizie i podejmowaniu decyzji.

Niezależnie od tego, czy jesteś użytkownikiem biznesowym budującym swoją pierwszą strategię analityki danych, czy programistą tworzącym złożone ścieżki pracy, znajdziesz odpowiednie narzędzia do:

• Łączenie danych
• Wyczyść to
• Przygotuj do analizy w Lakehouse lub Data Warehouse
• Automatyzowanie przepływów pracy danych

Co to jest integracja danych?

Integracja danych to proces łączenia danych strategicznych, dzięki czemu można uzyskiwać do niego dostęp i analizować je. Jest to kluczowa część każdej firmy, która chce podejmować decyzje oparte na danych.

Istnieje wiele sposobów integrowania danych, ale jedną z najczęstszych strategii jest ETL. ETL oznacza wyodrębnianie, przekształcanie, ładowanie. Pobiera informacje z wielu różnych źródeł, przekształca je w format, który można analizować, i ładuje je do wspólnego systemu docelowego na potrzeby analizy lub raportowania. Implementowanie procesu ETL na platformie danych firmy zwiększa spójność danych, jakość i dostępność.

Oto co robi każda faza:

• Wyodrębnianie: odczytuje dane ze źródeł i przenosi je do centralnego miejsca przechowywania. Źródła mogą być bazami danych, plikami, interfejsami API, witrynami internetowymi i nie tylko.
• Przekształcanie: czyści, wzbogaca i przekształca dane w format, który jest łatwy do przeanalizowania. Na przykład możesz porównać dane sprzedaży z bazy danych SQL z zeskanowanymi, historycznymi dokumentami sprzedaży. Po wyodrębnieniu danych należy przekształcić dane z każdego źródła, aby był w tym samym formacie, sprawdzić uszkodzenia lub duplikaty i połączyć dane w jeden zestaw danych.
• Ładowanie: zapisuje przekształcone dane w systemie docelowym, takim jak magazyn danych lub magazyn danych typu data lake. System docelowy umożliwia uruchamianie zapytań i raportów dotyczących danych.

ETL lub ELT?

Kiedy pracujesz z danymi, sposób działania i transformacji ma znaczenie, a każda organizacja ma inne potrzeby. Na przykład rozważmy ETL (Extract, Transform, Load) oraz ELT (Extract, Load, Transform). Każda metoda ma swoje mocne strony, zależnie od Twoich potrzeb dotyczących wydajności, skalowalności i kosztów.

ETL: Przekształć dane przed załadowaniem ich do miejsca docelowego. Ta metoda sprawdza się dobrze, gdy trzeba oczyszczać, standaryzować lub wzbogacać dane w trakcie ich przenoszenia. Na przykład użyj Dataflow Gen2 w usłudze Data Factory, aby stosować transformacje na dużą skalę przed załadowaniem danych do hurtowni danych lub Lakehouse.

ELT: Najpierw załaduj dane w ich surowej postaci, a następnie przekształć je tam, gdzie są przechowywane. Takie podejście wykorzystuje możliwości aparatów analitycznych, takich jak OneLake, Spark Notebooks lub narzędzia oparte na języku SQL. ELT dobrze sprawdza się w przypadku obsługi dużych zestawów danych z nowoczesnymi obliczeniami w skali chmury.

Usługa Fabric Data Factory obsługuje obie te elementy. Masz następujące możliwości:

• Tworzenie klasycznych potoków ETL w celu uzyskania natychmiastowej jakości i gotowości danych
• Wykorzystaj przepływy pracy ELT do korzystania ze zintegrowanych obliczeń i magazynowania do przekształceń na dużą skalę.
• Łączenie obu podejść w tym samym rozwiązaniu w celu zapewnienia elastyczności

Usługa Data Factory to zaawansowane rozwiązanie do integracji danych

Usługa Data Factory łączy się z danymi, przenosi je, przekształca i organizuje zadania przenoszenia i przekształcania danych z jednego miejsca. Decydujesz, jaka strategia działa najlepiej dla Twojej firmy, a usługa Data Factory udostępnia narzędzia do wykonania.

Połącz się z danymi: niezależnie od tego, czy jest to środowisko lokalne, w chmurze, czy w środowiskach wielochmurowych, usługa Data Factory łączy się ze źródłami danych i lokalizacjami docelowymi. Obsługuje ona szeroką gamę źródeł danych, w tym baz danych, magazynów danych, systemów plików, interfejsów API i nie tylko. Zobacz dostępne łączniki , aby uzyskać pełną listę obsługiwanych źródeł danych i miejsc docelowych.

Przenoszenie danych: usługa Data Factory udostępnia kilka metod przenoszenia danych ze źródła do miejsca docelowego lub zapewnia łatwy dostęp do istniejących danych w zależności od potrzeb.

• Zadanie kopiowania — preferowane rozwiązanie do uproszczonego przenoszenia danych z natywną obsługą wielu stylów dostarczania, w tym kopiowania zbiorczego, kopiowania przyrostowego i replikacji przechwytywania zmian danych (CDC). Oferuje także elastyczność w obsłudze szerokiego zakresu scenariuszy – od wielu źródeł po różne miejsca — wszystko to dzięki intuicyjnemu, łatwemu w użyciu doświadczeniu.
• Działanie kopiowania — przenosi dane z jednego miejsca do innego na dowolną skalę, z rozbudowanym dostosowywaniem, obsługą szerokiego zakresu źródeł i miejsc docelowych oraz ręczną kontrolą kopiowania równoległego w celu zwiększenia wydajności.
• Mirroring — utwórz niemal w czasie rzeczywistym replikę operacyjnej bazy danych w ramach OneLake w Microsoft Fabric, aby ułatwić analizę i raportowanie.

Zapoznaj się z przewodnikiem po decyzjach dotyczących przenoszenia danych , aby ułatwić wybór odpowiedniej metody przenoszenia danych dla danego scenariusza.

Przekształcanie: usługa Data Factory udostępnia działania umożliwiające połączenie z niestandardowymi skryptami przekształcania lub zaawansowanym projektantem przepływów danych.

• Operacje przepływu danych — notebook platformy Fabric, działanie HDInsight, definicja zadania Spark, procedura zapisana, skrypty SQL i inne. Te działania umożliwiają uruchamianie niestandardowego kodu lub skryptów w celu przekształcenia danych.
• Dataflow Gen2 — przekształcanie danych przy użyciu interfejsu z małą ilością kodu z ponad 300 przekształceniami. Można wykonywać sprzężenia, agregacje, czyszczenie danych, przekształcenia niestandardowe i wiele innych.
• zadanie dbt — zadanie dbt w usłudze Microsoft Fabric umożliwia przekształcanie danych oparte na języku SQL bezpośrednio w usłudze Fabric. Zapewniają one prostą konfigurację bez kodu do tworzenia, testowania i wdrażania modeli dbt w ramach infrastruktury Twojego magazynu danych Fabric.

Orkiestracja: usługa Data Factory umożliwia tworzenie potoków, które mogą uruchamiać wiele przepływów danych, przekształceń i innych działań w jednym przepływie pracy.

• Zaplanuj uruchamianie potoków w określonych godzinach lub wyzwalanie ich na podstawie zdarzeń.
• Potoki mogą obejmować logikę sterowania przepływem, taką jak pętle i instrukcje warunkowe, aby obsługiwać złożone przepływy pracy i koordynować cały proces przetwarzania danych, używając prostego interfejsu projektanta potoków low-code.
• Jeśli wolisz wyrażać procesy aranżacji w kodzie, usługa Fabric Data Factory integruje się z platformą Apache Airflow w celu utworzenia grup DAG na potrzeby orkiestracji przy użyciu języka Python.

Integracja danych oparta na AI

AI pojawia się w Data Factory, by pomóc ci zrobić więcej przy mniejszym wysiłku. Copilot dla Data Factory pozwala projektować, edytować i zarządzać potokami oraz przepływami danych za pomocą języka naturalnego. Możesz wpisać zwyczajne angielskie polecenia, a Copilot przekształci je w działające kroki ETL.

Copilot podsumowuje również istniejące zapytania i potoki przepływu danych, dzięki czemu możesz szybko zrozumieć, co robią. Jeśli wystąpią błędy, Copilot wyjaśnia, co poszło nie tak i sugeruje sposoby jego naprawy.

Aby uzyskać szczegółowe informacje, zobacz Copilot in Fabric w obciążeniu usługi Data Factory.

Czego potrzebujesz, aby zacząć?

• Konto dzierżawcy usługi Microsoft Fabric z aktywną subskrypcją. Jeśli go nie masz, możesz utworzyć bezpłatne konto.
• Obszar roboczy z włączoną usługą Microsoft Fabric. Dowiedz się, jak utworzyć obszar roboczy.

Co zrobić, jeśli używasz już Azure Data Factory?

Usługa Data Factory w usłudze Microsoft Fabric to następna generacja usługi Azure Data Factory, utworzona w celu obsługi najbardziej złożonych wyzwań związanych z integracją danych przy użyciu prostszego podejścia.

Zapoznaj się z przewodnikiem porównawczym , aby zapoznać się z kluczowymi różnicami między tymi dwoma usługami, dzięki czemu możesz dokonać odpowiedniego wyboru dla przedsiębiorstwa.

Gdy będziesz gotowy na aktualizację, skorzystaj z przewodnika aktualizacji dla swoich potoków Azure Data Factory i Azure Synapse.

Czym jest SLA potoku Fabric Data Factory?

Umowa SLA dla potoków danych w usłudze Fabric jest równoważna umowie SLA dla potoków danych w usłudze Azure Data Factory: „Microsoft gwarantuje, że będzie pomyślnie przetwarzać żądania wykonania operacji na zasobach usługi Data Factory w co najmniej 99,9% przypadków.” Gwarantuje również, że wszystkie działania rozpoczną się w ciągu czterech minut od zaplanowanego czasu wykonania co najmniej w 99,9 procentach przypadków. Przeczytaj pełną umowę o poziomie serwisu Data Factory (SLA)."

Powiązana zawartość

Aby uzyskać więcej informacji i rozpocząć pracę z usługą Microsoft Fabric, postępuj zgodnie z następującymi przewodnikami:

• Laboratorium fabryki danych z przewodnikiem — pokaz Data Factory w Fabric
• Z czym można nawiązać połączenie? — wszystkie dostępne źródła i miejsca docelowe dla usługi Data Factory
• Samouczek Data Factory od początku do końca – Skorzystaj z tego samouczka, aby przejść przez cały proces ETL, od pozyskiwania danych po ich transformację i ładowanie do systemu docelowego.