Cennik Dataflow Gen2 dla Data Factory w Microsoft Fabric

Przepływ danych Gen2 ułatwia kształtowanie i przekształcanie danych. Oferuje on interfejs z małą ilością kodu i ponad 300 wbudowanych przekształceń danych i sztucznej inteligencji, które są obsługiwane przez znane środowisko Power Query, które można znaleźć w Excel, Power BI, platformie Power Platform i Dynamics 365. Dataflow Gen2 obsługuje również wykonywanie transformacji opartych na platformie Spark za pomocą mapowania przepływu danych (MDF) dla obciążeń natywnych i zmigrowanych.

Ta cena dotyczy wszystkich jednostek SKU pojemności Fabric (F2 i nowszych). Cennik nie dotyczy próbnych pojemności usługi Fabric. Dla rzeczywistych benchmarków zużycia CU w typowych scenariuszach zobacz benchmarki kosztów i wydajności Dataflow Gen2.

Po opublikowaniu przepływu danych zostanie utworzona definicja uruchamiana podczas odświeżania. Mechanizm Dataflow Gen2 używa tej definicji do planowania i zarządzania sposobem uruchamiania zapytań w źródłach danych, bramach i mechanizmach obliczeniowych. Tworzy tabele w magazynie przejściowym lub wysyła je do wybranego celu, dzięki czemu uzyskujesz niezawodne wyniki bez zbędnego wysiłku.

Diagram architektury przepływu danych Gen2.

Na diagramie przedstawiono składniki architektury przepływu danych Data Factory Dataflow Gen2, w tym usługę Lakehouse używaną do przejściowego składowania pozyskiwanych danych oraz element Warehouse używany jako silnik obliczeniowy do szybszego zapisywania wyników do obszaru przejściowego lub wyjściowego. Jeśli nie można użyć mocy obliczeniowej magazynu danych lub gdy dla zapytania wyłączono obszar przejściowy, aparat Mashup wyodrębnia, przekształca lub ładuje dane do obszaru przejściowego lub do miejsc docelowych danych. Aby dowiedzieć się więcej o sposobie działania usługi Dataflow Gen2, zobacz Data Factory Spotlight: Dataflow Gen2.

Dataflow Gen2 może wykonywać obciążenia robocze za pomocą silnika Mashup lub silnika Spark. Gdy przekształcenia MDF są używane wewnątrz przepływu danych Gen2, obliczanie oparte na platformie Spark jest używane do wykonywania transformacji i przetwarzania danych.

Podczas odświeżania lub publikowania elementu Dataflow Gen2 jednostki pojemności Fabricu są używane dla następujących silników:

  • Standardowe zasoby obliczeniowe: Opłaty są naliczane na podstawie czasu przetwarzania zapytania we wszystkich zapytaniach Dataflow, które są wykonywane przez silnik Mashup.
  • Obliczenia przepływu danych na dużą skalę: opłaty są naliczane po włączeniu etapu wstępnego, w oparciu o czas trwania użycia silnika SQL w usługach przechowywania Lakehouse (magazynowanie etapowe) i magazynowaniu (obliczenia pamięci masowej).
  • Szybkie kopiowanie: opłaty są naliczane, gdy łączniki szybkiego kopiowania są włączone i mogą być używane w przepływie danych na podstawie czasu trwania zadania kopiowania. Fast Copy działa równolegle na wielu rdzeniach, więc ten czas trwania to łączny czas pracy na wszystkich rdzeniach wykorzystywanych przez zadanie kopiowania, a nie rzeczywisty czas odświeżania.
  • Spark Compute: transformacje MDF używają mechanizmu Spark Compute, gdy są wykonywane za pośrednictwem aktywności Dataflow w Fabric Pipeline. Cennik transformacji MDF jest obecnie finalizowany, a klienci nie są obecnie obciążani opłatami za moc obliczeniową transformacji MDF. Ten artykuł zostanie zaktualizowany przed rozpoczęciem rozliczeń.

Model cenowy przepływu danych Gen2

Sposób określania stawek cenowych

Cennik usługi Dataflow Gen2 zależy od tego, jak każde zapytanie korzysta z obliczeń. W przypadku standardowych obliczeń komputerowych zapytania są uruchamiane na silniku mashup. W zależności od tego, czy przepływ danych to Dataflow Gen2 (CI/CD), ocena jest różna.

W usłudze Dataflow Gen2 (CI/CD) występuje dwuwarstwowa stawka zastosowana do czasu trwania zapytania:

  • Jeśli zapytanie działa poniżej 10 minut, jest oceniane na 12 CU
  • Jeśli działa dłużej, każda dodatkowa sekunda jest oceniana na poziomie 1,5 CU.

Jeśli Twoja usługa Dataflow Gen2 nie jest w trybie CI/CD, stawka wynosi 16 CU przez cały czas trwania zapytania.

Note

Gdy używasz partycjonowanego obliczania, Dataflow Gen2 ocenia każdą partycję jako osobną jednostkę pracy. Standardowe opłaty za obliczenia są naliczane na podstawie sumy czasu przetwarzania wszystkich partycji. Uruchamianie partycji równolegle skraca cały czas (zegar ścienny) na zakończenie uruchomienia, podczas gdy całkowite zużycie CU odzwierciedla łączny wynik obliczeniowy wszystkich partycji.

W przypadku scenariuszy o dużej skali — gdy włączono etap przejściowy — zapytania są uruchamiane w silniku SQL usługi Lakehouse lub Warehouse. Każda sekunda czasu obliczeniowego zużywa 6 sekund CU, więc dłuższe zapytania zużywają więcej.

Jeśli włączysz szybką kopię, istnieje oddzielna stawka za przenoszenie danych: 1,5 CU, w zależności od czasu trwania działania. Szybka kopia automatycznie balansuje każdy scenariusz, by zdecydować, ile rdzeni użyć, a rozliczony czas trwania to całkowity czas spędzony na wszystkich tych rdzeniach, a nie czas na zegarze ściennym, jaki widzisz w historii odświeżania. Rozłożenie pracy na większą liczbę rdzeni skraca czas realizacji, natomiast czas podlegający rozliczeniu uwzględnia każdy rdzeń używany przez zadanie kopiowania.

Na koniec każdego przebiegu, Dataflow Gen2 sumuje użycie CU z każdego silnika i rozlicza je na podstawie cen pojemności Fabric w twoim regionie.

Tabela częstotliwości aktualizacji zbiorczych

Typ silnika drugiej generacji przepływu danych Mierniki zużycia Szybkość zużycia CU Stopień szczegółowości raportowania zużycia
Komputacja Standardowa (Dataflow Gen2 (CI/CD)) Na podstawie czasu wykonywania każdego zapytania przez silnik mashupu w sekundach. "Standard Compute ma dwie warstwy cenowe w zależności od czasu trwania zapytania." - Za każdą sekundę do 10 minut, 12 CU
- Co sekundę powyżej 10 minut, 1,5 CU		 Na element Dataflow Gen2
Standardowa obliczeniowa (bez CI/CD) Na podstawie czasu wykonywania każdego zapytania przez silnik mashupu w sekundach. 16 jednostek obliczeniowych Na element Dataflow Gen2
Obliczenia przepływów danych o dużej skali W oparciu o czas wykonania silnika SQL Lakehouse/Warehouse (z włączoną warstwą pośrednią) wyrażony w sekundach. 6 CU (jeśli CU wymaga wyjaśnienia lub ma polski odpowiednik, należy to dodać) Na obszar roboczy
Przenoszenie danych Na podstawie czasu trwania operacji Fast Copy, mierzonego jako łączny czas pracy rdzeni w sekundach, zsumowany dla wszystkich rdzeni wykorzystywanych przez zadanie kopiowania. Dataflow automatycznie balansuje, ile rdzeni wykorzystuje każdy scenariusz szybkiego kopiowania. 1,5 CU Na element Dataflow Gen2
Mapowanie Przepływ danych przekształca obliczenia (wersja zapoznawcza) Transformacje MDF wykorzystują obliczenia oparte na Spark w Dataflow Gen2. Obecnie nie jest naliczana opłata. Ustalanie cen transformacji MDF jest finalizowane, a ten artykuł zostanie zaktualizowany przed rozpoczęciem rozliczeń. Nie dotyczy w trybie podglądu

Cennik bramy danych sieci wirtualnej za pomocą usługi Dataflow Gen2

Bramę danych wirtualnej sieci (VNET) obciąża się opłatą za dodatkową infrastrukturę, powiązaną z pojemnością infrastruktury. Oznacza to, że ma własny licznik i powoduje naliczenie rachunku, który jest zarówno spójny, jak i dodatkowy we wszystkich uruchomieniach elementów Fabric.

Łączny rachunek za uruchomienie usługi Dataflow Gen2 za pośrednictwem bramy danych Virtual Network jest obliczany jako: Opłata za usługę Dataflow Gen2 + opłata za bramę danych Virtual Network.

Opłata za usługę Virtual Network Data Gateway jest proporcjonalna do użycia Virtual Network Data Gateway, gdzie użycie jest definiowane jako czas pracy lub w dowolnym czasie, w którym Virtual Network Data Gateway jest włączona.

Wskaźnik zużycia CU bramy danych sieci wirtualnej: 4 CU

Dowiedz się więcej na stronie Cennik i rozliczenia bram danych sieci wirtualnej.

Zmiany wskaźnika konsumpcji obciążeń usługi Microsoft Fabric

Stawki zużycia mogą ulec zmianie w dowolnym momencie. Firma Microsoft podejmuje odpowiednie działania, aby powiadomić za pośrednictwem poczty e-mail i powiadomienia w produkcie. Zmiany wchodzą w życie w dniu określonym w Notatkach o wydaniu i Microsoft Fabric Blog. Jeśli jakakolwiek zmiana wskaźnika zużycia obciążenia usługi Microsoft Fabric znacznie zwiększy liczbę jednostek wydajności (CU) wymaganych do użycia określonego obciążenia, klienci mogą skorzystać z opcji anulowania dostępnych dla wybranej formy płatności.

Oblicz szacowane koszty za pomocą aplikacji Fabric Metrics i historii odświeżania przepływu danych

Aplikacja Metryki pojemności Microsoft Fabric zapewnia wgląd w wykorzystanie pojemności dla wszystkich obszarów roboczych Fabric powiązanych z daną pojemnością. Jest on używany przez administratorów pojemności do monitorowania wydajności obciążeń i ich użycia w porównaniu do zakupionej pojemności. Użycie aplikacji Metryki jest najbardziej dokładnym sposobem oszacowania kosztów przebiegów odświeżania usługi Dataflow Gen2. Aby zrozumieć, jak cennik warstwowy wpłynął na standardowe koszty obliczeń, należy również skorzystać z historii odświeżania Dataflow.

W tych ćwiczeniach pokazano, jak zweryfikować koszty zarówno dla przepływów danych CI/CD, jak i nie-CI/CD. W przypadku przepływu danych CI/CD ze standardową konfiguracją obliczeniową najpierw przedstawiono szczegółowy przykład, a następnie instrukcje dotyczące wszystkich pozostałych scenariuszy.

Ćwiczenie 1: Standardowe zasoby obliczeniowe dla potoku danych CI/CD

Poniższy przepływ danych zawiera dwa zapytania obejmujące przekształcenia, a etapowanie jest wyłączone.

Zrzut ekranu przedstawiający usługę Dataflow Gen2 z dwoma zapytaniami.

Zrzut ekranu przedstawiający usługę Dataflow Gen2 z wyłączoną inscenizacją.

Usługa Dataflow Gen2 używa tylko standardowych obliczeń.

Dla każdego zapytania uzyskaj dostęp do czasu trwania zapytania z historii odświeżania i zastosuj następującą formułę, aby obliczyć zużycie CU na zapytanie.

W przypadku pierwszego zapytania czas trwania wynosi 2131 sekund.

Zrzut ekranu przedstawiający historię odświeżania zapytania 1.

Podobnie w przypadku drugiego zapytania czas trwania wynosi 913 sekund

Zrzut ekranu przedstawiający historię odświeżania zapytania 2.

StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)

W przypadku zapytania 1 obliczone użycie wynosi 9497 CU sekund, a w przypadku zapytania 2 obliczone użycie wynosi 7670 CU sekund.

Zagreguj zużycie pojemności w sekundach CU i zweryfikuj zużycie w aplikacji metryki pojemności Fabric. W tym scenariuszu aplikacja metryk pokazuje 17 180 CU sekund jako standardowe użycie obliczeniowe, które porównuje się dobrze z obliczonym zużyciem 17 167 CU sekund. Wszelkie rozbieżności mogą być spowodowane zaokrągleniami w okresowym raportowaniu użycia.

Zrzut ekranu przedstawiający aplikację Metryki Pojemności Fabric pokazującą wykorzystanie przepływu danych.

Ćwiczenie 2: Standardowe zasoby obliczeniowe dla przepływu danych bez CI/CD

Jeśli przepływ danych obejmuje transformację, a obszar przejściowy jest wyłączony, usługa Dataflow Gen2 używa tylko standardowych zasobów obliczeniowych.

Dla każdego zapytania uzyskaj dostęp do czasu trwania zapytania z historii odświeżania i zastosuj następującą formułę, aby obliczyć zużycie CU na zapytanie.

StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16

Zagreguj zużycie pojemności w sekundach CU i zweryfikuj zużycie w aplikacji metryki pojemności Fabric.

Ćwiczenie 3: Zrozumienie wykorzystania mocy obliczeniowej na dużą skalę (zarówno w przypadku przepływów danych CI/CD, jak i innych niż CI/CD)

Jeśli przepływ danych używa obszaru przejściowego, aby sprawdzić, ile mocy obliczeniowej High Scale zużyto, otwórz aplikację Metryki pojemności usługi Fabric i odfiltruj według nazwy swojego przepływu danych. Kliknij prawym przyciskiem myszy nazwę, wyszukaj obliczenia o dużej skali na liście operacji i sprawdź czas trwania.

HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6

Ćwiczenie 4. Zrozumienie zużycia mocy obliczeniowej przez szybkie kopiowanie (zarówno w przepływach danych CI/CD, jak i innych niż CI/CD)

Jeśli przepływ danych używa szybkiej kopii, aby sprawdzić, ile mocy obliczeniowej funkcji Data Movement zostało użyte, otwórz aplikację Fabric Capacity Metrics i przefiltruj dane według nazwy przepływu danych. Kliknij prawym przyciskiem myszy nazwę, wyszukaj pozycję Przenoszenie danych na liście operacji i sprawdź czas trwania.

FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5

Powiązana zawartość

  • Last updated on