Nowoczesny narzędzie oceny dla Dataflow Gen2 z CI/CD

Nowoczesny aparat oceny zapytań (znany również jako "Modern Evaluator") udostępnia nowy aparat wykonywania zapytań działający na platformie .NET Core w wersji 8, co może znacznie poprawić wydajność przebiegów przepływu danych w niektórych scenariuszach.

Nowoczesny ewaluator obsługuje wszystkie funkcje Power Query oraz większość źródeł danych dostępnych w Dataflow Gen2 (CI/CD).

Uwaga / Notatka

Żądania wykorzystujące bazę danych IBM Db2, Informix lub złącza MQ są tymczasowo kierowane do standardowego (legacy) silnika ewaluacyjnego, nawet gdy nowoczesny ewaluator jest włączony. Nowoczesny ewaluator obecnie nie obsługuje tych złączy.

Przepływy danych mogą potencjalnie skorzystać z niektórych kluczowych korzyści dzięki uruchomieniu nowoczesnego ewaluatora.

  • Szybsze wykonywanie przepływu danych: nowoczesny aparat może znacznie skrócić czas oceny zapytań. Wiele przepływów danych działa znacznie szybciej, co umożliwia częstsze odświeżanie danych lub spełnianie napiętych okien odświeżania.

  • Bardziej wydajne przetwarzanie: aparat jest zoptymalizowany pod kątem wydajności przy użyciu ulepszonych algorytmów i nowoczesnego środowiska uruchomieniowego. Oznacza to, że może obsługiwać złożone przekształcenia z mniejszym obciążeniem, co pomaga utrzymać wydajność w miarę wzrostu ilości danych.

  • Skalowalność i niezawodność: Dzięki przyspieszeniu wykonywania oraz redukcji wąskich gardeł, nowoczesny komponent ewaluacyjny pomaga skalować przepływy danych do większych wolumenów przy zwiększonej niezawodności. Klienci mogą oczekiwać bardziej spójnych czasów trwania odświeżania i mniej problemów z limitem czasu w przypadku dużych przepływów danych przy użyciu nowego silnika.

Jak włączyć lub wyłączyć nowoczesnego ewaluatora

Uwaga / Notatka

Modern Evaluator jest domyślnie włączony w nowych elementach CI/CD (Dataflow Gen2). Jeśli wystąpią jakiekolwiek problemy, możesz wyłączyć możliwość powrotu do standardowego silnika oceny.

Wykonaj następujące kroki, aby włączyć nowoczesny aparat oceny zapytań dla przepływu danych:

  1. Otwórz przepływ danych do edycji: w usłudze Fabric Data Factory przejdź do elementu Dataflow Gen2 (CI/CD) i otwórz go w edytorze Power Query.

  2. Przejdź do pozycji Opcje (ustawienia skalowania): w edytorze przepływu danych wybierz menu Opcje. W oknie dialogowym Opcje wybierz kartę Skalowanie.

  3. Włącz nowoczesnego ewaluatora: znajdź ustawienie nowoczesnego aparatu oceny zapytań. Sprawdź, czy ta opcja jest włączona.

    Zrzut ekranu przedstawiający okno dialogowe opcji w przepływie danych Gen2 z ciągłą integracją/ciągłym wdrażaniem z wyświetlonym ustawieniem nowoczesnego ewaluatora zapytań.

  4. Zapisz i uruchom: zapisz ustawienia przepływu danych. Następnym razem, gdy uruchomisz przepływ danych, zostanie użyty nowoczesny moduł oceny, z wyjątkiem żądań używających łączników do bazy danych IBM Db2, Informix lub MQ, które są tymczasowo kierowane do standardowego silnika oceny.

Zagadnienia dotyczące wydajności

Przy użyciu nowoczesnego silnika oceny powinieneś zaobserwować szybsze czasy odświeżania, szczególnie w przypadku przepływów intensywnie operujących na danych. Na przykład przekształcenia danych, które wcześniej trwały godzinę, mogą zakończyć się w mniej więcej połowie czasu z włączonym nowoczesnym ewaluatorem (rzeczywiste wyniki różnią się w zależności od scenariuszy). Ten wzrost wydajności pomaga w scenariuszach, takich jak:

  • Duże ilości danych: w przypadku obsługi milionów wierszy lub dużych plików optymalizacje nowego silnika mogą skrócić czas przetwarzania i zmniejszyć użycie pamięci.

  • Złożone przekształcenia: przepływy danych z wieloma krokami transformacji lub dużymi operacjami (takimi jak sprzężenia w dużych tabelach) korzystają z ulepszonego planu wykonywania silnika, co prowadzi do płynnego i szybszego ukończenia.

  • Częste harmonogramy uruchamiania: Jeśli przepływy danych są uruchamiane wiele razy dziennie, dzięki czemu oszczędności czasu na odświeżenie się kumulują, co pozwala dostarczać użytkownikom aktualne dane szybciej.

Benchmarks

W tej sekcji użyto dużego, rzeczywistego zestawu danych, aby zilustrować, w jaki sposób zmiany architektury w różnych generacjach przepływu danych i wprowadzenie nowoczesnego aparatu oceny zapytań wpływają na czas wykonywania.

Uwaga / Notatka

Wyniki są udostępniane tylko do celów porównania i mogą się różnić w zależności od źródła danych, przekształceń i środowiska wykonywania.

Porównanie między produktami

Ten test porównawczy porównuje Dataflow Gen1, Dataflow Gen2 i Dataflow Gen2 (CI/CD) przy użyciu identycznego scenariusza pozyskiwania i przekształcania.

Scenario

  • Źródło: Zestaw danych taksówek w Nowym Jorku przechowywany w usłudze Azure Blob Storage
  • Wolumin danych: ok. 110 milionów wierszy
  • Przekształcanie: przekształcanie wierszy po wierszu podczas przetwarzania
  • Miejsce docelowe:
    • Gen1: CSV
    • Gen2/Gen2 (CI/CD): Lakehouse (domyślne dane wyjściowe)

Results

Product Domyślne dane wyjściowe Czas wykonywania
Przepływ danych Gen1 CSV ~60 minut
Przepływ danych Gen2 Lakehouse ~57 minut
Przepływ danych Gen2 (CI/CD) z nowoczesnym ewaluatorem Lakehouse ~33 minuty

Obserwacje

  • Dataflow Gen1 i Dataflow Gen2 pokazują porównywalne czasy wykonywania w scenariuszu przekształcania wiersz po wierszu.
  • Przepływ danych Gen2 (CI/CD) wykonuje to samo obciążenie w około połowie czasu.
  • Poprawa wydajności jest napędzana przez nowoczesny aparat oceny zapytań, co zmniejsza obciążenie związane z przetwarzaniem poszczególnych wierszy i optymalizuje wykonywanie dużych obciążeń pozyskiwania.

Systemy legacy a nowoczesne systemy oceny

Ten test porównawczy porównuje starszy aparat oceny i nowoczesny aparat oceny zapytań w usłudze Dataflow Gen2 (CI/CD) w dwóch typowych wzorcach zapytań.

Scenario

  • Źródło danych: zestaw danych taksówek w Nowym Jorku przechowywany w języku SQL
  • Wolumin danych: ok. 110 milionów wierszy
  • Miejsce docelowe: Fabric Lakehouse

Results

Scenario Starszy ewaluator Nowoczesny ewaluator
Zapytanie składa się do SQL ~20 minut ~13 minut
Zapytanie nie jest przekształcane do SQL (z powodu podziału według ogranicznika) ~28 minut ~16 minut

Obserwacje

Nowoczesny aparat oceny zapytań zapewnia znaczną poprawę wydajności ze względu na bardziej wydajne środowisko uruchomieniowe i mniejsze obciążenie związane z wykonywaniem niezależnie od tego, czy zapytanie składa się, czy nie.