Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Nowoczesny aparat oceny zapytań (znany również jako "Modern Evaluator") udostępnia nowy aparat wykonywania zapytań działający na platformie .NET Core w wersji 8, co może znacznie poprawić wydajność przebiegów przepływu danych w niektórych scenariuszach.
Nowoczesny ewaluator obsługuje wszystkie funkcje Power Query oraz większość źródeł danych dostępnych w Dataflow Gen2 (CI/CD).
Uwaga / Notatka
Żądania wykorzystujące bazę danych IBM Db2, Informix lub złącza MQ są tymczasowo kierowane do standardowego (legacy) silnika ewaluacyjnego, nawet gdy nowoczesny ewaluator jest włączony. Nowoczesny ewaluator obecnie nie obsługuje tych złączy.
Przepływy danych mogą potencjalnie skorzystać z niektórych kluczowych korzyści dzięki uruchomieniu nowoczesnego ewaluatora.
Szybsze wykonywanie przepływu danych: nowoczesny aparat może znacznie skrócić czas oceny zapytań. Wiele przepływów danych działa znacznie szybciej, co umożliwia częstsze odświeżanie danych lub spełnianie napiętych okien odświeżania.
Bardziej wydajne przetwarzanie: aparat jest zoptymalizowany pod kątem wydajności przy użyciu ulepszonych algorytmów i nowoczesnego środowiska uruchomieniowego. Oznacza to, że może obsługiwać złożone przekształcenia z mniejszym obciążeniem, co pomaga utrzymać wydajność w miarę wzrostu ilości danych.
Skalowalność i niezawodność: Dzięki przyspieszeniu wykonywania oraz redukcji wąskich gardeł, nowoczesny komponent ewaluacyjny pomaga skalować przepływy danych do większych wolumenów przy zwiększonej niezawodności. Klienci mogą oczekiwać bardziej spójnych czasów trwania odświeżania i mniej problemów z limitem czasu w przypadku dużych przepływów danych przy użyciu nowego silnika.
Jak włączyć lub wyłączyć nowoczesnego ewaluatora
Uwaga / Notatka
Modern Evaluator jest domyślnie włączony w nowych elementach CI/CD (Dataflow Gen2). Jeśli wystąpią jakiekolwiek problemy, możesz wyłączyć możliwość powrotu do standardowego silnika oceny.
Wykonaj następujące kroki, aby włączyć nowoczesny aparat oceny zapytań dla przepływu danych:
Otwórz przepływ danych do edycji: w usłudze Fabric Data Factory przejdź do elementu Dataflow Gen2 (CI/CD) i otwórz go w edytorze Power Query.
Przejdź do pozycji Opcje (ustawienia skalowania): w edytorze przepływu danych wybierz menu Opcje. W oknie dialogowym Opcje wybierz kartę Skalowanie.
Włącz nowoczesnego ewaluatora: znajdź ustawienie nowoczesnego aparatu oceny zapytań. Sprawdź, czy ta opcja jest włączona.
Zapisz i uruchom: zapisz ustawienia przepływu danych. Następnym razem, gdy uruchomisz przepływ danych, zostanie użyty nowoczesny moduł oceny, z wyjątkiem żądań używających łączników do bazy danych IBM Db2, Informix lub MQ, które są tymczasowo kierowane do standardowego silnika oceny.
Zagadnienia dotyczące wydajności
Przy użyciu nowoczesnego silnika oceny powinieneś zaobserwować szybsze czasy odświeżania, szczególnie w przypadku przepływów intensywnie operujących na danych. Na przykład przekształcenia danych, które wcześniej trwały godzinę, mogą zakończyć się w mniej więcej połowie czasu z włączonym nowoczesnym ewaluatorem (rzeczywiste wyniki różnią się w zależności od scenariuszy). Ten wzrost wydajności pomaga w scenariuszach, takich jak:
Duże ilości danych: w przypadku obsługi milionów wierszy lub dużych plików optymalizacje nowego silnika mogą skrócić czas przetwarzania i zmniejszyć użycie pamięci.
Złożone przekształcenia: przepływy danych z wieloma krokami transformacji lub dużymi operacjami (takimi jak sprzężenia w dużych tabelach) korzystają z ulepszonego planu wykonywania silnika, co prowadzi do płynnego i szybszego ukończenia.
Częste harmonogramy uruchamiania: Jeśli przepływy danych są uruchamiane wiele razy dziennie, dzięki czemu oszczędności czasu na odświeżenie się kumulują, co pozwala dostarczać użytkownikom aktualne dane szybciej.
Benchmarks
W tej sekcji użyto dużego, rzeczywistego zestawu danych, aby zilustrować, w jaki sposób zmiany architektury w różnych generacjach przepływu danych i wprowadzenie nowoczesnego aparatu oceny zapytań wpływają na czas wykonywania.
Uwaga / Notatka
Wyniki są udostępniane tylko do celów porównania i mogą się różnić w zależności od źródła danych, przekształceń i środowiska wykonywania.
Porównanie między produktami
Ten test porównawczy porównuje Dataflow Gen1, Dataflow Gen2 i Dataflow Gen2 (CI/CD) przy użyciu identycznego scenariusza pozyskiwania i przekształcania.
Scenario
- Źródło: Zestaw danych taksówek w Nowym Jorku przechowywany w usłudze Azure Blob Storage
- Wolumin danych: ok. 110 milionów wierszy
- Przekształcanie: przekształcanie wierszy po wierszu podczas przetwarzania
-
Miejsce docelowe:
- Gen1: CSV
- Gen2/Gen2 (CI/CD): Lakehouse (domyślne dane wyjściowe)
Results
| Product | Domyślne dane wyjściowe | Czas wykonywania |
|---|---|---|
| Przepływ danych Gen1 | CSV | ~60 minut |
| Przepływ danych Gen2 | Lakehouse | ~57 minut |
| Przepływ danych Gen2 (CI/CD) z nowoczesnym ewaluatorem | Lakehouse | ~33 minuty |
Obserwacje
- Dataflow Gen1 i Dataflow Gen2 pokazują porównywalne czasy wykonywania w scenariuszu przekształcania wiersz po wierszu.
- Przepływ danych Gen2 (CI/CD) wykonuje to samo obciążenie w około połowie czasu.
- Poprawa wydajności jest napędzana przez nowoczesny aparat oceny zapytań, co zmniejsza obciążenie związane z przetwarzaniem poszczególnych wierszy i optymalizuje wykonywanie dużych obciążeń pozyskiwania.
Systemy legacy a nowoczesne systemy oceny
Ten test porównawczy porównuje starszy aparat oceny i nowoczesny aparat oceny zapytań w usłudze Dataflow Gen2 (CI/CD) w dwóch typowych wzorcach zapytań.
Scenario
- Źródło danych: zestaw danych taksówek w Nowym Jorku przechowywany w języku SQL
- Wolumin danych: ok. 110 milionów wierszy
- Miejsce docelowe: Fabric Lakehouse
Results
| Scenario | Starszy ewaluator | Nowoczesny ewaluator |
|---|---|---|
| Zapytanie składa się do SQL | ~20 minut | ~13 minut |
| Zapytanie nie jest przekształcane do SQL (z powodu podziału według ogranicznika) | ~28 minut | ~16 minut |
Obserwacje
Nowoczesny aparat oceny zapytań zapewnia znaczną poprawę wydajności ze względu na bardziej wydajne środowisko uruchomieniowe i mniejsze obciążenie związane z wykonywaniem niezależnie od tego, czy zapytanie składa się, czy nie.