Dataflow Gen2 Kosten und Leistung: Fähigkeitsbenchmarks und CU-Kosten

Microsoft Fabric Dataflow Gen2 bietet mehrere Möglichkeiten, Daten effizient zu speichern, zu transformieren und zu laden. Diese Methoden helfen Ihnen bei der Balance zwischen Leistung, Skalierbarkeit und Kosten.

Dieser Artikel ist die Leistungs- und Kostenreferenz für Dataflow Gen2. Es vergleicht vier gängige Arbeitslasten – Massenkopie, umfangreiche Datenaufbereitung, optimierte Schreibvorgänge in ein Lakehouse und das Zusammenführen partitionierter Dateien – und gibt die Laufzeit sowie die Kapazitätseinheiten (CUs) an, die jeweils verbraucht wurden, gemessen auf Grundlage der Kapazitätstelemetrie. Nutzen Sie es, um zu schätzen, was Ihre eigenen Aktualisierungen kosten, und wählen Sie die Funktionalität aus, die zu jeder Arbeitslast passt.

Im großen Maßstab übertrifft Dataflow Gen2 Dataflow Gen1 sowohl in Geschwindigkeit als auch bei Kosten – und je größer die Arbeitsbelastung, desto größer die Lücke. Bei Ausführung desselben M-Skripts für dieselben Daten auf derselben Fabric-Kapazität schloss Dataflow Gen2 jeden Benchmark in diesem Artikel 1,7× bis 21× schneller ab als die Dataflow-Gen1-Baseline. In jedem Szenario, in dem der Kapazitätsverbrauch beider Generationen gemessen wurde, erledigte Dataflow Gen2 diese schnellere Arbeit und verbrauchte 82% bis 95% weniger Kapazitätseinheiten – sodass die Beschleunigung nicht auf Kosten zusätzlicher Kapazität geht. Du erhältst beide Vorteile gleichzeitig, ohne auch nur eine einzige Abfrage umzuschreiben.

Wie viel du gewinnst, hängt von deiner Arbeitsbelastung ab, und der wichtigste Faktor ist, wie lange deine Anfragen laufen. Standard Compute berechnet die ersten 10 Minuten jeder Abfrage mit 12 CU pro Sekunde, dann nur 1,5 CU für jede zusätzliche Sekunde, sodass je länger eine Abfrage läuft, desto niedriger werden die durchschnittlichen Kosten pro Sekunde. Ein kurzer Datenfluss endet innerhalb dieser ersten Stufe und erreicht nie den günstigeren Preis, sodass der Unterschied zwischen den beiden Generationen gering ist. Die Gewinne wachsen mit dem Datenvolumen und der Laufzeit, weshalb die Benchmarks in diesem Artikel große, volumenreiche Datensätze und langfristige Aktualisierungen verwenden.

Dataflow Gen2 wird auch aus eigener Sicht immer günstiger: Die aktuellen Preise und Fähigkeiten senken den CU-Verbrauch je nach Arbeitslast um geschätzte 14% auf 84%im Vergleich zu dem, was die gleiche Arbeitslast vor 2026 verbraucht hätte.

Mit den folgenden Funktionen können Sie Ihre Datenflüsse optimieren:

• Fast Copy – Beschleunigung der Massendatenbewegung vor der Transformation.
• Modern Evaluator – Beschleunigung der Verarbeitung von komplexen Abfragen ohne Faltungsoptionen.
• Staging-Abfragen – Daten in einer Zwischenschicht ablegen, bevor Transformationen angewendet werden, und dadurch ELT-Muster ermöglichen.
• Optimiertes Kopieren in Lakehouse – Beschleunigt das Schreiben von Stagingdaten in ein Lakehouse-Ziel in ELT-Workloads.
• Partitioned Compute (Vorschau) – Skaliert Transformationen über große und partitionierte Datensätze.

Dieser Artikel behandelt gängige Anwendungsfälle, reale Beispiele und Benchmarking-Ergebnisse, um Ihnen zu helfen, die richtige Fähigkeit für Ihre Arbeitslast auszuwählen.

Dataflow Gen2 rechnet jede Engine separat ab, zu diesen aktuellen Raten:

• Standard Compute (Mashup-Engine-Abfragen) – 12 CU für jede Sekunde bis zu 10 Minuten jeder Abfrage, dann 1,5 CU für jede zusätzliche Sekunde.
• Fast Copy (Datenbewegung) – 1,5 CU pro Sekunde Kopieraktivität, gemessen über alle verwendeten Kerne.

Für das vollständige Ratenmodell siehe Dataflow Gen2-Preisgestaltung.

Kurzreferenz

Passen Sie Ihre Workload an die richtige Dataflow Gen2-Funktion an. Ein Benchmarkbeispiel für jedes Beispiel finden Sie im verknüpften Szenario.

Zusammenfassung der Benchmarkergebnisse

Die meisten Szenarien in diesem Artikel verwenden den New York City Taxi & Limousine Commission (TLC) Trip Data Dataset – TLC Trip Record Data : Milliarden von Taxifahrten, die als Parquet-Dateien in ADLS Gen2 gespeichert sind und die Jahre 2021–2025 (bis August) abdecken. Szenario 3 verwendet eine Fabric Lakehouse-Tabelle mit etwa 113 Millionen NYC-Taxifahrten, die sich von 2017 bis Mitte 2018 erstrecken. Das Ziel ist je nach Szenario ein Fabric Seehaus oder Lager.

In der folgenden Tabelle sind die Benchmarkergebnisse in allen Szenarien zusammengefasst. Jedes Szenario enthält auch einen Dataflow Gen1-Basisplan für den Vergleich.

Das folgende Diagramm vergleicht dieselben Szenarien hinsichtlich Kapazitätsverbrauch statt Ausführungszeit.

Schritt-für-Schritt-Details, Datasetkonfigurationen und Entwurfsmuster für jede Funktion finden Sie in den folgenden Szenarioabschnitten.

Wie wir diese Benchmarks gemessen haben

Jedes Szenario führt dasselbe M-Skript zweimal aus: einmal auf Dataflow Gen1, um eine Basislinie zu etablieren, und einmal auf Dataflow Gen2 mit aktivierter Testfunktion.

Jeder Durchlauf in diesem Artikel erfolgt unter denselben Testbedingungen:

• Alle Szenarien und beide Generationen liefen mit derselben Fabric-Kapazität, sodass kein Ergebnis eine andere Kapazitätsgröße oder SKU widerspiegelt.
• Kein Datengateway war beteiligt. Jede Verbindung ging direkt vom Fabric-Service zu einer Cloud-Datenquelle.
• Jedes Szenario verwendete dieselben Quelldaten und dasselbe M-Skript für seine Dataflow Gen1- und Dataflow Gen2-Läufe.

Die gemeldeten Zahlen bedeuten Folgendes:

• Die Laufzeit ist die gesamte Aktualisierungsdauer, die für den Datenfluss gemeldet wird.
• Verbrauchte CU sind die Capacity-Unit-Sekunden, die der Ausführung der Kapazität in Rechnung gestellt wurden und die aus der Microsoft Fabric Capacity Metrics-App ausgelesen werden. Da Dataflow Gen2 jede Engine separat abrechnet, ist die Summe eines Szenarios die Summe aller während der Aktualisierung laufenden Engines, und CU-Zahlen werden auf die nächstgelegene ganze CU-Sekunde gerundet. Für das vollständige Ratenmodell siehe Dataflow Gen2-Preisgestaltung.

Beim Vergleich der beiden Generationen sollten Sie diese architektonischen Unterschiede im Hinterkopf behalten:

• Dataflow Gen1 verwendet eine grundlegend andere Architektur als Dataflow Gen2 und unterstützt keine Funktionen wie Fast Copy, Modern Evaluator, Optimized Copy to Lakehouse oder Partitioned Compute.
• Dataflow Gen1 kann Daten nur als CSV-Dateien laden, während Dataflow Gen2 in diesen Fällen Daten als Parquet-Dateien lädt.

Szenario 1: Kopieren von Daten

Das NYC Taxi-Analytics-Team muss Millionen roher Fahrtdatensätze im Parquet-Format aus ADLS Gen2 in ein Fabric Lakehouse laden. Das Team benötigt keine Transformationen, nur eine direkte Kopie zur Unterstützung von Downstreamanalysen.

Challenges

• Bringen Sie große Mengen an Parquet-Daten schnell ins Seehaus.
• Verringern Sie die Einlesezeit für tägliche Aktualisierungen.
• Minimieren Sie die Rechenkosten für einfache Extraktion-Lade (EL)-Belastungen.

Dataset

Jahrweise zusammengeführte, fünf konsolidierte Partitionen von NYC Yellow Taxi Parquet-Dateien (2021–Aug 2025).

Lösung

Das Team ermöglicht Fast Copy in Dataflow Gen2. Fast Copy optimiert Datenbewegungspfade und parallelisiert Schreibvorgänge für unterstützte Konnektoren.

Design

Diese Abfrage kombiniert die fünf nach Jahr geordneten Parquet-Dateien und lädt das Ergebnis in das Lakehouse.

Überlegungen zu Fast Copy

• Unterstützt .csv und .parquet Dateiformate.
• Unterstützt bis zu 1M Zeilen pro Tabelle pro Ausführung für Azure SQL-Datenbank.
• Am besten geeignet für Extract-Load-(EL)- Workflows vor Transformationen.

Ergebnisse

Wenn du Fast Copy aktivierst, nimmt Dataflow Gen2 diesen Datensatz etwa 11 × schneller ein als der Dataflow Gen1-Baseline (00:09:08 vs. 01:38:59), während der Rechenaufwand reduziert wird. Ohne Fast Copy ist Dataflow Gen2 bereits etwa 2,8 × schneller als Gen1 bei derselben Arbeitslast.

Wenn Sie Fast Copy aktivieren – die optimalste Dataflow-Gen2-Konfiguration für dieses Szenario – verbraucht die Fast Copy-Eingabe von fünf konsolidierten Parquet-Dateien in einem Seehaus in Szenario 1 14.593 CU-Sekunden. Die folgende Tabelle schlüsselt die Gesamtsumme nach Vorgang auf:

Die Datenverschiebung mit Fast Copy wird mit 1,5 CU für jede Sekunde Kopieraktivität abgerechnet, gemessen als die Gesamtzeit über alle Kerne hinweg, auf denen der Kopiervorgang ausgeführt wird. Dataflow Gen2 gleicht automatisch die Anzahl der Kerne aus, die jedes Fast Copy-Szenario verbraucht, sodass eine Kopie, die schnell mit Wanduhrzeit fertig ist, dennoch viele Kernsekunden umfassen kann. Die verbleibende Abfragezeit wird bei Standard Compute abgerechnet (12 CU pro Sekunde bis zu 10 Minuten, dann 1,5 CU für jede zusätzliche Sekunde). Für das vollständige Ratemodell siehe Dataflow Gen2 Preisgestaltung.

Wichtige Erkenntnisse

• Durch das Aktivieren von Fast Copy wurde die 99-minütige Datenerfassung auf etwa neun Minuten verkürzt – eine Verbesserung um eine Größenordnung beim selben Datensatz und M-Skript.
• Dataflow Gen2 verbrauchte außerdem 83% weniger Kapazität als Dataflow Gen1 für dieselbe Arbeit (14.593 gegenüber 84.411 CU-Sekunden), sodass die Beschleunigung nicht auf Kosten zusätzlicher Rechenleistung ging.
• Die Beschleunigung entsteht durch native, parallelisierte Datenbewegungen, die die Mashup-Engine umgeht, sodass sie nur für Extract-Load-Schritte gilt, die die Fast Copy-Voraussetzungen erfüllen. Jede Transformation, die den Faltprozess bricht, fällt auf die Standard-Engine zurück und verliert die Gewinne.
• Behandeln Sie für unterstützte Quellen Fast Copy als Standard für die Aufnahme und reservieren Sie schwerere Transformations-Engines (die in den nächsten Szenarien behandelt werden) für Schritte, die die Daten tatsächlich umgestalten.

Szenario 2: Schwere Datenstrukturierung

Nach der Datenaufnahme führt das Team eine Filterung, die Ersetzung von Nullwerten und die Codezuordnung durch, bevor es die Daten in das Lakehouse lädt. Diese Transformationen werden nicht vollständig auf Parquet zurückgefaltet und sind im Speicher langsam.

Challenges

• Verbessern Sie die Transformationsgeschwindigkeit für halbfaltbare oder nicht gefaltete Abfragen.
• Verwalten Sie die codefreie Abfrageerstellung in Power Query.
• Reduzieren Sie die Gesamtaktualisierungszeit und die Kosten.

Dataset

Alle Parquet-Akten für 2021–August 2025 wurden zu einer konsolidierten Datei zusammengeführt.

Lösung

Das Team setzt Modern Evaluator ein, eine Hochleistungs-Ausführungs-Engine, die speziell für effiziente Transformationen bei Connectors wie ADLS Gen2 und SharePoint entwickelt wurde.

Design

Diese Abfrage erfasst Daten aus einer konsolidierten Parquet-Datei, filtert die trip_distance- und fare_amount-Spalten, um Werte über 0 beizubehalten, ersetzt Nullen in passenger_count mit 1 und erstellt eine neue payment_method-Spalte, indem die Zahlungstypen zugeordnet werden, bevor die Daten in den Datensee geladen werden.

Überlegungen zum modernen Evaluator

• Die erwarteten Aktualisierungszeiten können erheblich schneller sein (variiert je nach Dataset und Transformationen).
• Optimiert für große Volumes (Millionen von Zeilen).
• Vorteilhaft für nicht gefaltete Abfragen.
• Faster schreibt zu Zielen wie einem Seehaus.

Ergebnisse

Wenn du Modern Evaluator aktivierst, führt Dataflow Gen2 diese Shaping-Workload etwa 1,7 × schneller aus als der Dataflow Gen1-Baseline (00:46:29 vs. 01:19:56), während das No-Code-Power Query-Erlebnis erhalten bleibt. Ohne Modern Evaluator ist die gleiche Arbeitsbelastung nur etwa 1,2 × schneller als bei Gen1 (01:08:37 vs. 01:19:56).

Wenn man Modern Evaluator aktiviert – die optimalste Dataflow-Gen2-Konfiguration für dieses Szenario – verbraucht die Modern Evaluator-Formung einer einzigen großen Parquet-Datei in einem Seehaus in Szenario 2 10.485 CU-Sekunden. Die folgende Tabelle schlüsselt die Gesamtsumme nach Vorgang auf:

Die Arbeit läuft vollständig mit Standard Compute, das auf zwei Ebenen abgerechnet wird: 12 CU pro Sekunde bis zu 10 Minuten, dann 1,5 CU für jede zusätzliche Sekunde. Die folgende Tabelle zeigt, wie sich die berechnete Dauer und die Gesamtsumme der CUs auf diese Stufen aufteilen:

Diese Tabelle zeigt die gemessene Gesamtsumme bis auf eine Dezimalstelle, sodass die Stufen exakt zusammenfallen; der Rest des Artikels rundet sie auf 10.485 CU-Sekunden auf.

Die Aufteilung zeigt, wie sehr die erste Stufe das Programm dominiert: Die ersten 10 Minuten machen nur etwa 22% des Laufs aus, machen aber ungefähr 69% der CU-Sekunden aus, da jede dieser Sekunden achtmal mehr kostet als eine Sekunde in der zweiten Stufe. Alles nach der 10-Minuten-Marke – also der Großteil eines langen Shaping-Laufs – wird zum deutlich niedrigeren Satz von 1,5 CU abgerechnet. Modern Evaluator senkt die Rechnung weiter, indem er die Rechnungsdauer selbst verkürzt und nicht den Satz ändert. Für das vollständige Ratemodell siehe Dataflow Gen2 Preisgestaltung.

Wichtige Erkenntnisse

• Ohne Modern Evaluator war Dataflow Gen2 nur etwa 1,2 × schneller als die Dataflow Gen1-Basislinie bei dieser Shaping-Workload. Die Aktivierung von Modern Evaluator verbesserte die Leistung auf etwa 1,7 × schneller als Gen1 bei identischen M-Skripten und Datensätzen.
• Die Kapazitätseinsparung ist größer als die Zeitersparnis: Dataflow Gen2 war 1,7 × schneller und verbrauchte 82% weniger Kapazität als Dataflow Gen1 (10.485 gegenüber 56.855 CU-Sekunden).
• Dieser Leistungsschub resultiert aus einem effizienteren Ausführungspfad für nicht-faltbare und halbfaltbare Abfragen. Power Query verbringt traditionell die meiste Zeit mit diesen Abfragen, besonders wenn man Connectors wie ADLS Gen2 und SharePoint verwendet. Gewinnt Skalierung mit Zeilenvolumen und Gestaltungskomplexität.
• Verwenden Sie Modern Evaluator als Standardoption für Abläufe mit hohem Shaping-Anteil, bei denen Abfragen nicht vollständig an die Datenquelle zurückgefaltet werden. Je größer der Datensatz ist und je mehr Transformationen du direkt in der Engine durchführst, desto größer ist der zu erwartende Effekt.

Szenario 3: Optimierte Kopie für Lakehouse

Das Analyseteam von NYC Taxi transformiert eine große Tabelle und schreibt das Ergebnis in ein Fabric-Lakehouse. Das Schreiben dieses Volumens zum Ziel ist der langsamste Teil der Aktualisierung, daher möchte das Team das Schreiben beschleunigen, ohne die Transformationslogik zu ändern.

Challenges

• Schreiben Sie schnell ein großes transformiertes Ergebnis in ein Lakehouse-Ziel.
• Verhindern Sie, dass der Schreibvorgang am Ziel zum Engpass bei der Aktualisierung wird.
• Bewahren Sie das No-Code-Power Query-Erlebnis und die bestehende Transformationslogik.

Dataset

Eine Fabric Lakehouse-Tabelle mit etwa 113 Millionen NYC Taxi-Fahrtaufzeichnungen von 2017 bis Mitte 2018.

Lösung

Das Team aktiviert Enable Staging und aktiviert optimiertes Kopieren nach Lakehouse bei einer einzigen Abfrage, die zu einem Lakehouse-Ziel schreibt. Optimiertes Kopieren in das Lakehouse verschiebt das zwischengespeicherte Ergebnis über einen beschleunigten Pfad in das Lakehouse.

Design

Der Benchmark-Datenfluss verwendet eine einzelne Abfrage mit aktiviertem Enable Staging und ein Lakehouse-Ziel , das V-Order verwendet. Die Abfrage liest die NYC-Taxitabelle mit rund 113 Millionen Zeilen aus einem Fabric Lakehouse, sortiert die Zeilen nach Datum und Uhrzeit der Abholung und fügt zwei abgeleitete Spalten hinzu – den Beginn des Monats der Abholung und die Summe aus MTA-Steuer und Verbesserungszuschlag. Da das Staging aktiviert ist, schreibt Optimierte Kopie in Lakehouse das transformierte Ergebnis über einen beschleunigten Pfad in das Ziel-Lakehouse, was die kurze Ausführungszeit ermöglicht.

Optimierte Kopie zu Lakehouse-Überlegungen

• Hierfür muss für die Abfrage Enable staging aktiviert sein und ein Lakehouse-Ziel vorhanden sein. Weitere Informationen finden Sie unter "Mehrstufige Datenoptionen" für "Dataflow Gen2".
• Es beschleunigt das Schreiben in das Lakehouse, ohne die Transformationslogik zu ändern.
• Kombinieren Sie es am Zielort mit V-Order, um die Ausgabe für nachgelagerte Analysen zu optimieren.

Ergebnisse

Wenn Sie Optimized copy to Lakehouse aktivieren, führt Dataflow Gen2 diese Aktualisierung etwa 15× schneller ab als der Dataflow Gen1-Baseline (00:03:34 vs. 00:53:20), ohne die Transformationslogik zu ändern. Ohne sie ist derselbe gestufte Datenfluss etwa 3,6 × schneller als bei Gen1.

Wenn Sie Staging, die optimierte Kopie in ein Lakehouse und V-Order aktivieren – die optimale Dataflow-Gen2-Konfiguration für dieses Szenario –, ist die Aktualisierung der NYC-Taxitabelle mit 113 Millionen Zeilen in Szenario 3 in eine Lakehouse-Tabelle nach 00:03:34 abgeschlossen und verbraucht 2.391 CU-Sekunden. Die folgende Tabelle schlüsselt die Gesamtsumme nach Vorgang auf:

Die Arbeit wird vollständig nach Standard Compute abgerechnet (12 CU pro Sekunde bis zu 10 Minuten, dann 1,5 CU für jede zusätzliche Sekunde). Die optimierte Kopie in das Lakehouse erfolgt über die Mashup-Engine, sodass kein separater Zähler anfällt. Für das vollständige Ratemodell siehe Dataflow Gen2 Preisgestaltung.

Wichtige Erkenntnisse

• Optimiertes Kopieren in das Lakehouse beschleunigt das Schreiben des transformierten Ergebnisses in das Lakehouse-Ziel und verkürzt die Aktualisierungsdauer von 00:14:45 (ohne diese Optimierung) auf 00:03:34 – also auf etwa die 4-fache Geschwindigkeit desselben Datenflusses ohne diese Optimierung und auf etwa die 15-fache Geschwindigkeit der Dataflow-Gen1-Baseline (00:53:20).
• Dieses Szenario brachte die größte Kapazitätseinsparung gegenüber Dataflow Gen1 in diesem Artikel: Dataflow Gen2 verbrauchte 95% weniger Kapazität als Dataflow Gen1 (2.391 gegenüber 50.788 CU-Sekunden).
• Es erfordert Enable Staging auf der Abfrage und ein Lakehouse-Ziel, und es ändert nicht deine Transformationslogik.
• In diesem Szenario wird die V-Reihenfolge explizit für die Zielausgabe verwendet.
• Verwende Optimized Copy to Lakehouse, wann immer du gestufte Daten an ein Lakehouse-Ziel schreibst und die Schreibzeit die Aktualisierung dominiert.

Szenario 4: Dateien kombinieren

Das Team muss jetzt Reisedaten über Hunderte von Parkettdateien (monatliche Partitionen) aggregieren und anreichern. Transformationen umfassen Computing-Tippprozentsätze im gesamten Dataset.

Challenges

• Sie müssen Hunderte großer Dateien verarbeiten.
• Transformationen erfordern Gruppierung, Aggregation und Anreicherung über Partitionen hinweg.
• Sequenzielle Ausführung wird zu einem Engpass.

Dataset

Sechsundfünfzig Parquet-Akten (2021–Aug 2025).

Lösung

Das Team ermöglicht Partitioned Compute (Preview), das die Verarbeitung über Partitionen hinweg parallelisiert und Ergebnisse effizient zusammenführt.

Design

Diese Abfrage kombiniert 56 Parquet-Dateien und erstellt in der Transform Sample file eine neue benutzerdefinierte Spalte für den Trinkgeldprozentsatz „Tip Pctg“, bevor die Daten in das Warehouse geladen werden.

Überlegungen zur partitionierten Rechenleistung

• Derzeit in Vorschau und nur in Dataflow Gen2 mit CI/CD verfügbar; die Funktion wird noch weiter verbessert.
• Verwenden Sie sie, wenn die Quelle die Faltung nicht unterstützt.
• Bietet die beste Leistung beim Laden von Daten in das Staging oder das Lager.
• Verwenden Sie die Sample-Transform-Datei aus Combine-Dateien , um eine konsistente Transformationslogik sicherzustellen.
• Unterstützt eine Teilmenge von Transformationen; Die Leistung variiert.

Ergebnisse

Partitioned Compute liefert etwa 21 × schnellere Leistung als der Dataflow Gen1-Baseline (00:04:48 vs. 01:40:57) auf großen, partitionierten, mehrdateiigen Datensätzen.

Partitioned Compute zielt auf die Wanduhrzeit statt auf Kosten ab. Es führt Partitionen parallel aus, sodass die Aktualisierung früher abgeschlossen ist, aber diese Parallelität verteilt die Arbeit auf mehr Rechenleistung, anstatt sie zu reduzieren, sodass die Kosten typischerweise ähnlich oder höher sind als dieselbe Arbeitslast ohne die Funktion. Der CU-Verbrauch wurde für dieses Szenario nicht gemessen, daher berichtet dieser Artikel nur über die Laufzeit.

Wichtige Erkenntnisse

• Partitioned Compute erzielte einen 21-fachen Geschwindigkeitszuwachs im Vergleich zur Dataflow-Gen1-Ausgangsbasis und wurde in weniger als fünf Minuten abgeschlossen. Da die Funktion als Vorschau verfügbar ist und weiterhin verbessert wird, ist damit zu rechnen, dass sich diese Zahlen weiter ändern.
• Behandle Partitioned Compute als Möglichkeit, schneller fertig zu werden, nicht um weniger auszugeben. Parallelität verkürzt die Gesamtlaufzeit, indem Partitionen parallel ausgeführt werden, sodass die Kosten typischerweise ähnlich hoch oder höher sind als bei derselben Arbeitslast ohne Parallelität.
• Der Gewinn kommt aus der Parallelverarbeitung jeder Partition und dem Zusammenführen der Ergebnisse, daher ist es am effektivsten für mehrere Datei- oder partitionierte Quellen, bei denen die Faltung nicht verfügbar ist und die sequenzielle Auswertung der Engpass ist.
• Verwenden Sie das Muster „Beispieldatei transformieren“ aus „Dateien kombinieren“, damit die Transformationslogik konsistent auf jede Partition angewendet wird. Partitioned Compute unterstützt derzeit eine Teilmenge von Transformationen, also überprüfen Sie, ob Ihre Formungsschritte kompatibel sind, bevor Sie sich darauf verlassen, und überprüfen Sie nochmal, wenn sich die Vorschau weiterentwickelt.
• Machen Sie die partitionierte Erfassung zur Zwischenablage oder zum Datenlager bei hohen Volumina zum Standardwert für Partitioned Compute und kombinieren Sie sie nach Möglichkeit mit modernem Evaluator. Da es noch in der Vorschau ist, validiere es mit deiner eigenen Arbeitslast, bevor du es für Produktionsupdates nutzt.

Kosten über die Zeit (damals vs. heute)

Dataflow Gen2 ist im Laufe der Zeit kosteneffizienter geworden. Dieselbe Logik auf denselben Daten verbraucht heute weniger CUs als in der Vergangenheit, ohne dass Änderungen an Ihren Abfragen erforderlich sind.

In diesem Vergleich bedeutet damals dieselbe Arbeitslast unter der Preisgestaltung und den Funktionen, die vor 2026 allgemein verfügbar waren. Jetzt bedeutet dasselbe Workload, das heute mit den besten, allgemein verfügbaren Einstellungen (wie Modern Evaluator und Fast Copy) ausgeführt wird. Beide Spalten verwenden die beste allgemein verfügbare Konfiguration ihrer Zeit. Die aktuellen Zahlen werden anhand der Kapazitätstelemetrie gemessen. Die damaligen Zahlen sind Schätzungen dessen, was dieselbe Arbeitslast zu diesem Zeitpunkt verbraucht hätte, da die früheren Servicebedingungen heute nicht mehr reproduziert werden können.

Zum Beispiel hätte die schwere Formungsarbeit in Szenario 2 vor 2026 schätzungsweise 66.164 CU-Sekunden verbraucht und verbraucht nun 10.485 CU-Sekunden. Diese Änderung ist eine Reduktion um 84% mit identischer Logik und ohne erforderliche Änderungen. Zwei Verbesserungen wirken zusammen und machen dies möglich. Zuerst wurde die Preisgestaltung für Standard Compute gestaffelt: Statt durchgehend 16 CU für jede Sekunde des gesamten Laufs zu berechnen, werden nur die ersten 10 Minuten mit 12 CU pro Sekunde abgerechnet, und jede Sekunde danach mit nur 1,5 CU, sodass der lange Nachlauf eines Shaping-Workloads jetzt nur noch einen Bruchteil dessen kostet, was er zuvor kostete. Zweitens verkürzt Modern Evaluator – seit April 2026 allgemein verfügbar – die Rechnungsdauer selbst, sodass auf beiden Stufen weniger Sekunden zur Abrechnung zur Verfügung stehen. Eine kürzere Laufzeit, die zu einem deutlich günstigeren Long-Tail-Tarif abgerechnet wird, ist der Grund, warum der CU-Verbrauch so stark sinkt, und deshalb ist die Kombination von Modern Evaluator mit dem aktuellen Stufenpreismodell für Dataflows mit hohem Shaping-Anteil so wichtig.

Die Schnellkopierung im Szenario 1 hätte vor 2026 schätzungsweise 17.055 CU-Sekunden verbraucht und verbraucht nun 14.593 CU-Sekunden. Diese Änderung entspricht einer Reduzierung um 14 %, die darauf zurückzuführen ist, dass die Standard-Compute-Rate von zuvor pauschal 16 CU pro Sekunde auf 12 CU pro Sekunde für bis zu 10 Minuten gesenkt wurde; der Fast Copy-Anteil an der Datenbewegung bleibt unverändert. Die optimierte Kopie für die Lakehouse-Aktualisierung in Szenario 3 hätte vor 2026 schätzungsweise 14.173 CU-Sekunden verbraucht und verbraucht nun 2.391 CU-Sekunden. Diese Änderung ist eine Reduzierung um 83%. Jeder Vergleich verwendet denselben Workload mit den besten allgemein verfügbaren Einstellungen des jeweiligen Zeitraums.

Häufig gestellte Fragen

Wie wird Dataflow Gen2 abgerechnet?

Dataflow Gen2 rechnet jeden Motor separat in Fabric Capacity Units (CUs) ab. Standard Compute (die Mashup-Engine) berechnet 12 CU pro Sekunde bis zu 10 Minuten jeder Abfrage, dann 1,5 CU für jede zusätzliche Sekunde. Fast Copy (Datenbewegung) berechnet 1,5 CU für jede Sekunde Kopieraktivität, gemessen über alle Kerne, auf denen die Kopie läuft. Dir wird nur die Rechenleistung berechnet, die von jeder Abfrage tatsächlich genutzt wird, ohne feste Gebühr pro Aktualisierung und ohne Kosten für Leerlaufzeiten. Für das vollständige Ratenmodell siehe Dataflow Gen2-Preisgestaltung.

Ist die Preisgestaltung von Dataflow Gen2 elastisch?

Yes. Dataflow Gen2 stellt nur die tatsächlich von jeder Abfrage genutzte Rechenleistung in Rechnung, gemessen in Fabric Capacity Units (CUs). Es gibt keine feste Gebühr pro Aktualisierung, keine Kosten für Leerlaufzeiten und keine direkten Gebühren während der Erstellungszeit für native Funktionen. In den Benchmarks in diesem Artikel verbrauchte eine vollständige Aktualisierung 14.593 CU-Sekunden für eine Fast Copy-Aufnahme und 10.485 CU-Sekunden für eine schwere Gestaltungsarbeit.

Wie kann ich meine Dataflow Gen2-Kosten schätzen, bevor ich die gesamte Arbeitslast ausführe?

Führen Sie eine kleine, repräsentative Aktualisierung durch und messen Sie, was es verbraucht, anstatt die vollständige Lösung zu bauen und anschließend die Kosten zu ermitteln. Um die Kosten so zu schätzen:

• Erstellen Sie den Datenfluss anhand einer Stichprobe oder einer einzelnen Partition Ihrer Quelle anstelle des vollständigen Datensatzes.
• Erneuere sie einmal und lies dann die benötigten CU-Sekunden in der Microsoft Fabric Capacity Metrics App aus.
• Überprüfen Sie die Datenfluss-Aktualisierungshistorie , um zu sehen, welche Engines liefen, da Standard Compute und Fast Copy separat abgerechnet werden.
• Teile die gemessenen CU-Sekunden durch die Zeilen oder GB, die du verarbeitet hast, um eine Rate pro Einheit zu erhalten, und multipliziere dann mit deinem gesamten Datenvolumen.

Die vollständige Methode finden Sie unter Berechnen geschätzter Kosten mithilfe der Fabric Metrics-App und des Aktualisierungsverlaufs von Datenflüssen.

Wie lange dauert eine Gen2-Aktualisierung von Dataflow?

Es hängt vom Datenvolumen und von den Transformationen ab, die du anwendest. In den Benchmarks in diesem Artikel reichten die Aktualisierungen in Dataflow Gen2 von 00:03:34 für eine optimierte Kopie einer Tabelle mit 113 Millionen Zeilen in ein Lakehouse bis zu 00:46:29 für eine aufwendige Datenaufbereitung bei einer großen konsolidierten Parquet-Datei. Eine Massenkopie von fünf konsolidierten Parquet-Dateien wurde in 00:09:08 mit Fast Copy abgeschlossen, und eine Kombination aus 56 partitionierten Dateien wurde in 00:04:48 mit Partitioned Compute (Preview) abgeschlossen. Für die vollständigen Zeiten pro Szenario siehe die Zusammenfassung der Benchmark-Ergebnisse.

Welche Dataflow Gen2-Funktion senkt die Kosten am meisten?

Es hängt vom Workload ab, da jede Funktion auf einen anderen Engpass abzielt: Fast Copy für Ingestion ohne Transformationen, Modern Evaluator für nicht faltbare Datentransformationen, Optimized Copy in ein Lakehouse zum Beschleunigen von Schreibvorgängen in ein Lakehouse-Ziel und Partitioned Compute (Preview) für große Datensätze mit mehreren Dateien. Gemessen an der Dataflow-Gen1-Baseline erzielte die optimierte Kopie in ein Lakehouse in diesen Benchmarks die größte Einsparung, mit 95 % weniger CU-Sekunden. Im Vergleich zu gleichwertigen Dataflow Gen2-Läufen vor 2026 erzielte Modern Evaluator die größte geschätzte Reduktion, nämlich 84% weniger CU-Sekunden bei einer schweren Formarbeit. Um eine Fähigkeit an deine Arbeitsbelastung anzupassen, siehe die Schnellreferenz.

Wie kann ich eine Gen2-Aktualisierung von Dataflow beschleunigen?

Die Funktionalität an den Engpass anpassen: Fast Copy für unterstützte Extract-Load-Quellen aktivieren, Modern Evaluator für nicht faltbare Transformationen aktivieren, Optimized Copy in Lakehouse aktivieren, wenn gestufte Daten an ein Lakehouse-Ziel geschrieben werden, und Partitioned Compute (Preview) für große partitionierte oder mehrere Datei-Datensätze verwenden. Jede Fähigkeit wird in diesem Artikel mit der spezifischen Beschleunigung bewertet, die sie gegenüber dem Dataflow Gen1-Basisniveau erzielt hat.

Muss ich meine Abfragen ändern, um diese Verbesserungen zu erhalten?

No. Jeder Benchmark in diesem Artikel führte dasselbe M-Skript über beide Generationen und jede Konfiguration hinweg aus. Fast Copy, Modern Evaluator und Optimized Copy to Lakehouse sind Einstellungen, die du einschaltest, und sie verändern, wie die Engine deine Abfragen durchführt, statt die Anfragen selbst. Ein Vorbehalt: Fast Copy gilt nur für Schritte, die seine Voraussetzungen erfüllen; daher fällt eine Transformation, die die Abfragefaltung verhindert, auf die Standard-Engine zurück und büßt den Vorteil ein. Für diese Voraussetzungen siehe Fast copy in Dataflow Gen2.

Ist Dataflow Gen2 schneller und günstiger als Dataflow Gen1?

Bei hochvolumigen Arbeitslasten wie denen, die in diesem Artikel genannt werden, gilt das in beiden Fällen ja. Dataflow Gen2 lief zwischen 1,7 × und 21 × schneller als der Dataflow Gen1-Baseline auf denselben Daten und demselben M-Skript und verbrauchte 82% bis 95% weniger Kapazitätseinheiten in den Szenarien, in denen beide Generationen gemessen wurden. Zum Beispiel wurde eine Massenkopie, die in Dataflow Gen1 01:38:59 dauerte, in Dataflow Gen2 mit Fast Copy in 00:09:08 abgeschlossen – etwa 11× schneller. Der Unterschied ist bei kurzfristigen Datenflüssen geringer, da eine Abfrage, die innerhalb der ersten 10 Minuten abgeschlossen wird, nie die günstigere 1,5-CU-Stufe erreicht, sodass die Gewinne mit Datenvolumen und Laufzeit wachsen. Für den vollständigen Vergleich pro Szenario siehe die Zusammenfassung der Benchmark-Ergebnisse.

Wie viel Kapazität verbraucht Dataflow Gen1 im Vergleich zu Dataflow Gen2?

In den Szenarien, in denen beide Generationen gemessen wurden, verbrauchte Dataflow Gen1 mehrfach mehr Kapazität als Dataflow Gen2 für dieselbe Arbeit mit hohem Volumen. Die Fast Copy-Aufnahme verbrauchte 84.411 CU-Sekunden auf Dataflow Gen1 gegenüber 14.593 CU-Sekunden auf Dataflow Gen2, eine Reduzierung von 83%. Die schwere Datenbearbeitungsarbeit verbrauchte 56.855 CU-Sekunden bei Dataflow Gen1 gegenüber 10.485 CU-Sekunden bei Dataflow Gen2, eine Reduzierung von 82%. Die optimierte Copy-to-Lakehouse-Workload verbrauchte 50.788 CU-Sekunden bei Dataflow Gen1 gegenüber 2.391 CU-Sekunden bei Dataflow Gen2, eine Reduzierung von 95%. Alle drei dieser Aktualisierungen dauern deutlich länger als 10 Minuten, sodass der Großteil ihrer Dataflow-Gen2-Laufzeit zum niedrigeren Satz von 1,5 CU abgerechnet wird. Für die Zahlen pro Szenario siehe die Zusammenfassung der Benchmark-Ergebnisse.

Sollte ich meine Dataflow Gen1 Dataflows auf Dataflow Gen2 verschieben?

Yes. Dataflow Gen2 ist die aktuelle Generation von Datenflüssen in Microsoft Fabric, daher sollten Sie planen, alle Dataflow Gen1-Datenflüsse darauf zu übertragen. In den in diesem Artikel vorgestellten Benchmarks führte Dataflow Gen2 dasselbe M-Skript 1,7× bis 21× schneller aus und verbrauchte dabei 82 % bis 95 % weniger Kapazitätseinheiten als Dataflow Gen1 – also dieselbe Logik, die schneller ausgeführt wird und weniger von Ihrer Kapazität verbraucht. Die Fähigkeiten, die diese Gewinne liefern – Fast Copy, Modern Evaluator, Optimized Copy to Lakehouse und Partitioned Compute – sind nur in Dataflow Gen2 verfügbar, sodass die Lücke mit zunehmender Verbesserung dieser Fähigkeiten immer größer wird. Erwarten Sie die größten Gewinne bei hochvolumigen, langlaufenden Refreshs. Teste während der Migration eine repräsentative Arbeitsbelastung, um die Fortschritte an deinen Daten und deiner Kapazität zu bestätigen. Um zu starten, siehe die Dataflow Gen2-Übersicht.

Ist Dataflow Gen2 im Laufe der Zeit kosteneffizienter geworden?

Yes. Die schwere Gestaltungslast in Szenario 2 hätte vor 2026 schätzungsweise 66.164 CU-Sekunden verbraucht und verbraucht nun 10.485 CU-Sekunden mit derzeit allgemein verfügbaren Fähigkeiten, eine geschätzte Reduzierung von 84% bei identischer Logik und ohne erforderliche Änderungen. Für Zahlen pro Szenario siehe Kosten über die Zeit (damals vs. heute).

Sind ältere Dataflow Gen2 Kosten- und Leistungswerte noch korrekt?

Nicht unbedingt. Die Zahlen in diesem Artikel spiegeln das aktuelle Dataflow Gen2-Preismodell wider – 12 CU pro Sekunde bis zu 10 Minuten Standard Compute, dann 1,5 CU für jede zusätzliche Sekunde – zusammen mit aktuellen Funktionen wie Fast Copy und Modern Evaluator. Da Dataflow Gen2 im Laufe der Zeit schneller und kosteneffizienter geworden ist, könnten Benchmarkzahlen oder Kostenschätzungen, die vor 2026 veröffentlicht wurden, die aktuellen Kosten überbewerten oder die aktuelle Leistung unterschätzen. Überprüfe deine eigenen Workloads mit der Microsoft Fabric Capacity Metrics App.

Verwandte Inhalte

• Preise für Dataflow Gen2
• Schnelle Kopie in Dataflow Gen2
• Moderner Evaluator für Dataflow Gen2 mit CI/CD
• Gestufte Datenoptionen für Dataflow Gen2
• Partitioned Compute for Dataflow Gen2 (Vorschau)