Dataflow Gen2 kosten en prestaties: capaciteitsbenchmarks en CU-kosten

Microsoft Fabric Dataflow Gen2 biedt meerdere manieren om data efficiënt te importeren, transformeren en laden. Met deze methoden kunt u de prestaties, schaalbaarheid en kosten in balans houden.

Dit artikel is de referentie voor prestaties en kosten voor Dataflow Gen2. Er worden vier veelvoorkomende workloads vergeleken: bulkkopie, intensieve datatransformatie, geoptimaliseerd schrijven naar een lakehouse en het combineren van gepartitioneerde bestanden. Vervolgens worden de uitvoeringstijd en de capaciteitseenheden (CU's) gerapporteerd die elk daarvan heeft verbruikt, gemeten op basis van capaciteitstelemetrie. Gebruik het om te schatten wat je eigen vernieuwingen kosten en om de functionaliteit te kiezen die bij elke werklast past.

Op grote schaal presteert Dataflow Gen2 aanzienlijk beter dan Dataflow Gen1 qua snelheid en kosten – en hoe groter de werklast, hoe groter de kloof. Door hetzelfde M-script te draaien, tegen dezelfde data, op dezelfde Fabric capaciteit, voltooide Dataflow Gen2 elke benchmark in dit artikel 1,7× tot 21× sneller dan de Dataflow Gen1-baseline. In elk scenario waarin het capaciteitsverbruik van beide generaties werd gemeten, deed Dataflow Gen2 dat snellere werk terwijl het 82% tot 95% minder capaciteitseenheden verbruikte - dus de versnelling gaat niet ten koste van extra capaciteit. Je krijgt beide voordelen, zonder één enkele query te herschrijven.

Hoeveel je wint hangt af van je werkdruk, en de grootste factor is hoe lang je zoekopdrachten duren. Standard Compute factureert de eerste 10 minuten van elke query met 12 CU per seconde, daarna slechts 1,5 CU per extra seconde, dus hoe langer een query loopt, hoe lager de gemiddelde kosten per seconde worden. Een korte dataflow eindigt binnen die eerste laag en bereikt nooit het goedkopere tarief, dus het verschil tussen de twee generaties is klein. De winst groeit met het datavolume en de looptijd, daarom gebruiken de benchmarks in dit artikel grote, grote datasets met veel volume en langdurige verversingen.

Dataflow Gen2 wordt ook op eigen kracht steeds goedkoper: de huidige prijzen en mogelijkheden verminderen het CU-verbruik met naar schatting 14% tot 84%, afhankelijk van de werklast, vergeleken met wat dezelfde werklast vóór 2026 zou hebben verbruikt.

Met de volgende mogelijkheden kunt u uw gegevensstromen optimaliseren:

• Snel kopiëren – Versnel bulksgewijze gegevensverplaatsing vóór de transformatie.
• Moderne evaluator – versnel het vormgeven van complexe gegevens bij niet-vouwbare query's.
• Stagingquery’s – plaats gegevens in een tussenlaag voordat transformaties worden toegepast, wat ELT-patronen mogelijk maakt.
• Geoptimaliseerde kopie naar Lakehouse – Versnel het schrijven van gestaged data naar een Lakehouse-bestemming in ELT-workloads.
• Partitioned Compute (Preview) – Schaal transformaties over grote en gepartitioneerde datasets.

Dit artikel behandelt veelvoorkomende gebruikssituaties, praktijkvoorbeelden en benchmarkresultaten om je te helpen de juiste capaciteit voor jouw werklast te kiezen.

Dataflow Gen2 factureert elke motor apart, tegen de volgende huidige tarieven:

• Standard Compute (mashup-engine queries) - 12 CU per seconde tot 10 minuten van elke query, daarna 1,5 CU voor elke extra seconde.
• Snelle kopie (dataverplaatsing) - 1,5 CU voor elke seconde kopieeractiviteit, gemeten over alle gebruikte cores.

Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Snelzoekgids

Koppel uw workload aan de juiste dataflow Gen2-mogelijkheid. Zie het gekoppelde scenario voor een benchmarkvoorbeeld.

Samenvatting van benchmarkresultaten

De meeste scenario's in dit artikel gebruiken de New York City Taxi & Limousine Commission (TLC) Trip Data dataset – TLC Trip Record Data : miljarden taxiritrecords opgeslagen als Parquet-bestanden in ADLS Gen2, die 2021–2025 (tot augustus) beslaan. Scenario 3 gebruikt een Fabric lakehouse-tafel met ongeveer 113 miljoen taxirecords in New York City, verspreid over 2017 tot medio 2018. De bestemming is een Fabric lakehouse of magazijn, afhankelijk van het scenario.

De volgende tabel bevat een overzicht van de benchmarkresultaten in alle scenario's. Elk scenario bevat ook een dataflow Gen1-basislijn voor vergelijking.

De volgende grafiek vergelijkt dezelfde scenario's op basis van capaciteitsverbruik in plaats van uitvoeringstijd.

Zie de scenariosecties die volgen voor stapsgewijze details, configuraties van gegevenssets en ontwerppatronen voor elke mogelijkheid.

Hoe we deze benchmarks hebben gemeten

Elk scenario draait hetzelfde M-script twee keer: één keer op Dataflow Gen1 om een basislijn vast te stellen, en één keer op Dataflow Gen2 met de te testen mogelijkheid ingeschakeld.

Elke run in dit artikel deelt dezelfde testvoorwaarden:

• Alle scenario's en beide generaties draaiden op dezelfde Fabric-capaciteit, dus geen enkel resultaat weerspiegelt een andere capaciteitsgrootte of SKU.
• Er was geen datagateway bij betrokken. Elke verbinding ging rechtstreeks van de Fabric-dienst naar een clouddatabron.
• Elk scenario gebruikte dezelfde brondata en hetzelfde M-script voor zowel de Dataflow Gen1- als Dataflow Gen2-runs.

De gerapporteerde cijfers betekenen het volgende:

• De runtime is de totale verversingsduur die wordt gerapporteerd voor de dataflow-run.
• Verbruikte CU is het aantal Capacity Unit-seconden dat voor de uitvoering bij de capaciteit in rekening is gebracht, afgelezen uit de Microsoft Fabric Capacity Metrics-app. Omdat Dataflow Gen2 elke engine afzonderlijk factureert, is het totaal van een scenario de som van elke engine die tijdens de verversing draaide, en worden CU-cijfers afgerond op de dichtstbijzijnde hele CU-seconde. Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Houd bij het vergelijken van de twee generaties deze architectonische verschillen in gedachten:

• Dataflow Gen1 gebruikt een fundamenteel andere architectuur dan Dataflow Gen2 en ondersteunt geen mogelijkheden zoals Fast Copy, Modern Evaluator, geoptimaliseerde kopie naar Lakehouse of Partitioned Compute.
• Dataflow Gen1 kan data alleen laden als CSV-bestanden, terwijl Dataflow Gen2 data in deze scenario's als Parquet-bestanden laadt.

Scenario 1: Gegevens kopiëren

Het NYC Taxi-analyseteam moet miljoenen ruwe Parquet-ritrecords van ADLS Gen2 in een Fabric-meerhuis laden. Het team heeft geen transformaties nodig, alleen een directe kopie ter ondersteuning van downstreamanalyse.

Challenges

• Verplaats snel grote hoeveelheden Parquet-gegevens naar het meerhuis.
• Verminder de opnametijd voor dagelijkse vernieuwingen.
• Beperk de computekosten voor eenvoudige extract-load workloads.

Dataset

Jaarlijks samengevoegde NYC Yellow Taxi Parquet-bestanden, vijf geconsolideerde partities (2021-aug 2025).

Solution

Het team schakelt Fast Copy in Dataflow Gen2 in. Snel kopiëren optimaliseert paden voor gegevensverplaatsing en parallelliseert schrijfbewerkingen voor ondersteunde connectors.

Design

Deze query combineert de vijf jaargewijze Parquet-bestanden en laadt het resultaat in het lakehouse.

Overwegingen voor Fast Copy

• Ondersteunt .csv- en PARQUET-bestandsindelingen .
• Ondersteunt maximaal 1 miljoen rijen per tabel per uitvoering voor Azure SQL Database.
• Het meest geschikt voor extract-load (EL) workflows vóór transformaties.

Results

Wanneer je Fast Copy inschakelt, consumeert Dataflow Gen2 deze dataset ongeveer 11× sneller dan de Dataflow Gen1-baseline (00:09:08 versus 01:38:59) terwijl het rekengebruik wordt verminderd. Zonder Fast Copy is Dataflow Gen2 al ongeveer 2,8× sneller dan Gen1 op dezelfde workload.

Wanneer je Fast Copy inschakelt - de meest optimale Dataflow Gen2-configuratie voor dit scenario - verbruikt de Fast Copy-invoering van vijf geconsolideerde Parquet-bestanden in een lakehouse in scenario 1 14.593 CU-seconden. De volgende tabel splitst dat totaal op per bewerking:

Fast Copy-gegevensbeweging wordt gefactureerd met een snelheid van 1,5 CU per seconde kopieeractiviteit, gemeten als de totale tijd over alle cores waarop de kopie draait. Dataflow Gen2 balanceert automatisch hoeveel kernen elk Fast Copy-scenario gebruikt, zodat een kopie die snel klaar is met muurkloktijd nog steeds vele core-seconden kan beslaan. De resterende zoektijd wordt gefactureerd op Standard Compute (12 CU per seconde tot 10 minuten, daarna 1,5 CU voor elke extra seconde). Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Belangrijke punten

• Het inschakelen van Fast Copy bracht een 99 minuten durende invoer samen tot ongeveer negen minuten, een verbetering van een orde van grootte ten opzichte van dezelfde dataset en hetzelfde M-script.
• Dataflow Gen2 gebruikte ook 83% minder capaciteit dan Dataflow Gen1 voor hetzelfde werk (14.593 tegenover 84.411 CU-seconden), dus de versnelde snelheid ging niet ten koste van extra rekenkracht.
• De versnelling komt voort uit systeemeigen, geparalleliseerde gegevensverplaatsing die de mashup-engine omzeilt, dus dit geldt alleen voor extractie- en laadstappen die voldoen aan de Fast Copy-vereisten. Elke transformatie die het folding-proces onderbreekt, valt terug op de standaardmotor en verliest de voordelen.
• Voor ondersteunde bronnen behandelt u Fast Copy als de standaardinstelling voor opname en reserveert u zwaardere transformatie-engines (behandeld in de volgende scenario's) voor stappen die de gegevens daadwerkelijk opnieuw vormgeven.

Scenario 2: Zware gegevensomvorming

Na het invoeren past het team filtering, null-vervanging en codemapping toe voordat de data in het lakehouse wordt geladen. Deze transformaties kunnen niet volledig naar Parquet worden teruggezet en zijn traag in het geheugen.

Challenges

• Verbeter de transformatiesnelheid voor semi-vouwbare of niet-vouwbare query's.
• Power Query-ontwerp zonder code onderhouden.
• Verminder de totale vernieuwingstijd en -kosten.

Dataset

Alle Parquet-dossiers voor 2021–augustus 2025 zijn samengevoegd tot één geconsolideerd dossier.

Solution

Het team maakt Modern Evaluator mogelijk, een krachtige uitvoeringsengine die is ontworpen voor efficiënte transformatie, met name voor connectors zoals ADLS Gen2 en SharePoint.

Design

Deze query neemt gegevens op uit een geconsolideerd Parquet-bestand, filtert de trip_distance en fare_amount kolommen om waarden boven 0 te houden, vervangt null-waarden door passenger_count 1 en maakt een nieuwe payment_method kolom door de betalingstypen toe te passen voordat de gegevens in lakehouse worden geladen.

Overwegingen van de moderne Evaluator

• Verwachte vernieuwingstijden kunnen aanzienlijk sneller zijn (verschilt per gegevensset en transformaties).
• Geoptimaliseerd voor grote volumes (miljoenen rijen).
• Nuttig voor queries die niet opvouwbaar zijn.
• Faster schrijft naar bestemmingen zoals een meerhuis.

Results

Wanneer je Modern Evaluator inschakelt, voert Dataflow Gen2 deze shaping workload ongeveer 1,7× sneller uit dan de Dataflow Gen1-baseline (00:46:29 vs. 01:19:56), terwijl de no-code Power Query ervaring behouden blijft. Zonder Modern Evaluator is dezelfde werklast slechts ongeveer 1,2× sneller dan Gen1 (01:08:37 versus 01:19:56).

Wanneer je Modern Evaluator inschakelt - de meest optimale Dataflow Gen2-configuratie voor dit scenario - verbruikt de Modern Evaluator-transformatie in scenario 2 van één groot Parquet-bestand naar een lakehouse 10.485 CU-seconden. De volgende tabel splitst dat totaal op per bewerking:

Het werk draait volledig op Standard Compute, dat op twee niveaus wordt gefactureerd: 12 CU per seconde tot 10 minuten, gevolgd door 1,5 CU voor elke extra seconde. De volgende tabel toont hoe de gefactureerde duur en het totaal van de CU-kosten over deze niveaus zijn verdeeld:

Deze tabel toont het gemeten totaal tot één decimale plaats, zodat de niveaus exact optellen; de rest van het artikel rond het af op 10.485 CU-seconden.

De verdeling laat zien hoezeer de eerste laag de rekening domineert: de eerste 10 minuten zijn slechts ongeveer 22% van de run, maar vormen ongeveer 69% van de CU-seconden, omdat elke seconde acht keer meer kost dan een seconde in de tweede tier. Alles voorbij de 10-minutengrens - het grootste deel van een lange shaping run - wordt gefactureerd tegen het veel lagere tarief van 1,5 CU. Modern Evaluator verlaagt de rekening verder door de betaalduur zelf te verkorten, niet door het tarief te veranderen. Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Belangrijke punten

• Zonder Modern Evaluator was Dataflow Gen2 slechts ongeveer 1,2× sneller dan de Dataflow Gen1-baseline op deze shaping workload. Het inschakelen van Modern Evaluator verbeterde de prestaties tot ongeveer 1,7× sneller dan Gen1, op identieke M-scripts en dataset.
• De capaciteitsbesparing is groter dan de tijdsbesparing: Dataflow Gen2 was 1,7× sneller en verbruikte 82% minder capaciteit dan Dataflow Gen1 (10.485 tegenover 56.855 CU-seconden).
• Deze prestatieverbetering komt door een efficiënter uitvoeringspad voor niet-vouwbare en semi-vouwbare queries. Power Query besteedt traditioneel de meeste tijd aan deze queries, vooral wanneer je connectors zoals ADLS Gen2 en SharePoint gebruikt. Krijgt schaal met rijvolume en vormgevingscomplexiteit.
• Gebruik Modern Evaluator als standaard voor flows met veel shaping, waarbij queries niet volledig terugvouwen naar de bron. Hoe groter de dataset en hoe meer transformaties je in de engine toepast, hoe meer impact je kunt verwachten.

Scenario 3: Geoptimaliseerde kopie naar Lakehouse

Het analysesteam van NYC Taxi transformeert een grote tabel en schrijft het resultaat naar een Fabric lakehouse. Het schrijven van dat volume naar de bestemming is het langzaamste deel van de verversing, dus het team wil het schrijven versnellen zonder de transformatielogica te veranderen.

Challenges

• Schrijf snel een groot getransformeerd resultaat weg naar een lakehouse-doel.
• Voorkom dat het bestemmingsschrijven de bottleneck bij de verversing wordt.
• Behoud de no-code Power Query-ervaring en de bestaande transformatielogica.

Dataset

Een Fabric lakehouse-tabel met ongeveer 113 miljoen taxiritrecords in New York, verspreid over 2017 tot medio 2018.

Solution

Het team schakelt Stage inschakelen in en schakelt Geoptimaliseerde kopie naar Lakehouse in op één query die naar een Lakehouse-bestemming schrijft. Geoptimaliseerd kopiëren naar Lakehouse verplaatst het tussenresultaat via een versneld traject naar het lakehouse.

Design

De benchmarkdataflow gebruikt één query met Enable staging ingeschakeld en een lakehouse als bestemming, waarbij V-Order wordt gebruikt. De zoekopdracht leest de ongeveer 113 miljoen rijen tellende NYC-taxitabel van een Fabric lakehouse, sorteert de rijen op ophaaldatum en tijd, en voegt twee afgeleide kolommen toe - het begin van de ophaalmaand en de som van de MTA-belasting en verbeteringstoeslag. Omdat staging is ingeschakeld, schrijft Geoptimaliseerde kopie naar Lakehouse het getransformeerde resultaat via een versneld pad naar het Lakehouse-doel, wat de snelle uitvoering mogelijk maakt.

Geoptimaliseerde teksten voor Lakehouse-overwegingen

• Hiervoor is Enable staging voor de query vereist, evenals een lakehouse-bestemming. Zie Gefaseerde gegevensopties voor Dataflow Gen2 voor meer informatie.
• Het versnelt het schrijven naar het meerhuis zonder de transformatielogica te veranderen.
• Combineer het met V-Order op de bestemming om de output voor downstream analytics te optimaliseren.

Results

Wanneer je Geoptimaliseerde kopie naar Lakehouse inschakelt, voltooit Dataflow Gen2 deze verversing ongeveer 15× sneller dan de Dataflow Gen1-baseline (00:03:34 versus 00:53:20) zonder de transformatielogica te veranderen. Zonder dat is dezelfde gefaseerde dataflow ongeveer 3,6× sneller dan Gen1.

Als je staging, Geoptimaliseerd kopiëren naar Lakehouse en V-Order inschakelt - de best mogelijke Dataflow Gen2-configuratie voor dit scenario - wordt de vernieuwing in scenario 3 van de NYC-taxitabel met 113 miljoen rijen naar een lakehouse-tabel in 00:03:34 voltooid en verbruikt deze 2.391 CU-seconden. De volgende tabel splitst dat totaal op per bewerking:

Het werk wordt volledig gefactureerd op Standard Compute (12 CU per seconde tot 10 minuten, daarna 1,5 CU voor elke extra seconde). De geoptimaliseerde kopie naar het lakehouse verloopt via de mashup-engine, dus er is geen aparte meter. Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Belangrijke punten

• Geoptimaliseerde kopie naar Lakehouse versnelt het schrijven van het getransformeerde resultaat naar de lakehouse-bestemming, waardoor de verversing wordt teruggebracht van 00:14:45 (zonder) naar 00:03:34 - ongeveer 4× sneller dan dezelfde dataflow zonder, en ongeveer 15× sneller dan de Dataflow Gen1-baseline (00:53:20).
• Dit scenario leverde de grootste capaciteitsbesparing op ten opzichte van Dataflow Gen1 in dit artikel: Dataflow Gen2 verbruikte 95% minder capaciteit dan Dataflow Gen1 (2.391 tegenover 50.788 CU-seconden).
• Hiervoor moet Enable staging zijn ingeschakeld voor de query en moet er een lakehouse-bestemming zijn, en het verandert je transformatielogica niet.
• In dit scenario wordt expliciet V-Order gebruikt voor de doeluitvoer.
• Gebruik Optimized copy to Lakehouse telkens wanneer je gestaged data naar een Lakehouse-bestemming schrijft en de schrijftijd de verversing overheerst.

Scenario 4: Bestanden combineren

Het team moet nu tripgegevens aggregeren en verrijken over honderden Parquet-bestanden (maandelijkse partities). Transformaties omvatten het berekenen van tippercentages in de gegevensset.

Challenges

• U moet honderden grote bestanden verwerken.
• Transformaties vereisen groepering, aggregatie en verrijking tussen partities.
• Sequentiële uitvoering wordt een knelpunt.

Dataset

Zesenvijftig Parquet-dossiers (2021–aug 2025).

Solution

Het team maakt Partitioned Compute (Preview) mogelijk, waarmee verwerking over partities wordt geparalleliseerd en resultaten efficiënt samengevoegd worden.

Design

Deze query combineert 56 Parquet-bestanden en maakt een nieuwe aangepaste kolom aan voor fooienpercentage "Tip Pctg" in het Transform Sample-bestand voordat de data in het warehouse wordt geladen.

Overwegingen voor gepartitioneerde berekeningen

• Momenteel in preview en alleen beschikbaar in Dataflow Gen2 met CI/CD; De capaciteit wordt nog steeds verbeterd.
• Gebruik deze als de bron geen ondersteuning biedt voor vouwen.
• Biedt de beste prestaties bij het laden van gegevens naar fasering of het magazijn.
• Gebruik het Sample-transformatiebestand van Combine-bestanden om consistente transformatielogica te garanderen.
• Ondersteunt een subset van transformaties; prestaties variëren.

Results

Partitioned Compute levert ongeveer 21× snellere prestaties dan de Dataflow Gen1-baseline (00:04:48 vs. 01:40:57) op grote, gepartitioneerde, multifile datasets.

Partiële rekenkracht richt zich op muurkloktijd in plaats van kosten. Het draait partities parallel zodat de verversing sneller klaar is, maar die paralleliteit verspreidt het werk over meer rekenkracht in plaats van te verminderen, waardoor de kosten meestal vergelijkbaar zijn met of hoger dan dezelfde werklast zonder de functie. CU-verbruik werd voor dit scenario niet gemeten, dus dit artikel vermeldt alleen de looptijd.

Belangrijke punten

• Gepartitioneerde compute heeft een versnelling van 21× geleverd ten opzichte van de Dataflow Gen1-basislijn en werd in minder dan vijf minuten voltooid. Omdat de mogelijkheid nog in preview is en nog steeds verbeterd wordt, kun je verwachten dat deze cijfers zich zullen ontwikkelen.
• Behandel Partitioned Compute als een manier om sneller klaar te zijn, niet om minder uit te geven. Parallelisme verkort de muurkloktijd door partities tegelijkertijd te draaien, waardoor de kosten doorgaans vergelijkbaar zijn met of hoger dan dezelfde werklast zonder.
• De winst komt van het parallel verwerken van elke partitie en het samenvoegen van de resultaten, dus het meest effectief is op meerdere bestanden of gepartitioneerde bronnen waarbij vouwen niet beschikbaar is en sequentiële evaluatie het knelpunt is.
• Gebruik het Sample-transformatiepatroon uit Combine-bestanden zodat transformatielogica consequent per partitie wordt toegepast. Partitioned Compute ondersteunt momenteel een subset van transformaties, dus controleer of je vormingsstappen compatibel zijn voordat je erop vertrouwt, en controleer opnieuw naarmate de preview zich ontwikkelt.
• Voor grote volumes, gepartitioneerde opname naar fasering of een magazijn, maakt u Partitioned Compute de standaardinstelling en combineert u deze indien mogelijk met moderne evaluator. Omdat het nog in preview is, valideer het dan met je eigen werklast voordat je het gebruikt voor productieverversingen.

Kosten in de loop van de tijd (toen versus nu)

Dataflow Gen2 is in de loop van de tijd kostenefficiënter geworden om te draaien. Dezelfde logica, op dezelfde data, verbruikt vandaag minder kredietpunten dan vroeger, zonder dat je zoekopdrachten hoeven te wijzigen.

In deze vergelijking betekent dat dezelfde werklast onder de prijzen en mogelijkheden die algemeen beschikbaar waren vóór 2026. Nu betekent dat dezelfde workload vandaag wordt uitgevoerd met de beste algemeen beschikbare instellingen (zoals Modern Evaluator en Fast Copy). Beide kolommen gebruiken de best algemeen beschikbare configuratie van hun periode. De huidige cijfers worden gemeten op basis van capaciteitstelemetrie. De cijfers van die tijd zijn schattingen van wat dezelfde werklast op dat moment zou hebben verbruikt, omdat de eerdere servicecondities vandaag de dag niet meer kunnen worden gereproduceerd.

Zo zou de zware vormingslast in Scenario 2 vóór 2026 naar schatting 66.164 CU-seconden hebben verbruikt, en verbruikt nu 10.485 CU-seconden. Deze wijziging is een 84% reductie met identieke logica en zonder enige wijzigingen. Twee verbeteringen versterken elkaar en maken dit mogelijk. Ten eerste kreeg Standard Compute een getrapte prijsstructuur: in plaats van een vast tarief van 16 CU voor elke seconde van de hele run, worden alleen de eerste 10 minuten gefactureerd tegen 12 CU per seconde en wordt elke seconde daarna gefactureerd tegen slechts 1,5 CU, waardoor de lange staart van een shaping-workload nu nog maar een fractie kost van wat die eerst kostte. Ten tweede verkort Modern Evaluator – algemeen beschikbaar sinds april 2026 – de factuurduur zelf, zodat er minder seconden zijn om te factureren op beide niveaus. Dat een kortere run wordt gefactureerd tegen een veel goedkoper long-tailtarief, verklaart waarom het CU-verbruik zo sterk daalt, en daarom is het combineren van Modern Evaluator met de huidige getrapte prijsstelling zo belangrijk voor dataflows met veel transformatiestappen.

De Fast Copy-inname in scenario 1 zou vóór 2026 naar schatting 17.055 CU-seconden hebben verbruikt en verbruikt nu 14.593 CU-seconden. Deze verandering is een vermindering van 14%, gedreven doordat de Standard Compute rate daalt van een vaste 16 CU per seconde naar 12 CU per seconde tot 10 minuten; het Fast Copy-gegevensbewegingsgedeelte is ongewijzigd. De geoptimaliseerde kopie van Lakehouse-verversing in scenario 3 zou vóór 2026 naar schatting 14.173 CU-seconden hebben verbruikt, en verbruikt nu 2.391 CU-seconden. Deze wijziging is een vermindering van 83%. Elke vergelijking gebruikt dezelfde belasting met de best algemeen beschikbare configuratie uit die periode.

Veelgestelde vragen

Hoe wordt Dataflow Gen2 gefactureerd?

Dataflow Gen2 factureert elke motor afzonderlijk in Fabric Capacity Units (CU's). Standard Compute (de mashup-engine) factureert 12 CU per seconde tot 10 minuten van elke query, gevolgd door 1,5 CU voor elke extra seconde. Fast Copy (dataverplaatsing) rekent 1,5 CU voor elke seconde kopieeractiviteit, gemeten over alle cores waarop de kopie draait. Je wordt alleen gefactureerd voor de berekening die elke query daadwerkelijk gebruikt, zonder vaste kosten per verversing en zonder kosten voor inactieve tijd. Voor het volledige tariefmodel, zie Dataflow Gen2 prijsstelling.

Is de prijsstelling van Dataflow Gen2 flexibel?

Yes. Dataflow Gen2 factureert alleen voor de berekeningen die elke query daadwerkelijk gebruikt, gemeten in Fabric Capacity Units (CU's). Er zijn geen vaste kosten per vernieuwing, geen kosten voor inactieve tijd en geen directe kosten tijdens de ontwerptijd voor native-functionaliteit. Bij de benchmarks in dit artikel verbruikte een volledige verversing 14.593 CU-seconden voor een Fast Copy-gegevensopname en 10.485 CU-seconden voor een zware gegevensvormingswerkbelasting.

Hoe kan ik mijn Dataflow Gen2-kosten inschatten voordat ik de volledige werklast uitvoer?

Voer een kleine, representatieve vernieuwing uit en meet wat het verbruikt, in plaats van de volledige oplossing te bouwen en daarna de kosten te ontdekken. Om de kosten op deze manier te schatten:

• Bouw de dataflow op tegen een sample of een enkele partitie van je bron in plaats van de volledige dataset.
• Ververs het één keer en lees dan de CU-seconden die het verbruikt in de Microsoft Fabric Capacity Metrics-app.
• Controleer de dataflow-verversingsgeschiedenis om te zien welke engines draaiden, want Standard Compute en Fast Copy worden apart gefactureerd.
• Deel de gemeten CU-seconden door het aantal rijen of GB dat je hebt verwerkt om een tarief per eenheid te berekenen, en vermenigvuldig dat vervolgens met het volledige datavolume.

Raadpleeg voor de volledige methode Geschatte kosten berekenen met de Fabric Metrics-app en de geschiedenis van gegevensstroomvernieuwingen.

Hoe lang duurt een Gen2-verversing van Dataflow?

Het hangt af van het datavolume en van de transformaties die je toepast. In de benchmarks in dit artikel varieerden de Dataflow Gen2-refreshes van 00:03:34 voor een geoptimaliseerde kopie van een tabel met 113 miljoen rijen naar een lakehouse tot 00:46:29 voor een zware transformatiewerklast op basis van een groot geconsolideerd Parquet-bestand. Een bulkkopie van vijf geconsolideerde Parquet-bestanden voltooid in 00:09:08 met Fast Copy, en een combinatie van 56 gepartitioneerde bestanden voltooid in 00:04:48 met Partitioned Compute (Preview). Voor de volledige tijden per scenario, zie de samenvatting van de benchmarkresultaten.

Welke Dataflow Gen2-functionaliteit verlaagt de kosten het meest?

Het hangt af van de werklast, omdat elke functionaliteit een andere bottleneck aanpakt: Fast Copy voor transformatievrije ingestie, Modern Evaluator voor niet-vouwbare datavorming, geoptimaliseerde kopie naar Lakehouse voor het versnellen van schrijfopdrachten naar een lakehouse-bestemming, en Partitioned Compute (Preview) voor grote multifile datasets. Gemeten tegen de Dataflow Gen1-baseline leverde geoptimaliseerde kopie naar Lakehouse de grootste besparing op in deze benchmarks, namelijk 95% minder CU-seconden. Vergeleken met equivalente Dataflow Gen2-runs vóór 2026, leverde Modern Evaluator de grootste geschatte vermindering op, met 84% minder CU-seconden op een zware shaping workload. Om een capaciteit aan je werklast te koppelen, zie de snelle referentie.

Hoe kan ik een Dataflow Gen2 sneller laten verversen?

Koppel de functie aan de bottleneck: schakel Fast Copy in voor ondersteunde extract-loadbronnen, schakel Modern Evaluator in voor transformaties die niet kunnen worden gevouwen, schakel Optimized copy to Lakehouse in wanneer u tijdelijk opgeslagen gegevens naar een lakehouse-bestemming schrijft, en gebruik Partitioned Compute (Preview) voor grote gepartitioneerde gegevenssets of gegevenssets met meerdere bestanden. Elke mogelijkheid wordt in dit artikel vergeleken met de Dataflow Gen1-baseline, waarbij wordt aangegeven welke specifieke snelheidswinst deze opleverde.

Moet ik mijn zoekopdrachten aanpassen om deze verbeteringen te krijgen?

No. Elke benchmark in dit artikel draaide hetzelfde M-script over beide generaties en elke configuratie. Fast Copy, Modern Evaluator en Optimized copy to Lakehouse zijn instellingen die je inschakelt, en die veranderen hoe de engine je queries uitvoert in plaats van de queries zelf. Een kanttekening: Fast Copy geldt alleen voor stappen die aan de vereisten voldoen, dus een transformatie die query folding onderbreekt, valt terug op de standaard-engine en gaat het voordeel verloren. Zie Fast copy in Dataflow Gen2 voor deze vereisten.

Is Dataflow Gen2 sneller en goedkoper dan Dataflow Gen1?

Voor workloads met groot volume zoals die in dit artikel worden genoemd, is het op beide punten ja. Dataflow Gen2 liep tussen de 1,7× en 21× sneller dan de Dataflow Gen1-baseline op dezelfde data en hetzelfde M-script, en verbruikte 82% tot 95% minder capaciteitseenheden in de scenario's waarin beide generaties werden gemeten. Bijvoorbeeld, een bulk copy die 01:38:59 duurde in Dataflow Gen1 was in Dataflow Gen2 afgerond op 00:09:08 met Fast Copy - ongeveer 11× sneller. Het verschil is kleiner bij kortlopende datastromen, omdat een query die binnen de eerste 10 minuten wordt afgerond nooit het goedkopere 1,5 CU-niveau bereikt, waardoor de winst groeit met het datavolume en de looptijd. Voor de volledige vergelijking per scenario, zie de samenvatting van de benchmarkresultaten.

Hoeveel capaciteit verbruikt Dataflow Gen1 vergeleken met Dataflow Gen2?

In de scenario's waarin beide generaties werden gemeten, verbruikte Dataflow Gen1 meerdere keren meer capaciteit dan Dataflow Gen2 voor hetzelfde grote volume. De Fast Copy-opname verbruikte 84.411 CU-seconden op Dataflow Gen1 tegenover 14.593 CU-seconden op Dataflow Gen2, een vermindering van 83%. De zware datavormingslast verbruikte 56.855 CU-seconden op Dataflow Gen1 tegenover 10.485 CU-seconden op Dataflow Gen2, een vermindering van 82%. De geoptimaliseerde kopie naar Lakehouse-werklast verbruikte 50.788 CU-seconden op Dataflow Gen1 tegenover 2.391 CU-seconden op Dataflow Gen2, een vermindering van 95%. Deze drie verversingen duren ruim langer dan 10 minuten, dus het grootste deel van hun Dataflow Gen2-duur wordt gefactureerd tegen het lagere tarief van 1,5 CU. Voor de cijfers per scenario, zie de samenvatting van de benchmarkresultaten.

Moet ik mijn Dataflow Gen1 dataflows verplaatsen naar Dataflow Gen2?

Yes. Dataflow Gen2 is de huidige generatie dataflows in Microsoft Fabric, dus plan om eventuele Dataflow Gen1 dataflows daarheen te verplaatsen. Over de benchmarks in dit artikel heen voltooide Dataflow Gen2 hetzelfde M-script 1,7× tot 21× sneller, terwijl het 82% tot 95% minder capaciteitseenheden verbruikte dan Dataflow Gen1 - dezelfde logica, sneller draaiend en minder van je capaciteit gebruikend. De mogelijkheden die die voordelen leveren - Fast Copy, Modern Evaluator, Optimized copy to Lakehouse en Partitioned Compute - zijn alleen beschikbaar in Dataflow Gen2, dus de kloof wordt steeds groter naarmate die mogelijkheden verbeteren. Verwacht de grootste verbeteringen bij grootschalige, langlopende verversingen. Test tijdens de migratie een representatieve werklast om de winst op je eigen data en capaciteit te bevestigen. Om te beginnen, zie het overzicht van Dataflow Gen2.

Is Dataflow Gen2 in de loop van de tijd kostenefficiënter geworden?

Yes. De zware shaping-workload in scenario 2 zou voor 2026 naar schatting 66.164 CU-seconden hebben verbruikt en verbruikt nu 10.485 CU-seconden met de momenteel algemeen beschikbare functionaliteit, goed voor een geschatte reductie van 84% met identieke logica en zonder dat hiervoor wijzigingen nodig zijn. Voor cijfers per scenario, zie Kosten over tijd (toen versus nu).

Zijn oudere Dataflow Gen2 kosten- en prestatiecijfers nog steeds accuraat?

Niet noodzakelijk. De cijfers in dit artikel weerspiegelen het huidige Dataflow Gen2 prijsmodel - 12 CU voor elke seconde tot 10 minuten Standard Compute, gevolgd door 1,5 CU voor elke extra seconde - samen met huidige mogelijkheden zoals Fast Copy en Modern Evaluator. Omdat Dataflow Gen2 in de loop van de tijd sneller en kostenefficiënter is geworden, kunnen benchmarkcijfers of kostenramingen die vóór 2026 zijn gepubliceerd de huidige kosten overschatten of de huidige prestaties onderschatten. Valideer je eigen workloads met de Microsoft Fabric Capacity Metrics-app.

Verwante onderwerpen

• Dataflow Gen2 prijsstelling
• Snelle kopie in Dataflow Gen2
• Moderne evaluator voor gegevensstroom Gen2 met CI/CD
• Opties voor gefaseerde gegevens voor Dataflow Gen2
• Partitioned Compute for Dataflow Gen2 (Preview)