Dataflyt gen2 priser for Data Factory i Microsoft Fabric

Dataflow Gen2 hjelper deg med å forme og transformere data på en enkel måte. Det tilbyr et lavkodegrensesnitt og over 300 innebygde data- og AI-transformasjoner, alt drevet av den kjente Power Query-opplevelsen du finner i Excel, Power BI, Power Platform og Dynamics 365. Dataflow Gen2 støtter også Spark-støttet transformasjonsutførelse gjennom mapping data flow (MDF)-transformasjoner for native og migrerte arbeidsbelastninger.

Denne prisen gjelder for alle Fabric-kapasitets-SKU-er (F2 og oppover). Prising gjelder ikke for Fabric prøvekapasiteter. For virkelige CU-forbruksbenchmarks på tvers av vanlige scenarier, se Dataflow Gen2 kostnads- og ytelsesbenchmarks.

Når du publiserer en dataflyt, oppretter den en definisjon som kjører under oppdateringen. Dataflow Gen2-motoren bruker denne definisjonen til å planlegge og administrere hvordan spørringer går på tvers av datakilder, gateways og beregningsmotorer. Den bygger bord i oppsamlingslager eller sender dem til din valgte destinasjon, slik at du får pålitelige resultater uten tunge løft.

Diagrammet viser komponenter i Data Factory Dataflow Gen2-arkitekturen, inkludert Lakehouse som brukes til å trinnvise data som importeres, og Warehouse-elementet som brukes som en beregningsmotor for å skrive resultater til staging eller output raskere. Når du ikke kan bruke Warehouse compute, eller når du deaktiverer staging for en spørring, henter Mashup Engine ut, transformerer eller laster dataene til staging eller datadestinasjoner. For å lære mer om hvordan Dataflow Gen2 fungerer, se Data Factory Spotlight: Dataflow Gen2.

Dataflow Gen2 kan kjøre arbeidsbelastninger ved hjelp av enten Mashup Engine eller Spark Engine. Når MDF-transformasjoner brukes inne i Dataflow Gen2, brukes Spark-støttet beregning for transformasjonsutførelse og databehandling.

Når du oppdaterer eller publiserer et Gen2-element for dataflyt, forbrukes strukturkapasitetsenheter for følgende motorer:

• Standard databehandling: Du belastes for det basert på spørringsevalueringstiden på tvers av alle dataflytspørringene som kjører gjennom nettflettingsmotoren.
• Dataflytberegning i høy skala: Du belastes når oppsamling er aktivert, basert på forbruksvarigheten for Lakehouse (oppsamlingslagring) og Lager (Storage Compute) SQL-motoren.
• Rask kopiering: Du belastes når hurtigkopieringskoblinger er aktivert og kan brukes i dataflyten, basert på varigheten av kopieringsjobben. Fast Copy kjører parallelt på tvers av flere kjerner, så denne varigheten er den totale tiden brukt på alle kjernene kopijobben bruker, ikke veggklokketiden for oppdateringen.
• Spark Compute: Du belastes basert på Spark-eksekveringstid og Spark-kjernebruk når MDF-transformasjoner utføres under pipeline-kjøringer. MDF-transformasjonsarbeidsbelastninger i Dataflow Gen2 utføres for øyeblikket gjennom Fabric Pipeline Dataflow-aktiviteten.

Prismodell for dataflyt gen2

Hvordan prissatsene fastsettes

Priser for Dataflow Gen2 avhenger av hvordan hver spørring bruker databehandling. For standard databehandling kjører spørringer på nettflettingsmotoren. Avhengig av om dataflyten er Dataflow Gen2 (CI/CD), varierer vurderingen.

I Dataflow Gen2 (CI/CD) brukes en to-lags rate på spørringsvarigheten:

• Hvis en spørring varer under 10 minutter, er den vurdert til 12 CU
• Hvis den går lenger, er hvert ekstra sekund vurdert til 1.5 CU.

Hvis dataflyt Gen2 er ikke-CI/CD, er hastigheten 16 CU brukt på hele spørringsvarigheten.

For høyskalascenarier – når staging er aktivert på, kjøres spørringer på Lakehouse- eller Warehouse SQL-motoren. Hvert sekund med databehandlingstid bruker 6 CU-sekunder, så lengre spørringer bruker mer.

Hvis du aktiverer rask kopiering, er det en egen frekvens for dataflytting: 1,5 CU, basert på hvor lenge aktiviteten kjører. Fast copy balanserer automatisk hvert scenario for å bestemme hvor mange kjerner som skal brukes, og den fakturerte varigheten er den totale tiden brukt på alle disse kjernene i stedet for veggklokketiden du ser i oppdateringshistorikken. Å spre arbeidet over flere kjerner forkorter den forløpte tiden, mens den fakturerte varigheten tar hensyn til hver kjerne kopijobben bruker.

På slutten av hver kjøring legger Dataflow Gen2 sammen CU-bruken fra hver motor og fakturerer den basert på Fabric-kapasitetsprisene i ditt område.

CU-rentetabell

Prising av virtuell nettverksdatagateway med Dataflow Gen2

Datagatewayen for virtuelt nettverk (VNET) faktureres som et additivt infrastrukturgebyr, knyttet til en stoffkapasitet. Dette betyr at den har sin egen måler og pådrar seg en regning som er konsekvent på tvers og ekstra til alle Fabric element kjører.

Den totale regningen for å kjøre Dataflow Gen2 gjennom virtuelt nettverk Data Gateway beregnes som: Dataflow Gen2 Charge + virtuelt nettverk Data Gateway Charge.

virtuelt nettverk Data Gateway Charge er proporsjonal med din bruk av virtuelt nettverk Data Gateway, hvor bruk defineres som oppetid, eller når som helst virtuelt nettverk Data Gateway er på.

virtuelt nettverk Data Gateway CU-forbruksrate: 4 CU

Mer informasjon at Priser og fakturering for virtuelle nettverksdatagatewayer.

Endringer i forbrukshastigheten for Microsoft Fabric-arbeidsbelastning

Forbrukssatser kan endres når som helst. Microsoft bruker rimelige tiltak for å varsle via e-post og varsling i produktet. Endringer er effektive på datoen som er angitt i produktmerknadeneog Microsoft Fabric-bloggen. Hvis endringer i en forbrukssats for arbeidsbelastning i Microsoft Fabric øker kapasitetsenhetene (CU) som kreves for å bruke en bestemt arbeidsbelastning, kan kunder bruke avbestillingsalternativene som er tilgjengelige for den valgte betalingsmåten.

Beregn estimerte kostnader ved hjelp av Fabric Metrics-appen og historikk for oppdatering av dataflyten

Microsoft Fabric Capacity Metrics-appen gir synlighet i kapasitetsbruk for alle Fabric-arbeidsområder som er knyttet til en kapasitet. Den brukes av kapasitetsadministratorer til å overvåke ytelsen til arbeidsbelastninger og deres bruk sammenlignet med kjøpt kapasitet. Bruk av Metrics-appen er den mest nøyaktige måten å estimere kostnadene ved oppdatering av Dataflyt Gen2 på. For å forstå hvordan den lagdelte prisingen påvirket dine standard beregningskostnader, må du også bruke Dataflow oppdateringshistorikk.

Disse øvelsene viser deg hvordan du validerer kostnader for både CI/CD- og ikke-CI/CD-dataflyter. For CI/CD-dataflyten med standard beregning gis et gjennomarbeidet eksempel, etterfulgt av instruksjoner for alle andre scenarier.

Øvelse 1: Standard beregning for en CI/CD-dataflyt

Følgende dataflyt har to spørringer som involverer transformasjon, og oppsamling er deaktivert.

Dataflow Gen2 bruker kun standard beregning.

For hver spørring får du tilgang til spørringsvarigheten fra oppdateringsloggen og bruker følgende formel til å beregne CU-forbruket per spørring.

For den første spørringen er varigheten 2 131 sekunder.

På samme måte, for den andre spørringen, er varigheten 913 sekunder

StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)

For spørring 1 er det beregnede forbruket 9497 CU-sekunder, og for spørring 2 er det beregnede forbruket 7670 CU-sekunder.

Aggregert kapasitetsforbruket i CU-sekunder, og valider forbruket i Infrastrukturkapasitetsmåledata-appen. I dette scenarioet viser måledataappen 17 180 CU-sekunder som standard databehandlingsbruk, som kan sammenlignes godt med det beregnede forbruket på 17 167 CU-sekunder. Eventuelle avvik kan skyldes avrunding i periodisk rapportering av bruk.

Øvelse 2: Standard beregning for en ikke-CI/CD dataflyt

Når dataflyten din involverer transformasjon og staging er deaktivert, bruker Dataflow Gen2 kun standard beregning.

For hver spørring får du tilgang til spørringsvarigheten fra oppdateringsloggen og bruker følgende formel til å beregne CU-forbruket per spørring.

StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16

Aggregert kapasitetsforbruket i CU-sekunder, og valider forbruket i Infrastrukturkapasitetsmåledata-appen.

Øvelse 3: Forståelse av høyt skala dataforbruk (både CI/CD og ikke-CI/CD dataflyt)

Hvis dataflowen din bruker staging, for å finne ut hvor mye High Scale-beregning du har brukt, åpne Fabric Capacity Metrics-appen og filtrer etter navnet på Dataflowen din. Høyreklikk navnet, se etter databehandling i høy skala i listen over operasjoner, og kontroller varigheten.

HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6

Øvelse 4: Forståelse av raskt kopiberegningsforbruk (både CI/CD og ikke-CI/CD dataflyter)

Hvis dataflowen din bruker hurtigkopiering, for å finne ut hvor mye Data Movement-beregning du brukte, åpne Fabric Capacity Metrics-appen og filtrer etter navnet på Dataflowen din. Høyreklikk på navnet, se etter Dataflytting i listen over operasjoner, og kontroller varigheten.

FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5

Relatert innhold

• Eksempelscenarioer for priser
• Pipelines for prissetting
• Dataflow Gen2 kostnads- og ytelsesbenchmarks