Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Met Gegevensstroom Gen2 kunt u gegevens eenvoudig vormgeven en transformeren. Het biedt een interface met weinig code en meer dan 300 ingebouwde gegevens- en AI-transformaties, allemaal mogelijk gemaakt door de vertrouwde Power Query ervaring die u vindt in Excel, Power BI, Power Platform en Dynamics 365. Dataflow Gen2 ondersteunt ook door Spark ondersteunde uitvoering van transformaties via transformaties voor mapping data flow (MDF) voor natieve en gemigreerde workloads.
Deze prijsstelling geldt voor alle Fabric capaciteits-SKU's (F2 en hoger). Prijzen zijn niet van toepassing op Fabric proefcapaciteiten. Voor realistische CU-verbruiksbenchmarks in veelvoorkomende scenario's, zie Dataflow Gen2 kosten- en prestatiebenchmarks.
Wanneer u een gegevensstroom publiceert, wordt er een definitie gemaakt die wordt uitgevoerd tijdens het vernieuwen. De engine van Dataflow Gen2 gebruikt die definitie om te plannen en te beheren hoe query’s worden uitgevoerd over gegevensbronnen, gateways en compute-engines heen. Het bouwt tabellen in tijdelijke opslag of stuurt ze naar uw gekozen bestemming, zodat u zonder al het zware werk betrouwbare resultaten krijgt.
Het diagram toont onderdelen van de Data Factory Dataflow Gen2-architectuur, waaronder het Lakehouse dat wordt gebruikt om opgenomen gegevens tijdelijk op te slaan, en het Warehouse-item dat als rekencapaciteit wordt gebruikt om resultaten sneller naar staging of uitvoer te schrijven. Wanneer u Warehouse Compute niet kunt gebruiken of wanneer u fasering voor een query uitschakelt, worden de gegevens door de Mashup-engine geëxtraheerd, getransformeerd of geladen naar faserings- of gegevensbestemmingen. Zie Data Factory Spotlight: Dataflow Gen2 voor meer informatie over hoe Dataflow Gen2 werkt.
Dataflow Gen2 kan werkbelastingen uitvoeren met de Mashup-engine of Spark-engine. Wanneer MDF-transformaties worden gebruikt in Dataflow Gen2, wordt door Spark ondersteunde berekeningen gebruikt voor de uitvoering en gegevensverwerking van transformaties.
Wanneer u een Dataflow Gen2-item vernieuwt of publiceert, worden Fabric-capaciteitseenheden gebruikt voor de volgende engines:
- Standard Compute: er worden kosten in rekening gebracht op basis van de evaluatietijd van de query in al uw gegevensstroomquery's die worden uitgevoerd via de Mashup-engine.
- High Scale Dataflow Compute: Er worden kosten in rekening gebracht wanneer fasering is ingeschakeld, gebaseerd op het verbruik van de SQL-engine in Lakehouse (faseringsopslag) en Warehouse (Storage Compute).
- Snel kopiëren: er worden kosten in rekening gebracht wanneer snelle kopieerconnectors zijn ingeschakeld en kunnen worden gebruikt in de gegevensstroom, op basis van de duur van de kopieertaak. Fast Copy draait parallel op meerdere cores, dus deze tijdsduur is de totale tijd die opgeteld over alle cores voor de kopieertaak wordt besteed, niet de werkelijke verstreken tijd van de verversing.
- Spark Compute: er worden kosten in rekening gebracht op basis van de uitvoeringsduur van Spark en het spark-kerngebruik wanneer MDF-transformaties worden uitgevoerd tijdens pijplijnuitvoeringen. MDF-transformatieworkloads in Dataflow Gen2 worden momenteel uitgevoerd via de Dataflow-activiteit van Fabric Pipeline.
Prijsmodel voor Dataflow Gen2
Hoe prijstarieven worden bepaald
Prijzen voor Dataflow Gen2 zijn afhankelijk van de wijze waarop elke query rekenkracht gebruikt. Voor standaard berekenen worden query's uitgevoerd op de mashup-engine. Afhankelijk van of uw gegevensstroom Dataflow Gen2 (CI/CD) is, varieert de beoordeling.
In Dataflow Gen2 (CI/CD) wordt een frequentie van twee lagen toegepast op de queryduur:
- Als een query minder dan 10 minuten wordt uitgevoerd, wordt deze beoordeeld op 12 CU
- Als het langer duurt, wordt elke extra seconde beoordeeld op 1,5 CU.
Als uw Dataflow Gen2 niet-CI/CD is, is het tarief 16 CU voor de volledige duur van de query toegepast.
Note
Wanneer je gepartitioneerde rekenkracht gebruikt, evalueert Dataflow Gen2 elke partitie als een eigen werkeenheid. Standaard rekenkosten zijn gebaseerd op de som van de verwerkingsduur van elke partitie. Het parallel draaien van partities verkort de totale (muurklok) tijd om de run te voltooien, terwijl het totale CU-verbruik de gecombineerde rekenkracht van alle partities weerspiegelt.
Voor grootschalige scenario's worden query's, wanneer staging is ingeschakeld, uitgevoerd op de SQL-engine van Lakehouse of Warehouse. Elke seconde van de rekentijd maakt gebruik van 6 CU seconden, zodat langere query's meer verbruiken.
Als u snel kopiëren inschakelt, is er een afzonderlijke snelheid voor gegevensverplaatsing: 1,5 CU, op basis van hoe lang de activiteit wordt uitgevoerd. Fast copy balanceert automatisch elk scenario om te bepalen hoeveel cores gebruikt moeten worden, en de gefactureerde duur is de totale tijd die over al die cores wordt besteed, in plaats van de muurkloktijd die je in de verversingsgeschiedenis ziet. Door het werk over meer kernen te verdelen, wordt de totale looptijd korter, terwijl de gefactureerde tijd elke kern omvat die door de kopieertaak wordt gebruikt.
Aan het einde van elke run telt Dataflow Gen2 het CU-gebruik van elke motor op en factureert dit op basis van de Fabric capaciteitstarieven in uw regio.
CU-tarieftabel
| Type gegevensstroom Gen2-engine | Verbruiksmeters | Verbruikssnelheid van Fabric CU | Granulariteit van verbruiksrapportage |
|---|---|---|---|
| Standaard rekenkracht (Dataflow Gen2 (CI/CD)) | Op basis van de uitvoeringsduur van elke mashup-engine bij query's in seconden. Standard Compute heeft twee prijscategorieën, afhankelijk van de queryduur. | - Voor elke seconde tot 10 minuten, 12 CU - Voor elke seconde na 10 minuten, 1,5 CU |
Per gegevensstroom Gen2-item |
| Standard Compute (niet-CI/CD) | Op basis van de uitvoeringsduur van elke mashup-engine bij query's in seconden. | 16 CU | Per gegevensstroom Gen2-item |
| Berekening van gegevensstromen op grote schaal | Op basis van de uitvoeringsduur in seconden van de SQL-engine voor Lakehouse/Warehouse (met fasering ingeschakeld). | 6 Compute Units | Per werkruimte |
| Gegevensverplaatsing | Gebaseerd op de duur van de Fast Copy-uitvoering, gemeten als de totale kerntijd in seconden opgeteld over alle cores die de kopieeropdracht gebruikt. Dataflow balanceert automatisch het aantal kernen dat elk snelle kopieerscenario gebruikt. | 1,5 CU | Per gegevensstroom Gen2-item |
| Mapping Gegevensstroom transformeert Compute (preview) | Op basis van de uitvoeringsduur van MDF-transformatie in seconden met behulp van compute met Spark in Dataflow Gen2. | 1,5 CU per Spark-kernuur Voorbeeld: Een Spark-cluster met 8 kernen verbruikt 12 CU voor elk uur van uitvoering (8 × 1,5 CU). |
Per gegevensstroom Gen2-item |
Prijzen voor de gegevensgateway voor virtuele netwerken met Dataflow Gen2
De gegevensgateway van het virtuele netwerk (VNET) wordt gefactureerd als een extra infrastructuurheffing die is gekoppeld aan een Fabric-capaciteit. Dit betekent dat het een eigen meter heeft en een factuur in rekening brengt die consistent is en extra is voor alle Fabric-itemuitvoeringen.
De totale factuur voor het uitvoeren van Dataflow Gen2 via de Virtual Network Data Gateway wordt berekend als: Dataflow Gen2 Charge + Virtual Network Data Gateway Charge.
De Virtual Network Data Gateway-kosten zijn evenredig met uw gebruik van de Virtual Network Data Gateway, waarbij het gebruik wordt gedefinieerd als uptime of wanneer de Virtual Network Data Gateway is ingeschakeld.
Verbruikssnelheid van Virtual Network Data Gateway-CU: 4 CU
Meer informatie vindt u op prijzen en facturering voor Virtual Network Data Gateways.
Wijzigingen in de consumptiesnelheid van Microsoft Fabric-workloads
Verbruikstarieven kunnen op elk gewenst moment worden gewijzigd. Microsoft gebruikt redelijke inspanningen om kennisgeving te doen via e-mail en in-productmelding. Wijzigingen zijn van kracht op de datum die wordt vermeld in de releaseopmerkingen en het Microsoft Fabric-blog. Als een wijziging in het Microsoft Fabric-werkloadverbruikstarief de capaciteitseenheden (CU) die nodig zijn om een bepaalde workload te gebruiken aanzienlijk verhoogt, kunnen klanten gebruikmaken van de annuleringsopties die beschikbaar zijn voor de gekozen betalingsmethode.
Geschatte kosten berekenen met behulp van de Fabric app voor metrische gegevens en de vernieuwingsgeschiedenis van de gegevensstroom
De Microsoft Fabric Capacity Metrics-app biedt inzicht in het capaciteitsgebruik voor alle Fabric-werkruimten die zijn gekoppeld aan een capaciteit. Het wordt gebruikt door capaciteitsbeheerders om de prestaties van workloads en hun gebruik te bewaken in vergelijking met aangeschafte capaciteit. Het gebruik van de Metrics-app is de meest nauwkeurige manier om de kosten van vernieuwingsuitvoeringen van Dataflow Gen2 te schatten. Om te begrijpen hoe de gelaagde prijsstelling uw standaard berekeningskosten heeft beïnvloed, moet u ook de vernieuwingsgeschiedenis van Dataflow gebruiken.
Deze oefeningen laten zien hoe u kosten valideert voor zowel CI/CD- als niet-CI/CD-gegevensstromen. Voor de CI/CD-gegevensstroom met standaard berekenen wordt een werkvoorbeeld gegeven, gevolgd door instructies voor alle andere scenario's.
Oefening 1: Standaard berekenen voor een CI/CD-gegevensstroom
De volgende gegevensstroom heeft twee query's met betrekking tot transformatie en fasering is uitgeschakeld.
Gegevensstroom Gen2 maakt alleen gebruik van de standaard rekenkracht.
Voor elke query opent u de queryduur uit de vernieuwingsgeschiedenis en past u de volgende formule toe om het CU-verbruik per query te berekenen.
Voor de eerste query is de duur 2131 seconden.
Op dezelfde manier is de duur voor de tweede query 913 seconden
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Voor query 1 is het berekende verbruik 9497 CU seconden en voor query 2 is het berekende verbruik 7670 CU seconden.
Aggregeer het capaciteitsverbruik in CU-seconden en valideer het verbruik in de Fabric capaciteitsmetriek app. In dit scenario toont de app met metrische gegevens 17.180 CU seconden als standaardrekengebruik dat goed is vergeleken met het berekende verbruik van 17.167 CU seconden. Eventuele discrepanties kunnen worden veroorzaakt door afronding in periodieke rapportage van het gebruik.
Oefening 2: Standaard berekenen voor een niet-CI/CD-gegevensstroom
Wanneer uw gegevensstroom transformatie omvat en staging is uitgeschakeld, gebruikt Dataflow Gen2 alleen de standaardcompute.
Voor elke query opent u de queryduur uit de vernieuwingsgeschiedenis en past u de volgende formule toe om het CU-verbruik per query te berekenen.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Aggregeer het capaciteitsverbruik in CU-seconden en valideer het verbruik in de Fabric capaciteitsmetriek app.
Oefening 3: Inzicht krijgen in rekenverbruik op grote schaal (zowel CI/CD als niet-CI/CD-gegevensstromen)
Als uw dataflow staging gebruikt, opent u de Fabric Capacity Metrics App en filtert u op de naam van uw dataflow om te zien hoeveel High Scale-rekenkracht u hebt gebruikt. Klik met de rechtermuisknop op de naam, zoek naar berekeningen op hoge schaal in de lijst met bewerkingen en controleer de duur.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Oefening 4: Inzicht krijgen in het snelle rekenverbruik van kopiëren (zowel CI/CD als niet-CI/CD-gegevensstromen)
Als uw gegevensstroom gebruikmaakt van snel kopiëren, opent u de app Fabric Capacity Metrics en filtert u op de naam van uw gegevensstroom om te achterhalen hoeveel rekenkracht u hebt gebruikt. Klik met de rechtermuisknop op de naam, zoek naar Gegevensverplaatsing in de lijst met bewerkingen en controleer de duur.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5