Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Dataflow Gen2:n avulla voit muokata ja muuntaa tietoja helposti. Se tarjoaa low-code-käyttöliittymän ja yli 300 sisäänrakennettua data- ja tekoälymuunnosta, kaikki tuttujen Power Query-kokemusten pohjalta, joita löydät Excel-, Power BI:stä, Power Platformista ja Dynamics 365:stä. Dataflow Gen2 tukee myös Sparkin tukemaa muunnoksen suoritusta datavirran (MDF) muunnosten kartoituksella natiivi- ja siirretyille työkuormille.
Tämä hinnoittelu koskee kaikkia Fabric Capacity SKU:ita (F2 ja sitä korkeampi). Hinnoittelu ei koske Fabric-koekapasiteettia. Todellisten CU-kulutusvertailujen yleisistä skenaarioista löytyy Dataflow Gen2:n kustannus- ja suorituskyvyn vertailukohdista.
Kun julkaiset tietovuon, se luo määrityksen, joka suoritetaan päivityksen aikana. Dataflow Gen2 -moottori käyttää tätä määritelmää suunnitellakseen ja hallitakseen sitä, miten kyselyt toimivat datalähteiden, yhdyskäyntien ja laskentamoottoreiden välillä. Se rakentaa pöytiä lavastusvarastoon tai lähettää ne valitsemaasi määränpäähän, joten saat luotettavia tuloksia ilman raskaita nostoja.
Kaavio esittää Data Factory Dataflow Gen2 -arkkitehtuurin osia, mukaan lukien Lakehousen, jota käytetään vastaanotettavan datan vaiheittamiseen, sekä Warehouse-yksikkö, jota käytetään laskentamoottorina tulosten nopeampaan kirjoittamiseen vaiheistukseen tai tuottamiseen. Kun et voi käyttää Warehouse Computea tai kun poistat stataamisen käytöstä kyselyssä, Mashup Engine poimii, muuntaa tai lataa datan staging- tai datakohteisiin. Lisätietoja Dataflow Gen2:n toiminnasta löydät Data Factory Spotlight: Dataflow Gen2:sta.
Dataflow Gen2 voi suorittaa työkuormia joko Mashup Enginellä tai Spark Enginellä. Kun MDF-muunnoksia käytetään Dataflow Gen2:ssa, Spark-tukemaa laskentaa käytetään muunnoksen suorittamiseen ja datan käsittelyyn.
Kun päivität tai julkaiset Dataflow Gen2 -kohteen, Fabric Capacity -yksiköt kulutetaan seuraaville moottoreille:
- Vakiolaskenta: Sinua veloitetaan siitä kaikkien koostemoduulin kautta suoritettavien tietovuokyselyjen kyselyn arviointiajan perusteella.
- Suuren mittakaavan tietovuolaskenta: Sinua veloitetaan, kun valmistelu on käytössä Lakehousen (valmistelutallennustila) ja varaston (Storage Compute) SQL-moduulin kulutuksen keston perusteella.
- Nopea kopiointi: Sinua veloitetaan, kun pikakopiointiliittimet ovat käytössä ja niitä voidaan käyttää tietovuossa kopiointityön keston perusteella. Fast Copy toimii rinnakkain useiden ytimien välillä, joten tämä kesto on kaikkien kopiointityön käyttämien ytimien kokonaisaika, ei seinäkellon aikaa.
- Spark Compute: Sinua veloitetaan Sparkin suoritusajan ja Spark Coren käytön perusteella, kun MDF-muunnokset suoritetaan putkistojen aikana. MDF-muunnostyökuormat Dataflow Gen2:ssa suoritetaan tällä hetkellä Fabric Pipeline Dataflow -toiminnon kautta.
Tietovuon Gen2-hinnoittelumalli
Miten hinnoitteluhinnat määritellään
Dataflow Gen2:n hinnoittelu riippuu siitä, miten kukin kysely käyttää laskentaa. Vakiolaskentaa varten kyselyt suoritetaan koostemoduulissa. Luokitus vaihtelee sen mukaan, onko tietovuo Dataflow Gen2 (CI/CD), riippuen siitä, onko tietovuo Dataflow Gen2 (CI/CD).
Dataflow Gen2:ssa (CI/CD) kyselyn kestoon sovelletaan kaksitasoista hintaa:
- Jos kysely kestää alle 10 minuuttia, sen luokitus on 12 CU:ta
- Jos se toimii pidempään, jokaisen ylimääräisen sekunnin arvo on 1.5 CU.
Jos Dataflow Gen2 on muu kuin CI/CD, nopeus on 16 CU:ta, jota sovelletaan kyselyn koko kestoon.
Muistio
Kun käytät osioitua laskentaa, Dataflow Gen2 arvioi jokaisen osion omana työyksikkönään. Vakiolaskentamaksut perustuvat jokaisen osion käsittelyajan summaan. Osioiden ajaminen rinnakkain lyhentää kokonaisaikaa (seinäkello) suorituksen suorittamiseen, kun taas kokonais-CU-kulutus heijastaa kaikkien osioiden yhteislaskentaa.
Suurissa skenaarioissa – kun staging on päällä – kyselyt ajetaan Lakehouse- tai Warehouse-SQL-moottorilla. Jokainen laskenta-ajan sekunti käyttää 6 CU-sekuntia, joten pidemmät kyselyt kuluttavat enemmän.
Jos otat nopean kopioinnin käyttöön, tietojen siirrolle on erillinen nopeus: 1,5 CU sen mukaan, kuinka kauan aktiviteetti suoritetaan. Nopea kopio tasapainottaa automaattisesti jokaisen skenaarion päättääkseen, kuinka monta ydintä käytetään, ja laskutettu kesto on kaikkien näiden ytimien kokonaisaika, ei seinäkelloaika, jonka näet päivityshistoriassa. Työn jakaminen useammille ytimille lyhentää kulunutta aikaa, kun taas laskutettu kesto kattaa jokaisen kopiointityön käyttämän ytimen.
Jokaisen suorituksen lopussa Dataflow Gen2 laskee yhteen kunkin moduulin CU:n käytön ja laskuttaa sen alueesi Fabric-kapasiteetin hinnoittelun perusteella.
CU-hintataulukko
| Tietovuon Gen2-moduulin tyyppi | Kulutusmittarit | Kankaan CU-kulutusaste | Kulutusraportoinnin askelväli |
|---|---|---|---|
| Vakiolaskenta (Dataflow Gen2 (CI/CD)) | Perustuu kunkin koostemoduulin kyselyn suorituksen kestoon sekunteina. Standard Computella on kaksitasoinen hinnoittelu kyselyn keston mukaan. | - Joka sekunti enintään 10 minuuttia, 12 CU - Jokaisesta yli 10 minuutin sekunnista 1,5 CU |
Tietovuon Gen2-kohdekohtainen |
| Vakiolaskenta (ei CI/CD) | Perustuu kunkin koostemoduulin kyselyn suorituksen kestoon sekunteina. | 16 CU | Tietovuon Gen2-kohdekohtainen |
| Suuren skaalauksen tietovoiden käsittely | Perustuu Lakehouse/Warehouse SQL -moduulin suoritukseen (valmistelu käytössä) kestoon sekunteina. | 6 CU | Työtilaa kohti |
| Tietojen siirto | Perustuu Fast Copy -suoritusaikaan, joka mitataan yhteenlaskettuna ydinajasta sekunteina kaikkien kopiointityön käyttämien ytimien kesken. Dataflow tasapainottaa automaattisesti, kuinka monta ydintä kukin nopea kopiointiskenaario käyttää. | 1,5 CU | Tietovuon Gen2-kohdekohtainen |
| Mapping tietovuo Transforms Compute (Preview) | Perustuu MDF-muunnoksen suorituksen kestoon sekunneissa Spark-tukemalla laskentatoimella Dataflow Gen2:ssa. | 1,5 CU per Spark core-tunti Esimerkki: 8-ytiminen Spark-klusteri kuluttaa 12 CU:ta jokaista suoritustuntia kohden (8 × 1,5 CU). |
Tietovuon Gen2-kohdekohtainen |
Virtuaaliverkon dataportin hinnoittelu Dataflow Gen2:lla
Näennäisverkon (VNET) tietoyhdyskäytävää laskutetaan Fabric-kapasiteettiin liittyvänä lisäävää infrastruktuurimaksuna. Tämä tarkoittaa sitä, että sillä on oma mittarinsa ja että sille aiheutuu lasku, joka on yhdenmukainen kaikille Fabric-kohteille ja ylimääräiselle suoritukselle.
Dataflow Gen2:n ajamisen kokonaislasku näennäisverkko Data Gatewayn kautta lasketaan seuraavasti: Dataflow Gen2 Charge + näennäisverkko Data Gateway Charge.
näennäisverkko Data Gateway -maksu on verrannollinen näennäisverkko Data Gatewayn käyttöön, jossa käyttö määritellään käyttöajaksi, tai milloin tahansa, kun näennäisverkko Data Gateway on päällä.
näennäisverkko Data Gateway CU:n kulutusnopeus: 4 CU
Lisätietoja on artikkelissa Näennäisverkon tietoyhdyskäytävien hinnoittelu ja laskutus.
Microsoft Fabric -kuormituksen kulutusasteen muutokset
Kulutusluvut voivat muuttua milloin tahansa. Microsoft pyrkii kohtuullisesti antamaan ilmoituksen sähköpostitse ja tuotteessa olevan ilmoituksen kautta. Muutokset tulevat voimaan julkaisutiedoissa ja Microsoft Fabric -blogissa ilmoitettuna päivänä. Jos Microsoft Fabric -kuormituksen kulutusaste muuttuu merkittävästi tietyn kuormituksen käyttämiseen vaaditulla kapasiteettiyksiköillä, asiakkaat voivat käyttää valitun maksutavan peruuttamisvaihtoehtoja.
Laske arvioidut kustannukset Fabric Metrics -sovelluksella ja datavirran päivityshistoria
Microsoft Fabric Capacity Metrics -sovellus tarjoaa näkyvyyttä kapasiteetin käyttöön kaikissa kapasiteettiin sidotuissa Fabric-työtiloissa. Kapasiteetin järjestelmänvalvojat valvovat sen avulla kuormitusten suorituskykyä ja niiden käyttöä ostettuun kapasiteettiin verrattuna. Metrics-sovelluksen käyttäminen on tarkin tapa arvioida Dataflow Gen2 -päivitysten suorituskustannukset. Ymmärtääksesi, miten porrastettu hinnoittelu vaikutti standardilaskentakustannuksiisi, sinun täytyy myös käyttää Dataflow-päivityshistoriaa.
Näissä harjoituksissa kerrotaan, miten voit vahvistaa sekä CI/CD- että muiden kuin CI/CD-tietovoiden kustannukset. CI/CD-datavirran ja standardilaskennan osalta annetaan työstetty esimerkki, jota seuraavat ohjeet kaikkiin muihin skenaarioihin.
Harjoitus 1: Standardilaskenta CI/CD-datavirralle
Seuraavassa tietovuossa on kaksi kyselyä, joihin liittyy muunnos, ja valmistelu on poistettu käytöstä.
Dataflow Gen2 käyttää vain standardilaskentaa.
Käytä kunkin kyselyn kyselyn kestoa Päivityshistoria-kohdasta ja käytä seuraavaa kaavaa kyselykohtaisen CU-kulutuksen laskemiseen.
Ensimmäisen kyselyn kesto on 2 131 sekuntia.
Vastaavasti toisen kyselyn kesto on 913 sekuntia
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Kyselyssä 1 laskettu kulutus on 9497 CU-sekuntia ja kyselyssä 2 laskettu kulutus on 7670 CU-sekuntia.
Koosta kapasiteetin kulutus CU-sekunteina ja vahvista kulutus Fabric-kapasiteettimittarisovelluksessa. Tässä skenaariossa mittarisovellus näyttää 17 180 CU-sekuntia vakiolaskentakäyttönä, mikä on hyvin verrattavissa 17 167 CU-sekunnin laskettuun kulutukseen. Mahdolliset ristiriidat voivat johtua käytön säännöllisen raportoinnin pyöristämisestä.
Harjoitus 2: Standardilaskenta ei-CI/CD-datavirralle
Kun datavirtasi sisältää muunnoksen ja vaiheittamisen pois käytöstä, Dataflow Gen2 käyttää vain standardilaskentaa.
Käytä kunkin kyselyn kyselyn kestoa Päivityshistoria-kohdasta ja käytä seuraavaa kaavaa kyselykohtaisen CU-kulutuksen laskemiseen.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Koosta kapasiteetin kulutus CU-sekunteina ja vahvista kulutus Fabric-kapasiteettimittarisovelluksessa.
Harjoitus 3: Korkean mittakaavan laskentakulutuksen ymmärtäminen (sekä CI/CD- että ei-CI/CD-datavirrat)
Jos datavirtasi käyttää stagingia, avaa Fabric Capacity Metrics -sovellus ja suodata dataflow'n nimen perusteella selvittääksesi, kuinka paljon High Scale -laskentaa käytit. Napsauta nimeä hiiren kakkospainikkeella, etsi toimintoluettelosta High Scale compute ja tarkista kesto.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Harjoitus 4: Nopean kopiolaskennan kulutuksen ymmärtäminen (sekä CI/CD- että ei-CI/CD-datavirrat)
Jos datavirtasi käyttää nopeaa kopiota, avaa Fabric Capacity Metrics -sovellus ja suodata dataflow'n nimen perusteella selvittääksesi, kuinka paljon Data Movement -laskentaa käytit. Napsauta nimeä hiiren kakkospainikkeella, etsi toimintojen luettelosta Tietojen siirto ja tarkista kesto.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5