Mitä ovat materialisoidut järvinäkymät Microsoft Fabric:ssa?

Microsoft Fabric -ohjelmassa materialisoitu järvinäkymä säilyy ja päivittyy automaattisesti. Sen määrittelet Spark SQL:ssä tai PySparkissa. Se yksinkertaistaa monivaiheisia järvenrakennusmuunnoksia – tyypillisesti pronssista hopeaan, kultaiseen medallion-arkkitehtuuriin – ilmaisemalla ne julistavina lausuntoina eikä räätälöityinä Spark-töinä. Kun MLV on toteutettu, se toimii kuin tavallinen järvitalopöytä tallennuksen, käyttötapojen ja turvallisuuden osalta. Voit tehdä kyselyn minkä tahansa Fabric-moottorin kautta, jolla on samat oikeudet ja hallintamalli. Fabric seuraa riippuvuuksia MLV:iden välillä, järjestää päivitykset oikeassa järjestyksessä ja valvoo datan laaturajoituksia jokaisessa vaiheessa. Tämä ominaisuus mahdollistaa data-insinööreille luotettavien ja ylläpidettävien putkien rakentamisen vähemmällä koodilla ja operatiivisella kuormituksella.

Milloin käyttää materialisoituja järvinäkymiä

Materialisoidut järven näkymät sopivat hyvin, kun sinulla on:

  • Usein käytetyt aggregaatit (päivittäiset myyntisummat, kuukausimittarit), joissa ennalta lasketut tulokset parantavat suorituskykyä verrattuna kalliiden kyselyjen toistuvaan ajamiseen verrattuna
  • Monimutkaiset liitokset useiden suurten taulujen välillä, joita kysytään usein ja jotka vaativat johdonmukaisia tuloksia kaikille kuluttajille
  • Datan laadun muunnokset , jotka täytyy soveltaa yhtenäisesti, säännöt määritellään deklaratiivisesti eikä mukautetun koodin mukaan
  • Raportointiaineistot , jotka yhdistävät dataa useista lähteistä ja hyötyvät automaattisesta päivityksestä, kun lähdedata muuttuu
  • Medallion-arkkitehtuuri , jossa tarvitset pronssi- → hopea- → kultamuunnokset, jotka on määritelty SQL:ssä

Materialisoidut järvinäkymät eivät ole oikea valinta jokaiseen tilanteeseen. Harkitse vaihtoehtoja, kun sinulla on:

  • Kertaluonteiset tai harvoin haetut kyselyt , jotka eivät hyödy ennalta lasketuista tuloksista
  • Ei-SQL-logiikka, kuten koneoppimisen päättely, API-kutsut tai monimutkainen Python-prosessointi – käytä sen sijaan Spark-muistikirjoja
  • Korkeataajuinen suoratoistodata , joka vaatii alle sekunnin päivityksiä – harkitse Real-Time Intelligencea sen sijaan

Aloita muodostettujen lake-näkymien käyttö

Materialisoidun järvinäkymän luomiseksi Fabric-ohjelmassa katso Aloita materialisoiduilla järvinäkymillä. Täydellisen läpipeluun medallion-arkkitehtuurin rakentamisesta löytyy kohdasta Opastus: Rakenna medallion-arkkitehtuuri materialisoiduilla järvinäkymillä.

Miten materialisoidut järvinäkymät toimivat?

Materialisoidut järvinäkymät käyttävät deklaratiivista lähestymistapaa: Kirjoitat SQL-kyselyn muunnoksen määrittämiseksi, ja Fabric hoitaa suorituksen, tallennuksen ja päivityksen. Tulos säilyy Delta-taulukkona järventalossasi, joten alavirran käyttäjät voivat hakea sitä suoraan ilman, että muunnos ajaa uudelleen.

Materialisoidun järvinäkymän elinkaari koostuu neljästä vaiheesta:

  • Luo: Kirjoita SQL-kysely, joka määrittelee muunnoksesi. Fabric tallentaa määritelmän ja materialisoi tulokset Delta-taulukkona.
  • Päivitys: Kun lähdedata muuttuu, Fabric määrittää optimaalisen päivitysstrategian – inkrementaalinen (käsittele vain uutta tai muutettua dataa), täysi (rakentaa kokonaan uudelleen) tai ohitetaan (muutoksia ei havaita).
  • Kysely: Sovellukset ja raportit kysyvät materialisoitua järven näkymää kuten muutkin Delta-taulut, ilman tietoisuutta taustalla olevasta muunnoslogiikasta.
  • Monitor: Seuraa päivityshistoriaa, suoritustilaa, datan laatumittareita ja riippuvuuslinjaa sisäänrakennettujen Fabric-työkalujen avulla.

Kirjoitusvaihtoehdot

Materialisoidut järvinäkymät tukevat kahta kirjoittamistapaa:

  • SQL-luominen: Määrittele näkymät standardeilla SQL-lauseilla CREATE MATERIALIZED LAKE VIEW suoraan Fabric Lakehouse -editorissa.

  • PySpark-luominen (Preview): Luo, päivitä ja korvaa näkymät Fabric-muistikirjoista käyttäen DataFrameWriter. PySparkin kirjoittamat näkymät tukevat:

    • Tietojen laaturajoitukset
    • Taulukon ominaisuudet
    • Ajoitetut päivitykset

    Muistio

    PySparkin kirjoittamat näkymät toimivat tällä hetkellä vain täydessä päivityksessä.

Tärkeimmät ominaisuudet

Materialisoidut järvinäkymät sisältävät sisäänrakennettuja ominaisuuksia, jotka käsittelevät operatiivista monimutkaisuutta, jota muuten hallitsisit itse muistikirjoissa ja putkistoissa.

Automaattinen päivitysoptimointi

Fabric määrittää automaattisesti, milloin ja miten materialisoidut järvinäkymät päivitetään. Päätösmoottori valitsee tehokkaimman päivitysstrategian ja tunnistaa lähdetietojen muutokset oletuksena Change Data Feedin kautta:

  • Inkrementaalinen päivitys: Käsittelee vain uutta tai muutettua dataa.
  • Täysi päivitys: Rakentaa koko materialisoidun järvinäkymän uudelleen tarvittaessa.
  • Ohita päivitys: Fabric ohittaa päivityksen, kun lähdedatassa ei ole muutoksia.

Inkrementaalisen päivityksen avaamiseksi sinun täytyy ottaa käyttöön Delta Change Data Feed (CDF) lähdetauluissa, joihin materiaalisoitu järvinäkymä viittaa. Ilman CDF:ää päätösmoottori valitsee joko ohittaa päivityksen ja täyden päivityksen välillä. Lisätietoja löytyy kohdasta Optimaalinen päivitys materialisoiduille järvimaisemille järvimajalle.

Optimaalinen päivitys tukee useita yleisiä kyselymalleja, kuten:

  • Aggregaatiot GROUP BY
  • Vasen ulko- ja puoliliitos
  • Yleiset taulukkolausekkeet (CTE:t)

Sisäänrakennettu datan laatu

Materialisoidut järvinäkymät tukevat deklaratiivisia datan laatusääntöjä. Määrittele rajoitteet suoraan SQL:ssä ja määritä, miten rikkomukset hoidetaan.

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

Riippuvuuksien hallinta

Kun materialisoidut järvinäkymät viittaavat muihin materialisoituihin järvinäkymiin tai -taulukoihin, Fabric tunnistaa automaattisesti nämä suhteet ja hallinnoi suoritusjärjestystä puolestasi.

  • Kuvittele, miten materiaalistuneet järvinäkymät riippuvat toisistaan järvimajojen yli.
  • Tilaus päivittyy automaattisesti riippuvuuksien mukaan.
  • Käsittely noudattaa riippuvuusketjua datan yhdenmukaisuuden varmistamiseksi.

Seuranta ja merkitykselliset tiedot

Fabric tarjoaa sisäänrakennetut työkalut materialisoitujen järvinäkymien kunnon ja suorituskyvyn seuraamiseen:

  • Seuraa päivityssuorituskykyä ja suoritustilaa jokaiselle materialisoidulle järven näkymälle.
  • Katso datan laatumittarit ja rikkomusmäärät linjassa.
  • Seuraa tehtäväinstansseja ja päivitä historia Viimeisimmät suoritukset -näkymässä.

Run-by-run Monitor-hubin lisäksi Fabric esittelee nyt järvitalokohtaisen toimintatilan Viimeisimmät ajot-sivulla, sisarvälilehtien kautta analytiikasta ja oivalluksista:

Alivälilehti Vastaus kysymykseen Opiskelusivu
Viimeisimmät tuotantokaudet Mitkä yksittäiset juoksut tapahtuivat, ja voinko peruuttaa tai harjoitella sisään? Viimeaikaiset materiaalistuneet järvinäkymät
Analytiikka Miten menestysprosentissa, kestoa, suurimmissa virheissä ja päivityspolitiikkasekoituksessa – kaavioina samoilla ajoilla? Katso analytiikkaa materialisoiduille järvikuvan ajoille
Uudet näkökulmat Mikä on epäonnistuminen tai taantuminen – yhdellä klikkauksella syvälinkit epäonnistuvaan näkymään? Katso materiaalisoituja järvikatselujuoksuja

Ohjelmallisen pääsyn saamiseksi samoihin tietoihin Fabric kirjoittaa järjestelmätaulukot _mlv_system skeeman - sys_run_metrics, sys_node_metrics, ja sys_error_metrics - alle järvenrakennukseen.

Tärkeää

Älä muuta _mlv_system kaaviota. Muutokset vaikuttavat Analytics- ja Insights-välilehtien päivityksiin.

Suojaus

Fabric-materiaaliset järvinäkymät noudattavat Lakehouse-pöytien turvallisuus- ja hallintotoimia. Voit myös käyttää MLV:itä Yksityinen linkki -yhteensopivissa järvitaloissa. Lisätietoja Yksityinen linkki in Fabric -sivustosta löytyy kohdasta Turvallisuus.

Aiheeseen liittyvä sisältö

  • Last updated on