Käynnistä OneLaken saatavuus tapahtumapaikalle

Voit luoda KQL-tietokantatietojen loogisen kopion tapahtumatalossa ottamalla käyttöön OneLake-käytettävyyden. Kun otat käyttöön OneLake availability, voit hakea tietoja KQL-tietokannastasi Delta Lake -muodossa muiden Fabric moottoreiden, kuten Direct Lake mode Power BI:ssa, Warehousen, Lakehousen, Notebooksin ja muiden kautta. Delta Lake on yhtenäinen datajärvi-taulukkomuoto, joka mahdollistaa saumattoman datan käytön kaikissa Fabric-laskentamoottoreissa.

Tässä artikkelissa kerrotaan, miten voit ottaa KQL-tietokantatietojen käytettävyyden käyttöön OneLakessa.

Kun OneLaken saatavuus ja skeeman synkronointi ovat käytössä, voit myös käyttää Analyze Data with>SQL endpoint -menetelmää tietokantatasolla Delta Lake -esityksen kyselyyn lähes reaaliajassa SQL-pohjaisten moottoreiden kautta.

Kun OneLaken saatavuus ja skeeman synkronointi ovat käytössä, voit myös käyttää Analyze Data with>SQL endpoint -menetelmää tietokantatasolla Delta Lake -esityksen kyselyyn lähes reaaliajassa SQL-pohjaisten moottoreiden kautta.

Miten OneLaken saatavuus toimii KQL-tietokannoissa

Voit ottaa OneLaken käytettävyyden käyttöön tietokanta- tai taulukkotasolla. Kun se on käytössä tietokantatasolla, kaikki uudet taulukot ja niiden tiedot tulevat saataville OneLakessa. Kun otat ominaisuuden käyttöön, voit myös halutessasi käyttää tätä asetusta olemassa olevissa taulukoissa valitsemalla Käytä olemassa oleviin taulukoihin -vaihtoehdon, jos haluat sisällyttää historiallisen taustan. Jos otat sen käyttöön taulukkotasolla, vain kyseinen taulukko ja sen tiedot ovat käytettävissä OneLakessa. KQL-tietokannan Tietojen säilytyskäytäntö - sovelletaan myös OneLaken tietoihin. Myös KQL-tietokannasta säilytysajan päätyttyä poistetut tiedot poistetaan OneLakesta. Jos poistat onelakekäytettävyydenkäytöstä, OneLakesta poistettavat tiedot ovat pehmeitä.

Backend-skeeman synkronointi pitää Delta Lake -esityksen linjassa KQL-tietokannan kanssa, mahdollistaen lähes reaaliaikaisen kyselyn SQL-päätepisteen ja muistikirjojen kautta. Odotetusta viiveestä ja eräajokäyttäytymisestä katso Adaptiivinen käyttäytyminen.

Vaikka OneLaken käytettävyys on käytössä, et voi tehdä seuraavia tehtäviä:

• Nimeä taulukot uudelleen.
• Muuta pylväätyyppiä. Sarakkeen lisääminen tai poistaminen on tuettua.
• Sovella rivitason turvaa pöytiin.
• Poista, katkaise tai tyhjennä data.

Jos haluat tehdä jotain näistä tehtävistä, toimi seuraavasti:

1. Poista OneLakekäytettävyys käytöstä.
2. Suorita tehtävä.
3. Ota OneLakekäytettävyys käyttöön.

Edellytykset

• workspace jossa on Fabric-yhteensopiva capacity.
• KQL-tietokanta, jossa on muokkausoikeudet ja tiedot.

Ota OneLaken saatavuus päälle KQL-tietokannalle tai taululle

Voit ottaa OneLaken saatavuuden päälle joko KQL-tietokannalle tai taululle.

1. Valitse tietokanta tai taulukko.

2. Määritä tietoruudun OneLake -osiossa Käytettävyys -kohdan arvoksi Käytössä-.

   

3. Ota OneLaken saatavuus käyttöön -ikkunassa valitse Enable.

   

4. Tietokannan tai taulukon tiedot päivittyvät automaattisesti.

   

Kun kytket OneLake-saatavuuden päälle KQL-tietokannassasi tai -taulukossasi, pääset käsiksi kaikkiin dataan annetulla OneLake-polulla Delta Lake -muodossa. Voit myös luoda OneLake-pikakuvakkeen järvenrakennuksesta tai varastosta, tai hakea tietoja suoraan Power BI Direct Lake -tilan kautta. Kun OneLake - on käytössä KQL-tietokannassa tai taulukossa, voit nyt käyttää kaikkia tietoja Delta Lake -muodossa annetussa OneLake-polussa. Voit myös luoda OneLake-pikakuvakkeen Lakehousesta, tietovarastosta tai tehdä kyselyn tietoihin suoraan Power BI Direct Lake -tilan kautta.

Käytä Analysoi dataa vaihtoehdoilla

Kun OneLaken saatavuus on käytössä, Eventhouse- ja KQL-tietokantaelementit paljastavat Analysoi dataa vaihtoehtoineen tietokantatasolla:

• SQL-päätepiste: Käytettävissä, kun sekä OneLaken saatavuus että skeeman synkronointi ovat käytössä.
• Muistikirja: Avaa muistikirjapohjaisen analyysin valitulle tietokannalle.

Jos otat OneLaken saatavuuden pois päältä, SQL-päätepiste poistetaan tästä valikosta, kunnes otat sen uudelleen käyttöön.

Adaptiivinen käyttäytyminen parquet file batchingissa

Tapahtumahuone erottaa älykkäästi saapuvat tietovirrat yhdeksi tai useammaksi Parquet-tiedostoksi, jotka on jäsennelty analyysiä varten. Datavirtojen erättäminen on tärkeää valuvan datan käsittelyssä, koska monien pienten Parquet-tiedostojen kirjoittaminen järveen voi olla tehotonta. Tämä tehottomuus johtaa korkeampiin kustannuksiin ja heikkoon kyselysuoritukseen.

Eventhouse-adaptiivinen mekanismi voi viivästyttää kirjoitusoperaatioita OneLakeen, jos optimaalisten Parquet-tiedostojen luomiseen ei ole tarpeeksi dataa. Tämä toiminta varmistaa, että Parquet-tiedostot ovat optimaalisia kooltaan ja noudattavat Delta Laken parhaita käytäntöjä. Se tasapainottaa nopean datan saatavuuden tarpeen kustannus- ja suorituskykynäkökohtien kanssa.

OneLake-saatavuuden oletus- ja konfiguroitava kirjoitusviive:

Esimerkiksi käytä seuraavaa Kusto-komentoa asettaaksesi kirjoitusviiveeksi 5 minuuttia yhdelle taululle:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Voit seurata, kuinka kauan sitten uutta dataa on lisätty järveen tarkistamalla datan viiveen komennolla.show table mirroring operations.

Tuloksia mitataan viimeisestä tietojen lisäämisen ajasta. Kun viive palautuu 00:00:00, kaikki KQL-tietokannan data on saatavilla OneLakessa.

Katso Delta Lake -tiedostot OneLakessa

Kun otat OneLaken saatavuuden käyttöön taulukossa, prosessi luo delta-lokikansion sekä siihen liittyvät JSON- ja Parquet-tiedostot. Voit tarkastella OneLakessa ja heidän omaisuuksissaan saatavilla olevia tiedostoja pysyen Real-Time Intelligencen sisällä.

• Voit tarkastella tiedostoja viemällä hiiren osoittimen resurssienhallintaruuduntaulukon päälle ja valitsemalla sitten Lisää-valikon [...]>Näytä tiedostot.

  

• Voit tarkastella delta-lokikansion ominaisuuksia tai yksittäisiä tiedostoja viemällä hiiren osoittimen kansion tai tiedoston päälle ja valitsemalla sitten Lisää-valikon [...]>Ominaisuudet.

• Voit tarkastella deltalokikansion tiedostoja seuraavasti:

  1. Valitse _delta_log kansio.
  2. Valitse tiedosto, jos haluat tarkastella taulukon metatietoja ja rakennetta. Avautuva editori on vain luku -muodossa.

Pääsy OneLake-peilauspolitiikkaan

Oletuksena, kun kytket OneLaken saatavuuden päälle KQL-tietokannalle tai -taulukolle, järjestelmä ottaa käyttöön peilauskäytännön. Voit käyttää peilauspolitiikkaa datan viiveen seuraamiseen tai muuttaa sen osittaiseksi delta-tauluiksi.

Ositusdelta-taulukot OneLakessa

Voit osioida delta-taulukkosi kyselyiden nopeuden parantamiseksi. Lisätietoja siitä, milloin OneLake-tiedostot osioidaan, on artikkelissa Taulukoiden osioiminen. Jokainen osio esitetään erillisenä sarakkeena listassa olevalla sarakkeella PartitionNamePartitions . Tämä esitys tarkoittaa, että OneLake-kopiossasi on enemmän sarakkeita kuin lähdetaulussasi.

Delta-taulukoiden osiointiin käytä komentoa .alter-merge table policy mirroring .

Kysy Delta-taulukoita Fabric-muistikirjasta

Fabric Notebookin avulla voit lukea OneLake-tiedot käyttämällä seuraavaa koodikatkelman.

Korvaa koodikatkelmassa <workspaceGuid>, <workspaceGuid>ja <tableName> omilla arvoillasi.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Liittyvä sisältö

• Mikä on Delta Lake?
• Luo oikotie OneLakeen
• Mitä ovat oikotiet järvitalossa?
• Luo OneLake-pikakuvake KQL-tietokantaan