Lakehouse SQL -analytiikan päätepisteiden käyttötapaukset

SQL-analytiikan päätepiste on lukuun optimoitu, T-SQL-pinta Delta-datan yli Fabric-laitteella. Tässä artikkelissa selitetään, miten Fabric-datavarastointityökuorma on järvitalon SQL-analytiikkapäätepisteellä sekä skenaarioita lakehousen käytöstä datavarastoinnissa.

Mikä on lakehouse SQL -analytiikan päätelaite?

SQL-analytiikan päätepiste mahdollistaa datan kyselyn järvenrakennuksessa käyttämällä T-SQL-kieltä ja TDS-protokollaa.

  • SQL-analytiikan päätepiste paljastaa lakehousen Delta-taulukot SQL-tauluina, joita voi hakea T-SQL:llä.
  • Jokainen Delta-taulukko järvimajasta esitetään yhtenä taulukkona. Tietojen tulee olla delta-muodossa.
  • Jokaisella järvitalolla on yksi SQL-analytiikan päätepiste, ja jokaisessa työtilassa voi olla useampi kuin yksi järvitalo. Muut Fabric-elementit – kuten varastot, peilatut tietokannat, SQL-tietokannat ja Azure Cosmos DB – tarjoavat myös automaattisesti SQL-analytiikan päätepisteen, joten työtilassa voi olla enemmän SQL-analytiikan päätepisteitä kuin lakehouse-kohteissa.

Sinun ei tarvitse luoda SQL-analytiikkapäätepistettä Fabric:ssa. SQL-analytiikan päätepiste luodaan automaattisesti jokaiselle Lakehouselle, tietokannalle tai peilatulle tietokannalle. SQL-analytiikkapäätepiste toimii kevyenä tietovarastotoimintona emotuotteilleen, täydentäen varaston lakehouse-arkkitehtuuria. Tämä arkkitehtuuri mahdollistaa Spark- tai Fabric-peilauksen hallita dataa kansiorakenteessa järvenrakennuksessa, jota SQL-analytiikkapäätepiste voi tarkastella.

Muistio

Kulissien takana SQL-analytiikkapäätepiste käyttää samaa moottoria kuin Warehouse palvellakseen korkean suorituskyvyn ja matalan latenssin SQL-kyselyitä.

Automaattinen metatietojen löytäminen

Saumaton prosessi lukee Delta-lokit kansiosta /Tables ja varmistaa, että taulukoiden, kuten tilastojen, SQL-metatiedot ovat aina ajan tasalla. Käyttäjän ei tarvitse tehdä mitään toimia, eikä sinun tarvitse tuoda, kopioida tietoja tai määrittää infrastruktuuria. Lisätietoja on artikkelissa Automaattisesti muodostettu rakenne SQL-analytiikan päätepisteessä.

Skenaariot, joita järvitalo mahdollistaa tietovarastoinnille

Fabricissa tarjoamme yhden varaston.

Lakehouse, jonka SQL-analytiikkapäätepiste toimii varaston kautta, voi yksinkertaistaa perinteistä päätöspuuta, joka koostuu eräajo-, suoratoisto- tai lambda-arkkitehtuurista. Yhdessä varaston kanssa Lakehouse mahdollistaa monia lisääviä analyysitilanteita. Tässä osiossa tutkitaan, miten järvenmajan ja varaston voi käyttää parhaan lajin analytiikkastrategiana.

Analytiikka järventalosi kultakerroksella

Tunnettu strategia järvien datan organisoinnissa on medallion-arkkitehtuuri. Tämä strategia järjestää tiedostot raakakerroksiin (pronssi), konsolidoituihin (hopea) ja jalostettuihin (kulta) kerroksiin. Voit käyttää SQL-analytiikkapäätelaitetta analysoidaksesi dataa medallion-arkkitehtuurin kultakerroksessa, jos tiedostot ovat tallennettu Delta Lake -muodossa, vaikka ne olisivat Microsoft Fabric OneLaken ulkopuolella.

Käytä oikoteitä OneLakessa viitataksesi kultakansioihin ulkoisissa Azure Data Lake -tallennustileillä, joita Azure Synapse Spark tai Azure Databricks -moottorit hallinnoivat.

Voit myös lisätä varastoja aihealue- tai toimialakohtaisiksi ratkaisuiksi tiettyyn aiheeseen, joilla voi olla räätälöityjä analytiikkavaatimuksia.

Jos päätät pitää tietosi Fabric, se on aina avoinna ja saavutettavissa API:n, Delta-muodon ja tietysti T-SQL:n kautta.

Kysy palveluna Delta-pöydistäsi Lakehousesta ja muista OneLaken tuotteista

Analyytikot, datatieteilijät ja data-insinöörit saattavat tarvita kyselyjä datajärven sisällä. Fabric-versiossa tämä kokonaisvaltainen kokemus on täysin SaaSified.

OneLake on yksittäinen, yhdistetty looginen Data Lake -tallennustila koko organisaatiolle. OneLake on OneDrive for data. OneLake voi sisältää useita työtiloja, esimerkiksi organisaation osastojen ohella. Jokainen Fabric-tuote tekee datan saataville OneLaken kautta.

Data järvenrakennuksessa Fabric:ssa tallennetaan fyysisesti OneLakeen seuraavalla kansiorakenteella:

  • Kansio /Files sisältää raaka- ja konsolidoimattomia (pronssisia) tiedostoja, jotka data-insinöörien tulisi käsitellä ennen analyysiä. Tiedostot voivat olla eri formaateissa, kuten CSV, Parquet, erilaiset kuvatyypit ja muita.
  • Kansio /Tables sisältää tarkennettua ja yhdistettyä (kultaista) dataa, joka on valmis liiketoiminta-analyysiin. Kootut tiedot ovat Delta Lake -muodossa.

SQL-analytiikan päätepiste voi lukea tietoja OneLaken -kansiossa /tables . Analyysi on yhtä yksinkertaista kuin järvitalon SQL-analytiikan päätepisteen kysely. Yhdessä varaston kanssa saat myös tietokantojen väliset kyselyt ja mahdollisuuden vaihtaa saumattomasti vain luku -kyselyistä rakentamaan lisäliiketoimintalogiikkaa OneLake-datan päälle Fabric tietovarasto:n avulla.

Tietotekniikka Sparkin avulla ja palveleminen SQL:n kanssa

Aineistoperäisten yritysten on pidettävä tausta- ja analytiikkajärjestelmänsä lähes reaaliaikaisesti synkronoituina asiakassovellusten kanssa. Tapahtumien vaikutuksen on heijastettava tarkasti päästä päähän -prosessien, liittyvien sovellusten ja verkkotapahtumien käsittelyjärjestelmien (OLTP) kautta.

Fabricissa voit käyttää Tietojen spark-suoratoistoa tai tietotekniikkaa. Voit käyttää lakehousen SQL-analytiikan päätepistettä datan laadun varmistamiseen ja olemassa olevien T-SQL-prosessien varmistamiseen. Tämä voidaan tehdä medallion-arkkitehtuurissa tai useammassa kerroksessa järvitalossasi, tarjoten pronssia, hopeaa, kultaa tai lavastusta, kuratoitua ja tarkennettua aineistoa. Voit mukauttaa Sparkin avulla luotuja kansioita ja taulukoita niin, että ne vastaavat tietotekniikka- ja liiketoimintavaatimuksia. Kun varasto on valmis, se voi palvella kaikkia alavirran liiketoimintatiedon sovelluksia ja muita analytiikan käyttötapauksia ilman, että dataa kopioidaan, käytetään Views-toimintoja tai tarkennetaan dataa CREATE TABLE AS SELECT (CTAS), tallennettujen menettelyjen ja muiden DML/DDL-komentojen avulla.

Integraatio avoimen järvenrakennuksen kultakerrokseen

SQL-analytiikan päätepiste ei rajoitu pelkästään data-analytiikkaan Fabric-hotellissa. SQL-analytiikkapäätepisteen avulla voit analysoida järven dataa missä tahansa järvenrakennuksessa käyttämällä Azure Synapse Sparkia, Azure Databricks tai mitä tahansa muuta järveen keskittyvää data-insinöörimoottoria. Voit tallentaa tiedot Azure Data Lake Storage -palveluun tai Amazon S3:een.

Voit aina käyttää tätä tiukkaa, kaksisuuntaista integraatiota lakehouseen Fabric:ssa millä tahansa moottorilla käyttämällä avoimia rajapintoja, Delta-muotoa ja tietysti T-SQL:ää.

Ulkoisten datajärvien datavirtualisointi pikanäppäimillä

Käytä OneLake-pikanäppäimiä viitataksesi kultakansioihin ulkoisissa Azure Data Lake -tallennustileissä, joita Azure Synapse Spark- tai Azure Databricks -moottorit hallinnoivat, sekä mihin tahansa Amazon S3:een tallennettuun Delta-taulukkoon.

Voit analysoida minkä tahansa kansion, johon viitataan pikanäppäimellä SQL-analytiikan päätepisteestä, ja luoda SQL-taulukon viitatulle datalle. Käytä SQL-taulukkoa paljastaaksesi dataa ulkoisesti hallinnoituissa datajärvissä ja mahdollistaaksesi niiden analytiikkaa.

Tämä pikanäppäin toimii virtuaalisena varastona, jota voit hyödyntää varastosta lisäanalytiikkavaatimuksiin tai suoraan kyselyihin.

Ulkoisten datajärven tallennustilien datan analysointiin käytä seuraavia vaiheita:

  1. Luo pikakuvake, joka viittaa Azure Data Lake -tallennustilan tai Amazon S3 -tilin kansioon. Kun syötät yhteystiedot ja tunnistetiedot, järvimajassa näytetään pikakuvake.
  2. Vaihda lakehousen SQL-analytiikkapäätepisteeseen ja etsi SQL-taulu, jonka nimi vastaa pikakuvakkeen nimeä. Tämä SQL-taulukko viittaa kansioon ADLS:ssä tai S3:ssa.
  3. Kysy SQL-taulukko, joka viittaa dataan ADLS:ssä tai S3:ssa. Käytä taulukkoa kuten mitä tahansa muuta taulukkoa SQL-analytiikan päätepisteessä. Voit liittää taulukoita, jotka viittaavat eri tallennustilien tietoihin.

Muistio

Jos SQL-taulukko ei näy heti SQL-analytiikan päätepisteessä, odota muutama minuutti. Ulkoisen tallennustilin tietoihin viittaava SQL-taulukko luodaan viiveellä.

Analysoi arkistoitua tai historiallista dataa datajärvessä

Tietojen osiointi on tunnettu tietojen käytön optimointitekniikka Data Lake -tallennustiloissa. Tallenna osioidut tietojoukot hierarkkisiin kansiorakenteisiin muodossa /year=<year>/month=<month>/day=<day>, missä year, month, ja day ovat osiointisarakkeet. Tämä rakenne pitää historialliset tiedot loogisesti erillään ja mahdollistaa laskentamoottoreiden lukea dataa tarpeen mukaan suorituskykysuodatuksen avulla, sen sijaan että koko hakemisto sekä kaikki kansiot ja tiedostot lukisivat sen sisällä.

Ositettu data mahdollistaa nopeamman pääsyn, jos kyselyt suodattavat predikaattien vertaamista arvon perusteella.

SQL-analytiikan päätepiste voi helposti lukea tämän tyyppisiä tietoja ilman määritystä. Voit esimerkiksi käyttää mitä tahansa sovellusta tietojen arkistoimiseen Data Lakeen, mukaan lukien SQL Server 2022 tai Azure SQL:n hallittu esiintymä. Kun olet jakanut tiedot ja laskenut sen järveen arkistointitarkoituksiin ulkoisten taulujen avulla, SQL-analytiikkapäätepiste voi lukea osioidut Delta Lake -taulut SQL-tauluiksi ja antaa organisaatiollesi mahdollisuuden analysoida niitä. Tämä lähestymistapa vähentää omistamisen kokonaiskustannuksia, vähentää datan päällekkäisyyttä ja tuo esiin big datan, tekoälyn ja muiden analytiikan skenaariot.

Voit myös käyttää aikamatkustuskyselyitä nopeaan kyselyyn aiemmista dataversioista. Aikamatkustus on edullinen ja tehokas keino kysyä menneitä datatiloja T-SQL-kyselyillä. Lakehouse-SQL-analytiikan päätepisteessä aikamatkustus on rajoitettu tyhjiösäilytysasetuksilla. Aloittaaksesi katso Näin: Kysely aikamatkailun avulla lauseen tasolla.

Fabric-tietojen tietojen virtualisointi pikanäppäimillä

Fabric-työtilojen avulla voit eristää tietoja monitasoisten liiketoiminnan, maantieteellisten tai säädösten vaatimusten perusteella.

SQL-analytiikkapäätepiste mahdollistaa datan jättämisen paikalleen ja silti datan analysoinnin varastossa tai järvitalossa, jopa muissa Fabric-työtiloissa, saumattoman virtualisaation kautta. Jokainen Fabric-järvenrakennus tallentaa dataa OneLakeen.

Pikakuvakkeiden avulla voit viitata kansioihin missä tahansa OneLake-sijainnissa.

Jokainen Fabric-varasto tallentaa taulukkotiedot OneLakessa. Jos taulukko on vain lisäosa, taulukon tiedot näkyvät Delta Lake -tietoina OneLakessa. Pikakuvakkeiden avulla voit viitata kansioihin missä tahansa OneLakessa, jossa varastotaulukot ovat näkyvissä.

Työtilojen välinen jakaminen ja kyselyt

Vaikka työtilojen avulla voitkin erottaa tietoja monitasoisten liiketoiminta-, maantieteellisten tai lakisääteisten vaatimusten perusteella, joskus sinun on helpotettava tietojen jakamista näiden rivien välillä analytiikkatarpeiden vuoksi.

Lakehouse-SQL-analytiikkapäätepiste mahdollistaa helpon datan jakamisen osastojen ja käyttäjien välillä, jolloin käyttäjä voi tuoda oman kapasiteettinsa ja varastonsa. Työtilat järjestävät osastoja, liiketoimintayksiköitä tai analyysitoimialueita. Pikanäppäimiä käyttämällä käyttäjät voivat löytää minkä tahansa varaston tai järvitalon tiedot. Käyttäjät voivat suorittaa välittömästi omia mukautettuja analyysejään samoista jaetuista tiedoista. Tämä lähestymistapa auttaa osastojen palautuksissa ja käyttötarkoituksen jakamisessa, ja se on nollakopioversio datasta.

SQL-analytiikan päätepisteen avulla voit tehdä kyselyjä mistä tahansa taulukosta ja jakaa sen helposti. Voit lisätä ohjaimia käyttämällä työtilan rooleja ja turvallisuusrooleja täyttääksesi lisäliiketoimintavaatimuksia.

Hyödyntääksesi monikäyttöistä data-analytiikkaa, käytä seuraavia vaiheita:

  1. Luo OneLake-pikakuvake, joka viittaa työtilan taulukkoon tai kansioon, jota voit käyttää.
  2. Valitse järvitalo tai varasto, jossa on taulukko tai Delta Lake -kansio, jota haluat analysoida. Kun valitset taulukon tai kansion, järvimajaan ilmestyy pikakuvake.
  3. Vaihda lakehousen SQL-analytiikkapäätepisteeseen ja etsi SQL-taulu, jonka nimi vastaa pikakuvakkeen nimeä. Tämä SQL-taulukko viittaa toisen työtilan kansioon.
  4. Tee kysely SQL-taulukosta, joka viittaa toisen työtilan tietoihin. Voit käyttää taulukkoa kuten mitä tahansa muuta taulukkoa SQL-analytiikan päätepisteessä. Voit liittää taulukoita, jotka viittaavat eri työtilojen tietoihin.

Lisätietoja SQL-analytiikan päätepisteen turvallisuudesta löytyy kohdasta OneLake Security for SQL analytics endpoints.

Muistio

Jos SQL-taulukko ei heti näy SQL-analytiikan päätepisteessä, odota muutama minuutti. Toisessa työtilassa tietoihin viittaava SQL-taulukko luodaan viiveellä.

Osioitujen tietojen analysointi

Tietojen osiointi on tunnettu tietojen käytön optimointitekniikka Data Lake -tallennustiloissa. Tallennat osioidut tietojoukot hierarkkisiin kansiorakenteisiin muodossa /year=<year>/month=<month>/day=<day>, missä year, month, ja day ovat osiointisarakkeet. Osioidut tietojoukot mahdollistavat nopeamman tiedonhallinnan, jos kyselyt käyttävät predikaatteja, jotka suodattavat dataa vertaamalla predikaattisarakkeita arvoon.

SQL-analytiikan päätepiste voi edustaa osioituja Delta Lake -tietojoukkoja SQL-taulukoina ja mahdollistaa niiden analysoinnin.

Lisätietoja ja esimerkkejä ulkoisen datan kyselyistä löytyy kohdasta Query external data lake files using Fabric tietovarasto tai SQL Analytics Endpoint. Esimerkki ja käyttötapaus osioitujen parquet-tiedostojen kyselyyn löytyy kohdasta Kysely osioiduista datasta.

Analysoi dataa järvenrakennuksessa, varastossa tai tapahtumatalossa

Lakehouse- ja Warehouse-pääsivuilla on Eventhouse-päätepiste osana Analysoi dataa valikon kanssa. Eventhouse-päätepiste tarjoaa Eventhouse-toimisen kyselykokemuksen suoraan Lakehouse- ja Warehouse-datan päälle ilman datan kopiointia tai manuaalista synkronointia.

Kuvakaappaus Analysoi datasta painikkeella laajennettuna, jotta näkee SQL-analytiikan päätepisteen ja Eventhousen päätepistevaihtoehdot.

Kun otat Eventhouse-päätepisteen käyttöön, Eventhouse ja KQL-tietokanta luodaan automaattisesti lähde-Lakehousen tai Warehousen lapsikohteiksi, ja skeeman synkronointi hoidetaan taustalla. Päätepiste heijastaa aina lähdedatan nykyistä skeemaa, mahdollistaen lähes reaaliaikaisen analyyttisen pääsyn.

Tämä integraatio tekee Eventhousesta luonnollisen jatkeen tietolähteelle, eikä erillisenä järjestelmänä, joka täytyy perustaa ja hallita. Lisätietoja Eventhouse-päätepisteestä löytyy kohdasta Enable Eventhouse endpoint for lakehouse and warehouse.

Liittyvä sisältö

  • Last updated on