Slå på tilgjengeligheten av OneLake for et eventhus

Du kan opprette en logisk kopi av KQL-databasedata i et hendelseshus ved å slå på OneLake-tilgjengelighet. Når du slår på OneLake-tilgjengelighet, kan du spørre dataene i KQL-databasen din i Delta Lake-format via andre Fabric-motorer som Direct Lake-modus i Power BI, Warehouse, Lakehouse, Notebooks og flere. Delta Lake er det enhetlige datalake-tabellformatet som gjør sømløs datatilgang mulig på tvers av alle beregningsmotorer i Fabric.

I denne artikkelen lærer du hvordan du slår på tilgjengeligheten av KQL-databasedata i OneLake.

Når OneLake-tilgjengelighet og skjema-synkronisering er aktivert, kan du også bruke Analyze data med>SQL-endepunkt på databasenivå for å spørre Delta Lake-representasjonen i nesten sanntid via SQL-baserte motorer.

Når OneLake-tilgjengelighet og skjema-synkronisering er aktivert, kan du også bruke Analyze data med>SQL-endepunkt på databasenivå for å spørre Delta Lake-representasjonen i nesten sanntid via SQL-baserte motorer.

Hvordan OneLake-tilgjengelighet fungerer for KQL-databaser

Du kan aktivere OneLake-tilgjengelighet på database- eller tabellnivå. Når de aktiveres på databasenivå, gjøres alle nye tabeller og deres data tilgjengelige i OneLake. Når du aktiverer funksjonen, kan du også velge å bruke dette alternativet på eksisterende tabeller ved å velge alternativet Bruk på eksisterende tabeller, for å inkludere historisk etterfylling. Hvis du aktiverer på tabellnivå, blir bare tabellen og dataene tilgjengelige i OneLake. Policyen for dataoppbevaring av KQL-databasen, brukes også på dataene i OneLake. Data som fjernes fra KQL-databasen på slutten av oppbevaringsperioden, fjernes også fra OneLake. Hvis du deaktiverer OneLake-tilgjengelighet, slettes data fra OneLake.

Backend-skjemasynkronisering holder Delta Lake-representasjonen i samsvar med KQL-databasen, noe som muliggjør nær-sanntids forespørsler gjennom SQL-endepunktet og notatbøker. For forventet latens og batching-atferd, se Adaptiv atferd.

Selv om OneLake-tilgjengelighet er aktivert, kan du ikke gjøre følgende oppgaver:

• Gi tabellene nytt navn.
• Endre en kolonnetype. Å legge til eller slette en kolonne støttes.
• Bruk rad-nivå sikkerhet på tabeller.
• Slett, forkort eller fjern data.

Hvis du trenger å gjøre noen av disse oppgavene, kan du bruke følgende fremgangsmåte:

1. Slå av OneLake-tilgjengelighet.
2. Utfør oppgaven.
3. Slå på OneLake-tilgjengelighet.

Forutsetning

• En workspace med en Fabric-aktivert capacity.
• En KQL-database med redigeringstillatelser og data.

Slå på OneLake-tilgjengelighet for en KQL-database eller tabell

Du kan slå på OneLake-tilgjengelighet for enten en KQL-database eller tabell.

1. Velg en database eller tabell.

2. Angi TilgjengelighetAktiverti delen OneLake i detaljruten.

   

3. I vinduet Aktiver OneLake tilgjengelighet , velg Aktiver.

   

4. Databasen eller tabelldetaljene oppdateres automatisk.

   

Når du slår på OneLake-tilgjengelighet i KQL-databasen eller tabellen din, kan du få tilgang til all data på den gitte OneLake-ruten i Delta Lake-format. Du kan også lage en OneLake-snarvei fra et innsjøhus eller lager, eller spørre dataene direkte via Power BI Direct Lake-modus. Med OneLake-tilgjengelighet i KQL-databasen eller tabellen aktivert, kan du nå få tilgang til alle dataene på den angitte OneLake-banen i Delta Lake-format. Du kan også opprette en OneLake-snarvei fra et Lakehouse, datalager eller spørre dataene direkte via Power BI Direct Lake-modus.

Bruk med Analyser data med alternativer

Når OneLake-tilgjengelighet er aktivert, eksponerer Eventhouse- og KQL-databaseelementer Analyse-data med alternativer på databasenivå:

• SQL-endepunkt: Tilgjengelig når både OneLake-tilgjengelighet og skjema-synkronisering er aktivert.
• Notatbok: Åpner notatbokbasert analyse for den valgte databasen.

Hvis du slår av tilgjengeligheten av OneLake, fjernes SQL-endepunktsalternativet fra denne menyen til du aktiverer det igjen.

Adaptiv atferd for parquet-filbatching

Et eventhouse samler intelligent innkommende datastrømmer i én eller flere Parquet-filer strukturert for analyse. Batching av datastrømmer er viktig når man håndterer dryppende data, fordi det kan være ineffektivt å skrive mange små Parquet-filer i innsjøen. Denne ineffektiviteten resulterer i høyere kostnader og dårlig søkeytelse.

Eventhouse-adaptivmekanismen kan forsinke skriveoperasjoner til OneLake hvis det ikke er nok data til å lage optimale Parquet-filer. Denne oppførselen sikrer at Parquet-filene er optimale i størrelse og følger beste praksis i Delta Lake. Den balanserer behovet for rask datatilgjengelighet med kostnads- og ytelseshensyn.

Standard og konfigurerbar skriveforsinkelse for tilgjengelighet av OneLake:

For eksempel, bruk følgende Kusto-kommando for å sette skriveforsinkelsen til 5 minutter for en enkelt tabell:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Du kan overvåke hvor lenge det er siden nye data ble lagt til i innsjøen ved å sjekke dataforsinkelsen med kommandoen.show table mirroring operations.

Resultatene måles fra forrige gang data ble lagt til. Når latens returnerer 00:00:00, er all data i KQL-databasen tilgjengelig i OneLake.

Se Delta Lake-filer i OneLake

Når du slår på OneLake-tilgjengelighet i en tabell, oppretter prosessen en delta-loggmappe sammen med eventuelle tilsvarende JSON- og Parquet-filer. Du kan se filene som er tilgjengelige i OneLake og deres egenskaper mens du holder deg innenfor Real-Time Intelligence.

• Hvis du vil vise filene, holder du pekeren over en tabell i Explorer-ruten og velger deretter Mer-menyen [...]>Vis filer.

  

• Hvis du vil vise egenskapene for deltaloggmappen eller de individuelle filene, holder du pekeren over mappen eller filen og velger deretter Mer-menyen [...]>Egenskaper.

• Slik viser du filene i deltaloggmappen:

  1. Velg mappen _delta_log.
  2. Velg en fil for å vise tabellmetadataene og -skjemaet. Redigeringsprogrammet som åpnes, er i skrivebeskyttet format.

Få tilgang til OneLake-speilingspolicyen

Som standard, når du slår på OneLake-tilgjengelighet for en KQL-database eller tabell, aktiverer systemet en speilingspolicy. Du kan bruke speilingspolicyen for å overvåke datalatens eller endre den for å partisjonere deltatabeller.

Partisjonsdeltatabeller i OneLake

Du kan partisjonere deltatabellene for å forbedre spørringshastigheten. Hvis du vil ha informasjon om når du skal partisjonere OneLake-filer, kan du se Når du skal partisjonere tabeller. Hver partisjon representeres som en egen kolonne ved å bruke de PartitionName som er listet i Partitions listen. Denne representasjonen betyr at OneLake-kopien din har flere kolonner enn kildetabellen din.

For å partisjonere delta-tabellene dine, bruk kommandoen .alter-merge table policy mirroring .

Søk i Delta-tabeller fra en Fabric-notatbok

Du kan bruke Fabric Notebook til å lese OneLake-dataene ved hjelp av kodesnutten nedenfor.

I kodesnutten erstatter du <workspaceGuid>, <workspaceGuid>og <tableName> med dine egne verdier.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Relatert innhold

• Hva er Delta Lake?
• Lag en snarvei i OneLake
• Hva er snarveier i Lakehouse?
• Opprett en OneLake-snarvei i KQL-databasen