Användningsfall för Lakehouse SQL-analysslutpunkter

SQL-analysändpunkten är en läsoptimerad T-SQL-yta över Delta-data i Fabric. Denna artikel förklarar Fabric data warehousing-arbetsbelastningen med SQL-analysändpunkten för lakehouse, samt scenarier för användning av lakehouse i datawarehouse.

Vad är en lakehouse SQL-analys-endpoint?

SQL-analysändpunkten gör det möjligt för dig att söka data i lakehouse genom att använda T-SQL-språket och TDS-protokollet.

  • SQL-analysendpointen exponerar Delta-tabeller från lakehouse som SQL-tabeller som du kan fråga med T-SQL.
  • Varje Delta-bord från ett sjöhus representeras som ett och samma bord. Data ska vara i deltaformat.
  • Varje lakehouse har en SQL-analysendpoint, och varje arbetsyta kan ha mer än ett lakehouse. Andra Fabric-objekt – inklusive lager, speglade databaser, SQL-databaser och Azure Cosmos DB – provisionerar också automatiskt en SQL-analysendpoint, så en arbetsyta kan ha fler SQL-analysendpoints än lakehouse-objekt.

Du behöver inte skapa en SQL-analysendpoint i Fabric. En SQL-analysslutpunkt skapas automatiskt för varje lakehouse, databas eller speglad databas. En SQL-analysslutpunkt fungerar som en enkel datalagerfunktion för sina överordnade objekt, som kompletterar lagrets lakehouse-arkitektur. Den här arkitekturen gör att Spark eller Fabric-spegling kan hantera data i en mappstruktur i lakehouset som SQL-analysslutpunkten kan se.

Note

I bakgrunden använder SQL-analysslutpunkten samma motor som warehouse för att hantera SQL-frågor med höga prestanda och korta svarstider.

Automatisk identifiering av metadata

En sömlös process läser Delta-loggarna /Tables från mappen och ser till att SQL-metadata för tabeller, till exempel statistik, alltid är uppdaterade. Det behövs ingen användaråtgärd och du behöver inte importera, kopiera data eller konfigurera infrastruktur. Mer information finns i Automatiskt genererat schema i SQL-analysslutpunkten.

Scenarier som lakehouse möjliggör för datalagring

I Fabric erbjuder vi ett lager.

Lakehouse, med sin SQL-analysendpoint, som drivs av lagret, kan förenkla det traditionella beslutsträdet med batch-, streaming- eller lambdaarkitekturmönster. Tillsammans med ett lager möjliggör lakehouse många scenarier för additiv analys. Detta avsnitt utforskar hur man använder ett sjöhus tillsammans med ett lager för en bäst rasanalysstrategi.

Analys med ditt sjöhus' guldlager

En välkänd strategi för lakedataorganisation är medallionarkitektur. Den här strategin organiserar filer i råa (brons), konsoliderade (silver) och raffinerade (guld) lager. Du kan använda en SQL-analysslutpunkt för att analysera data i guldskiktet i medaljongarkitekturen om filerna lagras i Delta Lake-format, även om de lagras utanför Microsoft Fabric OneLake.

Använd genvägar i OneLake för att referera till gold-mappar i externa Azure Data Lake-lagringskonton som Azure Synapse Spark eller Azure Databricks engines hanterar.

Du kan också lägga till lager som ämnesområde eller domänorienterade lösningar för specifika ämnen som kan ha skräddarsydda analyskrav.

Om du väljer att hålla dina data i Fabric är de always öppna och tillgängliga via API:er, Delta-format och naturligtvis T-SQL.

Sök som tjänst över dina Delta-tabeller från Lakehouse och andra produkter från OneLake

Analytiker, dataforskare och datatekniker kan behöva köra frågor mot data i en datasjö. I Fabric är den här upplevelsen från slutpunkt till slutpunkt helt SaaSified.

OneLake är en enda, enhetlig, logisk datasjö för hela organisationen. OneLake är OneDrive för data. OneLake kan innehålla flera arbetsytor, till exempel längs dina organisationsdivisioner. Varje objekt i Fabric gör data tillgängliga via OneLake.

Data i ett sjöhus i Fabric lagras fysiskt i OneLake med följande mappstruktur:

  • Mappen /Files innehåller råa och icke-konsoliderade filer (brons) som datatekniker bör bearbeta före analys. Filerna kan ha olika format, till exempel CSV, Parquet, olika typer av bilder med mera.
  • Mappen /Tables innehåller förfinade och konsoliderade (guld) data som är redo för affärsanalys. Konsoliderade data är i Delta Lake-format.

En SQL-analysslutpunkt kan läsa data i /tables mappen i OneLake. Analys är så enkelt som att fråga SQL-analysändpunkten i sjöhuset. Tillsammans med lagret får du också databastöverskridande frågor och möjligheten att sömlöst växla från skrivskyddade frågor till att bygga ytterligare affärslogik ovanpå din OneLake-data med Fabric Data Warehouse.

Dataingenjör med Spark och Servering med SQL

Datadrivna företag måste hålla sina backend- och analyssystem i nästan realtidssynkronisering med kundinriktade program. Effekten av transaktioner måste återspeglas korrekt genom processer från slutpunkt till slutpunkt, relaterade program och OLTP-system (Online Transaction Processing).

På Fabric kan du använda Spark Streaming eller data engineering för att kurera dina data. Du kan använda lakehouse SQL-analysendpoint för att validera datakvalitet och för befintliga T-SQL-processer. Detta kan göras i en medaljongarkitektur eller i flera lager av ditt sjöhus, där brons, silver, guld eller iscensättnings-, kuraterad och förfinad data serveras. Du kan anpassa mappar och tabeller som skapats via Spark för att uppfylla dina datateknik- och affärskrav. När det är klart kan ett lager hantera alla dina nedströms business intelligence-applikationer och andra analysanvändningsfall, utan att kopiera data, använda Views eller förfina data med CREATE TABLE AS SELECT (CTAS), lagrade procedurer och andra DML/DDL-kommandon.

Integration med ditt öppna sjöhus guldlager

En SQL-analysendpoint är inte begränsad till dataanalys i bara sjöhuset i Fabric. Genom att använda en SQL-analysendpoint kan du analysera sjödata i vilket lakehouse som helst med Azure Synapse Spark, Azure Databricks eller någon annan lake-centrerad dataingenjörsmotor. Du kan lagra data i Azure Data Lake Storage eller Amazon S3.

Du kan alltid nå denna täta, tvåvägs integration med lakehouse i Fabric via vilken motor som helst genom att använda öppna API:er, Delta-formatet och förstås T-SQL.

Datavirtualisering av externa datasjöar med genvägar

Använd OneLake-genvägar för att referera till gold-mappar i externa Azure Data Lake-lagringskonton som Azure Synapse Spark eller Azure Databricks-motorer hanterar, samt vilken Delta-tabell som helst lagrad i Amazon S3.

Du kan analysera valfri mapp som refereras till av en genväg från en SQL-analysslutpunkt och skapa en SQL-tabell för de refererade data. Använd SQL-tabellen för att exponera data i externt hanterade datasjöar och aktivera analys på dem.

Den här genvägen fungerar som ett virtuellt lager som du kan använda från ett lager för ytterligare krav på nedströmsanalys eller fråga direkt.

Om du vill analysera data i externa datasjölagringskonton använder du följande steg:

  1. Skapa en genväg som refererar till en mapp i Azure Data Lake Storage eller Amazon S3-kontot. Efter att du angett anslutningsuppgifter och inloggningsuppgifter visas en genväg i sjöhuset.
  2. Byt till SQL-analysändpunkten i lakehouse och hitta en SQL-tabell som har ett namn som matchar genvägsnamnet. Den här SQL-tabellen refererar till mappen i ADLS eller S3.
  3. Kör frågor mot SQL-tabellen som refererar till data i ADLS eller S3. Använd tabellen på samma sätt som andra tabeller i SQL-analysslutpunkten. Du kan koppla tabeller som refererar till data i olika lagringskonton.

Note

Om SQL-tabellen inte visas omedelbart i SQL-analysslutpunkten väntar du några minuter. SQL-tabellen som refererar till data i ett externt lagringskonto skapas med en fördröjning.

Analysera arkiverade eller historiska data i en datasjö

Datapartitionering är en välkänd optimeringsteknik för dataåtkomst i datasjöar. Lagra partitionerade datauppsättningar i hierarkiska mappstrukturer i formatet /year=<year>/month=<month>/day=<day>, där year, monthoch day är partitioneringskolumnerna. Den här strukturen håller historiska data logiskt åtskilda och gör det möjligt för beräkningsmotorer att läsa data efter behov med performant filtrering, i stället för att läsa hela katalogen och alla mappar och filer i.

Partitionerade data ger snabbare åtkomst om frågorna filtrerar på predikaten som jämför predikatkolumner med ett värde.

En SQL-analysslutpunkt kan enkelt läsa den här typen av data utan att någon konfiguration krävs. Du kan till exempel använda valfritt program för att arkivera data i en datasjö, inklusive SQL Server 2022 eller Azure SQL Managed Instance. När du har partitionerat data och landat dem i en sjö i arkiveringssyfte med hjälp av externa tabeller kan en SQL-analysslutpunkt läsa partitionerade Delta Lake-tabeller som SQL-tabeller och göra det möjligt för din organisation att analysera dem. Den här metoden minskar den totala ägandekostnaden, minskar dataduplicering och lyser upp stordata, AI och andra analysscenarier.

Du kan också använda tidsresefrågor för att snabbt köra frågor mot tidigare versioner av data. Tidsresefunktionen är en kostnadseffektiv och effektiv funktion för att fråga efter tidigare tillstånd i data med T-SQL. För en Lakehouse SQL-analysändpunkt begränsas tidsresor av inställningar för vakuumretention. Kom igång genom att läsa Så här: Fråga med time travel på satsnivå.

Datavirtualisering av tygdata med genvägar

Inom Fabric tillåter arbetsytor att segregera data baserat på komplexa affärs-, geografiska eller regelmässiga krav.

En SQL-analysendpoint gör det möjligt att lämna data på plats och ändå analysera data i lagret eller i lakehouse, även i andra Fabric-arbetsytor, via en sömlös virtualisering. Varje sjöhus i Fabric lagrar data i OneLake.

Med genvägar kan du referera till mappar på valfri OneLake-plats.

Varje lager i Fabric lagrar tabelldata i OneLake. Om en tabell endast läggs till exponeras tabelldata som Delta Lake-data i OneLake. Genvägar gör det möjligt för dig att referera till mappar i vilken OneLake som helst där lagertabellerna är exponerade.

Delning och frågeverktyg mellan arbetsytor

Arbetsytor gör att du kan separera data baserat på komplexa affärs-, geografiska eller regelmässiga krav, men ibland måste du möjliggöra delning över dessa gränser för specifika analysbehov.

En Lakehouse SQL-analysendpoint kan möjliggöra enkel delning av data mellan avdelningar och användare, där en användare kan ta med egen kapacitet och lager. Arbetsytor organiserar avdelningar, affärsenheter eller analysdomäner. Genom att använda genvägar kan användare hitta data från vilket lager som helst eller Lakehouse. Användare kan omedelbart utföra sina egna anpassade analyser från samma delade data. Förutom att hjälpa till med avdelningsbaserade återbetalningar och användningsallokering är den här metoden en nollkopieringsversion av data.

SQL-analysslutpunkten möjliggör frågekörning av valfri tabell och enkel delning. Du kan lägga till kontroller med hjälp av arbetsyteroller och säkerhetsroller för att uppfylla ytterligare affärskrav.

Använd följande steg för att aktivera dataanalys mellan arbetsytor:

  1. Skapa en OneLake-genväg som refererar till en tabell eller en mapp på en arbetsyta som du kan komma åt.
  2. Välj ett sjöhus eller lager som innehåller en tabell eller Delta Lake-mapp som du vill analysera. När du väljer en tabell eller mapp visas en genväg i sjöhuset.
  3. Byt till SQL-analysändpunkten i lakehouse och hitta SQL-tabellen som har ett namn som matchar genvägsnamnet. Den här SQL-tabellen refererar till mappen på en annan arbetsyta.
  4. Förfråga SQL-tabellen som refererar till data i en annan arbetsyta. Du kan använda tabellen på samma sätt som andra tabeller i SQL-analysslutpunkten. Du kan ansluta tabellerna som refererar till data på olika arbetsytor.

Mer information om säkerhet i SQL-analysslutpunkten finns i OneLake-säkerhet för SQL-analysslutpunkter.

Note

Om SQL-tabellen inte visas omedelbart i SQL-analysslutpunkten väntar du några minuter. SQL-tabellen som refererar till data på en annan arbetsyta skapas med en fördröjning.

Analysera partitionerade data

Datapartitionering är en välkänd optimeringsteknik för dataåtkomst i datasjöar. Du lagrar partitionerade datauppsättningar i hierarkiska mappstrukturer i formatet /year=<year>/month=<month>/day=<day>, där year, monthoch day är partitioneringskolumnerna. Partitionerade datauppsättningar ger snabbare dataåtkomst om frågorna använder predikater som filtrerar data genom att jämföra predikatkolumner med ett värde.

En SQL-analysslutpunkt kan representera partitionerade Delta Lake-datauppsättningar som SQL-tabeller och göra det möjligt för dig att analysera dem.

Mer information och exempel om hur du frågar efter externa data finns i Fråga externa data lake-filer med hjälp av Fabric Data Warehouse eller SQL-analysslutpunkten. Ett exempel och användningsfall för att fråga partitionerade parquet-filer finns i Fråga partitionerade data.

Analysera data i sjöhuset, lagret eller eventhuset

Huvudsidorna Lakehouse och Warehouse innehåller Eventhouse-slutpunkten som en del av menyn Analysera data med . Eventhouse-slutpunkten ger en Eventhouse-baserad frågeupplevelse direkt ovanpå Lakehouse- och Warehouse-data, utan dataduplicering eller manuell synkronisering.

Skärmbild av Analysera data-knappen som är expanderad för att visa alternativen SQL-analytics-endpoint och Eventhouse-endpoint.

När du aktiverar Eventhouse-slutpunkten skapas automatiskt en Eventhouse och en KQL-databas som underordnade objekt i källan Lakehouse eller Warehouse, med schemasynkronisering som hanteras i bakgrunden. Slutpunkten återspeglar alltid det aktuella schemat för källdata, vilket möjliggör analysåtkomst nästan i realtid.

Den här integreringen gör Eventhouse till ett naturligt tillägg för datakällan i stället för ett separat system som du behöver konfigurera och hantera. Mer information om Eventhouse-slutpunkten finns i Aktivera Eventhouse-slutpunkt för lakehouse och lager.

Relaterat innehåll

  • Last updated on