OneLake-genvägar

Genvägar i Microsoft OneLake förenar dina data mellan domäner, moln och konton genom att göra OneLake till den enda virtuella datasjön för hela företaget. Upplevelser i Fabric och analytiska motorer kan ansluta till dina befintliga datakällor, inklusive Azure, Amazon Web Services (AWS) och OneLake via en enhetlig namnrymd. OneLake hanterar alla behörigheter och autentiseringsuppgifter, så du behöver inte konfigurera varje Fabric arbetsbelastning separat för att ansluta till varje datakälla. Dessutom kan du använda genvägar för att eliminera kantkopior av data och minska processfördröjningen som är associerad med datakopior och mellanlagring. Genvägar underhåller även synkronisering med källdata, inklusive automatiska schemauppdateringar för genvägstabeller.

Vad är genvägar?

Genvägar är objekt i OneLake som pekar på andra lagringsplatser. Platsen kan vara intern eller extern till OneLake. Platsen som en genväg pekar på är genvägens målsökväg . Platsen där genvägen visas är genvägssökvägen.

Genvägar visas som mappar i OneLake och alla arbetsbelastningar eller tjänster som har åtkomst till OneLake kan använda dem. Genvägar fungerar som symboliska länkar. De är ett självständigt objekt som är skilt från målet. Om du tar bort en genväg påverkas inte målet. Om du flyttar, byter namn på eller tar bort en målsökväg kan genvägen brytas.

Var kan jag skapa genvägar?

Du kan skapa genvägar i lakehouses och KQL-databaser (Kusto-frågespråk).

Du kan använda Fabric-portalen för att skapa genvägar interaktivt och du kan använda REST API för att skapa genvägar programmatiskt.

Sjöhus

När du skapar genvägar i ett sjöhus måste du förstå objektets mappstruktur. Lakehouses har två mappar på den översta nivån: mappen Tabeller och mappen Filer . Mappen tables är avsedd för strukturerade datauppsättningar. Filer-mappen är avsedd för ostrukturerade eller halvstrukturerade data.

I mappen Tabeller kan du bara skapa genvägar på den översta nivån. OneLake stöder inte genvägar i underkataloger i mappen Tabeller . Genvägar i avsnittet Tabeller pekar vanligtvis på interna källor i OneLake eller länkar till andra datatillgångar som överensstämmer med Delta-tabellformatet. Om målet för genvägen innehåller data i ett tabellformat som stöds (till exempel Delta) synkroniserar lakehouse automatiskt tabellmetadata och identifierar mappen som en tabell.

Tabellscheman synkroniseras automatiskt för alla genvägstabeller, inklusive både nya och befintliga tabeller. Den här synkroniseringen säkerställer att schemaändringar i källan återspeglas i genvägen utan att manuella uppdateringar krävs. Genvägar i avsnittet Tabeller kan länka till antingen en enskild tabell eller ett schema, som är en överordnad mapp för flera tabeller.

I mappen för filer finns det inga begränsningar för var du kan skapa genvägar. Du kan skapa genvägar på valfri nivå i mapphierarkin. Tabellidentifiering sker inte i mappen med filer. Genvägar här kan peka på antingen interna OneLake- och externa lagringssystem med data i valfritt format.

KQL-databas

När du skapar en genväg i en KQL-databas visas den i mappen Genvägar i databasen. KQL-databasen behandlar genvägar som externa tabeller. För att köra frågor mot genvägen, använd funktionen external_table i Kusto Query Language.

Genvägar till Eventhouse-databasen

När du skapar en databasgenväg i ett händelsehus kan du välja att inkludera alla underwebbplatser från källdatabasen eller välja specifika underwebbplatser att dela. Den här delningsfunktionen på tabellnivå möjliggör säker, kontrollerad datadelning utan att exponera hela databaser.

Välj specifika underobjekt

När du skapar en ny databasgenväg kan du välja mellan följande underwebbplatstyper:

• Tabeller – Vanliga tabeller från källdatabasen
• Genvägstabeller – tabeller som själva är genvägar
• Materialiserade vyer – förberäknade vyer för optimerade frågor
• Functions – Lagrade funktioner för återanvändbar frågelogik

Så här väljer du specifika underobjekt:

1. I ett eventhouse väljer du + Genväg till ny>databas.
2. Välj en metod för att identifiera källdatabasen:
   • OneLake-katalog – Bläddra och välj en databas från Fabric.
   • Kluster-URI – Ange ett Azure Data Explorer kluster-URI och databasnamn manuellt.
   • Inbjudningstoken – Klistra in en token som utfärdats av dataproducenten. Underobjektsvalet är fördefinierat av producenten.
3. I avsnittet Underwebbplatser som ska inkluderas väljer du Inkludera alla underwebbplatser (standard) eller Välj specifika underwebbplatser.
4. Om du väljer specifika underobjekt använder du den infogade väljaren för att filtrera efter typ och söka på namn.
5. Välj Skapa för att skapa genvägen.

Automatisk schemasynkronisering

Det finns två typer av automatisk schema-synkronisering för eventhouse-databasgenvägar:

• Automatisk schemasynkronisering för databasgenvägen: Lägger till eller tar bort tabeller, genvägstabeller, materialiserade vyer och funktioner. Denna synkronisering sker endast när du skapar en databasgenväg och väljer Inkludera alla underposter. Om du bara väljer en delmängd av delobjekten gäller inte denna synkronisering.
• Automatisk schemasynkronisering för en genvägstabell: Lägger till, tar bort eller byter namn på kolumner och ändrar kolumntyper. Denna synkronisering sker för alla genvägstabeller som standard, om du inte stänger av den med kommandot KQL i följande exempel.

Konsumenter av en resurs på tabellnivå kan bara fråga och visa underwebbplatser som uttryckligen ingår i resursen. Namn på ej delade underobjekt visas inte för användare.

För att inaktivera automatisk schemasynkronisering för en genvägstabell, kör följande kommando i källdatabasen:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Beroenden för underobjekt

När du väljer underwebbplatser hanterar systemet automatiskt beroenden:

• När du väljer en materialiserad vy eller funktion väljs de refererade tabellerna automatiskt.
• När du avmarkerar en materialiserad vy eller funktion förblir de refererade tabellerna markerade.
• När du avmarkerar en tabell avmarkeras alla materialiserade vyer eller funktioner som är beroende av den automatiskt.

Var kan jag komma åt genvägar?

Tjänster, både Fabric och icke-Fabric, som kan komma åt data i OneLake kan använda genvägar. Genvägar är transparenta för alla tjänster som har åtkomst till data via OneLake-API:et. Genvägar visas bara som en annan mapp i sjön. Apache Spark, SQL, Realtidsinformation och Analysis Services kan alla använda genvägar när du frågar efter data.

Apache Spark

Apache Spark-notebook-filer och Apache Spark-jobb kan använda genvägar som du skapar i OneLake. Använd relativa filsökvägar för att läsa data direkt från genvägar. Om du skapar en genväg i avsnittet Tabeller i lakehouse och den är i Delta-format, kan du läsa den som en hanterad tabell med Apache Spark SQL-syntax.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Du kan läsa genvägar i avsnittet Tabeller i en lakehouse-sektion via SQL-analysslutpunkten för lakehouse. Du kan komma åt SQL-analysslutpunkten via lägesväljaren för lakehouse eller via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Realtidsinformation

Genvägar i KQL-databaser identifieras som externa tabeller. För att köra frågor mot genvägen, använd funktionen external_table i Kusto Query Language.

external_table('MyShortcut')
| take 100

Analystjänster

Du kan skapa semantiska modeller för lakehouse som innehåller genvägar i avsnittet Tabeller i lakehouse. När den semantiska modellen körs i Direct Lake-läge kan Analysis Services läsa data direkt från genvägen.

Icke-Fabric-tjänster

Program och tjänster utanför Fabric kan också komma åt genvägar via OneLake-API:et. OneLake stöder en delmängd av API:erna ADLS Gen2 och Blob Storage. Mer information om OneLake-API :et finns i OneLake-åtkomst med API:er.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typer av genvägar

Genvägar i OneLake stöder flera filsystemdatakällor. Dessa källor omfattar interna OneLake-platser och externa eller icke-Microsoft källor.

Du kan också skapa genvägar till lokala eller nätverksbegränsade platser med hjälp av Fabric lokal datagateway (OPDG).

Interna OneLake-genvägar

Använd interna OneLake-genvägar för att referera till data i befintliga Fabric objekt, inklusive:

• KQL-databaser
• Sjöhus
• Speglade Azure Databricks kataloger
• Speglade databaser med realtidssynkronisering
• Semantiska modeller
• SQL-databaser
• Lagerhus

Instruktioner för att skapa en intern genväg finns i Skapa en intern OneLake-genväg.

Genvägen kan peka på en mappplats inom samma objekt, mellan objekt på samma arbetsyta eller till och med mellan objekt i olika arbetsytor. När du skapar en genväg mellan objekt behöver objekttyperna inte matcha. Du kan till exempel skapa en genväg i ett sjöhus som pekar på data i ett lager.

När en användare kommer åt data från en annan OneLake-plats via en genväg använder OneLake identiteten för den anropande användaren för att auktorisera åtkomst till data. Den här användaren måste ha behörigheter på målplatsen för att kunna läsa data.

Externa OneLake-genvägar

Detaljerade instruktioner för att skapa en viss genvägstyp finns i den här listan över externa källor som stöds:

• Amazon S3-genvägar
• Amazon S3-kompatibla genvägar
• Azure Data Lake Storage (ADLS) Gen 2 genvägar
• Azure Blob Storage genvägar
• Genvägar till Dataverse
• Google Cloud Storage-genvägar
• Genvägar till isberg
• OneDrive och SharePoint genvägar

Mellanlagring

Cachelagring av förkortningar kan minska kostnaderna för utgående trafik som är associerad med molndataåtkomst. När OneLake läser filer via en extern genvägslänk lagrar tjänsten filerna i en cache för Fabric arbetsyta. OneLake svarar på efterföljande läsbegäranden från cachen i stället för fjärrlagringsprovidern. Du kan ange kvarhållningsperioden för cachelagrade filer mellan 1 och 28 dagar. Varje gång du kommer åt filen återställs kvarhållningsperioden. Om fjärrlagringen har en nyare version av filen än cachens version, hanterar OneLake begäran från fjärrlagringsprovidern och uppdaterar filen i cacheminnet. Om du inte kommer åt en fil inom den valda kvarhållningsperioden rensas den från cacheminnet. Enskilda filer som är större än 1 GB cachelagras inte.

Om du vill aktivera cachelagring för genvägar öppnar du panelen Inställningar för arbetsyta. Välj fliken OneLake. Växla cacheinställningen till På och välj kvarhållningsperiod.

Du kan rensa cachen när som helst. På samma inställningssida väljer du knappen Återställ cache. Den här åtgärden tar bort alla filer från genvägscacheminnet på den här arbetsytan.

Så här använder genvägar molnanslutningar

ADLS- och S3-genvägar delegerar auktorisering med hjälp av molnanslutningar. När du skapar en ny ADLS- eller S3-genväg skapar du antingen en ny anslutning eller väljer en befintlig anslutning för datakällan. Att ange en anslutning för en genväg är en bindningsåtgärd. Endast användare med behörighet för anslutningen kan utföra bindningsåtgärden. Om du inte har behörighet för anslutningen kan du inte skapa nya genvägar med den anslutningen.

Mer information om hur du visar och uppdaterar molnanslutningar finns i Hantera anslutningar för genvägar.

Genvägssäkerhet

Genvägar kräver vissa behörigheter för att hantera och använda. OneLake-genvägssäkerhet förklarar de behörigheter du behöver för att skapa genvägar och komma åt data via dem.

Hur hanterar genvägar borttagningar?

Genvägar stöder inte sammanhängande borttagningar. När du tar bort en genväg tar du bara bort genvägsobjektet. Data i genvägsmålet förblir oförändrade. Men om du tar bort en fil eller mapp inom en genväg och du har behörigheter i genvägsmålet för att utföra borttagningsåtgärden, tar du även bort filen eller mappen i målet.

Tänk dig till exempel en stuga vid sjön med följande sökväg: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut är en genväg som pekar på ett ADLS Gen2-konto som innehåller Foo\Bar-katalogerna .

Om du tar bort MyLakehouse\Files\MyShortcuttar du bort genvägen MyShortcut från lakehouse, men filerna och katalogerna i ADLS Gen2-kontot Foo\Bar påverkas inte.

Om du tar bort MyLakehouse\Files\MyShortcut\Foo\Baroch du har skrivbehörigheter i ADLS Gen2-kontot tar du bort katalogen Bar från ADLS Gen2-kontot.

Som ett annat exempel bör du överväga ett schemaaktiverat sjöhus med följande sökväg: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut är en schemagenväg som pekar på ett ADLS Gen2-konto som innehåller Dir1-katalogen .

Om du tar bort MyLakehouse\Tables\MySchemaShortcuttar du bort genvägen MySchemaShortcut-schema från lakehouse, men filerna och katalogerna i ADLS Gen2-kontot Dir1 påverkas inte.

Om du tar bort MyLakehouse\Tables\MySchemaShortcut\Dir1och du har skrivbehörigheter i ADLS Gen2-kontot tar du bort Dir1-katalogen från ADLS Gen2-kontot.

Härkomstvy för arbetsyta

När du skapar genvägar mellan flera Fabric-element i en arbetsyta kan du visualisera genvägsrelationerna via härkomstvyn för arbetsytan. Välj knappen Härkomstvy ( ) i det övre högra hörnet av Arbetsyteutforskaren.

Begränsningar och överväganden

• Varje Fabric objekt har stöd för upp till 100 000 genvägar. I det här sammanhanget syftar termen objekt på appar, lakehouses, lager, rapporter med mera.
• En enda OneLake-sökväg stöder upp till 10 genvägar.
• Det maximala antalet direkta genvägar till genvägslänkar är 5.
• Genvägsnamn, överordnade sökvägar och målsökvägar får inte innehålla tecken av typen "%" eller "+".
• Genvägar stöder inte icke-latinska tecken.
• Ursprung för genvägar till lager och semantiska modeller är för närvarande inte tillgängligt.
• En genväg i Fabric synkroniseras automatiskt med källan. Schema- och metadatauppdateringar tillämpas utan manuella åtgärder, men spridningstiden kan variera på grund av datakällans prestanda, cachelagrade vyer eller nätverksanslutning.
• Det kan ta upp till en minut för tabell-API:et att identifiera nya genvägar.
• Genvägar till scheman kan bara skapas i lakehouses med schemastöd.

Relaterat innehåll

• Skapa en OneLake-genväg
• Flytta genvägar till en ny region
• Använda REST-API:er för OneLake-genvägar