Foren data med OneLake-snarveier og speiling

OneLake gir deg én oversikt over data på tvers av skyer, domener og kontoer. Å samle data i OneLake krever ikke at alle disse dataene lagres på ett sted. Dataene kan forbli ved kilden eller replikeres inn i OneLake, hvor Fabric-arbeidsbelastninger får tilgang til dem via et delt navnerom.

Snarveier og speiling er komplementære OneLake-muligheter for å skape denne enhetlige visningen uten å bygge og operere datarørledninger. Snarveier legger til utvalgte data i OneLake-navnerommet. Speiling legger til en ekstern database eller katalog og avgjør om dataene kan aksesseres på stedet eller må replikeres. Denne artikkelen forklarer hvordan hver funksjon fungerer og når de skal brukes. For det bredere settet av måter å ta inn, transformere eller flytte data i Fabric, se Få data inn i Microsoft Fabric eller Velg en databevegelsesstrategi.

Snarveier og speiling ved et blikk

Snarveier og speiling opererer på ulike nivåer av granularitet og støtter ulike kildeformater.

Kapabilitet Hva det gjør Kildeformater Vanlig scenario
Snarveier Legg til en referanse til utvalgte tabeller, mapper eller filer i OneLake eller ekstern lagring. Dataene forblir ved kilden. Kun åpne formater Hent en enkelt tabell, mappe eller skjema inn i et lakehouse, eller aktiver datamesh-mønstre på tvers av arbeidsområder eller leietakere.
Speiling Legg til en ekstern database eller katalog i Fabric. Avhengig av kilden får speiling tilgang til dataene som er på stedet eller replikerer dem kontinuerlig inn i OneLake. Åpne og proprietære formater Ta med en hel ekstern database eller katalog, som Snowflake, Azure Databricks eller Azure SQL Database.

Hvis kilden din lagrer data i et proprietært format, er speiling ditt eneste alternativ.

Når man bør bruke snarveier

Bruk snarveier når du vil inkludere spesifikke data i din samlede OneLake-visning uten å kopiere den. Velg snarveier når du:

  • Del en enkelt tabell, mappe eller fil på tvers av arbeidsområder eller leietakere.
  • Kombiner data fra flere innsjøer eller skykontoer i én samlet visning.
  • Bygg datamesh-mønstre der hvert domene eier sine data, og andre domener oppdager dem gjennom OneLake.
  • Gjør data i åpne formater, som Delta eller Iceberg, tilgjengelig fra Azure Data Lake Storage, Amazon S3, Google Cloud Storage eller Dataverse.

Snarveier fungerer på tabell-, mappe- eller filnivå. Du bestemmer hvilke data som skal gjøres tilgjengelige og hvor de vises i OneLake. Hvis du vil ha mer informasjon, kan du se OneLake-snarveier.

Transformer data mens du samler dem

Snarveistransformasjoner konverterer dataene bak en snarvei til en spørrbar Delta-tabell som holder seg synkronisert med kilden, uten å bygge en ETL-pipeline. Bruk dem for å gjøre dataene dine klare for analyse:

  • Filtransformasjoner konverterer strukturerte filer, som CSV, Parquet, JSON eller Excel, til Delta-tabeller. For mer informasjon, se Snarveitransformasjoner (fil).
  • KI-drevne transformasjoner anvender språkbehandling på .txt filer for å oppsummere innhold, oppdage følelser, oversette språk, redigere personlig identifiserbar informasjon (PII) eller trekke ut navngitte enheter. For mer informasjon, se Snarveistransformasjoner (AI-drevet).

Når man skal bruke speiling

Bruk speiling når du vil inkludere en ekstern database eller katalog, og dataene bak, i Fabric som en enhet. Speiling er det riktige valget når du:

  • Gjør en hel ekstern database eller katalog tilgjengelig i Fabric uten å designe en separat inntastingsprosess.
  • Ha en analyseklar kopi av en operativ database (som Azure SQL Database, PostgreSQL eller Cosmos DB) i OneLake som holder seg synkronisert med kildekoden.
  • overflate et eksternt lakehouse eller lager (som Databricks, Unity Catalog eller Snowflake) i Fabric slik at du kan spørre det sammen med Fabric-dataene dine.

Speiling legger alltid til katalogmetadata, som databaser, skjemaer og tabeller, i Fabric. Hvordan Fabric får tilgang til dataene avhenger av kilden, som neste avsnitt beskriver.

Hvordan speiling gjør data tilgjengelig i OneLake

Speiling bruker to underliggende mekanismer for å inkludere eksterne data i den enhetlige OneLake-visningen. Den riktige kombinasjonen avhenger av hvordan kilden lagrer dataene sine.

  • Replikasjon. Speiling kopierer data fra kilden inn i OneLake i et analyseklart Delta-format. Speiling bruker replikasjon når kilden lagrer data i et proprietært format.
  • Snarveier. Speiling refererer til data som er på plass via OneLake-snarveier. Speiling bruker snarveier når kilden lagrer data i et åpent format som OneLake kan lese direkte.

Ulike kilder bruker disse mekanismene forskjellig, som vist i tabellen nedenfor.

Kildemønster Eksempler Hva speiling gjør
Databasespeiling (replikering) Azure Cosmos DB, Azure Database for PostgreSQL, Azure Database for MySQL (preview), Azure SQL Database, SQL Server, Oracle, SAP Speiling kopierer katalogmetadataene og replikerer kontinuerlig dataene inn i OneLake som Delta-tabeller.
Metadataspeiling (snarveier) Azure Databricks, Snowflake, Dremio (preview) Speiling legger til katalogmetadata i Fabric og bruker snarveier for å nå de underliggende dataene som er på plass.

I alle tilfeller legger speiling til katalogmetadata i Fabric. Om den også kopierer dataene avhenger av kilden.

Bruk snarveier og speiling sammen

Snarveier og speiling utelukker ikke hverandre. Du kan bruke dem sammen i mange situasjoner. For eksempel, bruk speiling for å legge til et kildesystem i Fabric én gang, og lag deretter snarveier for å gjøre utvalgte data fra det systemet tilgjengelig på tvers av arbeidsområder, domener eller leietakere. Hvis speiling replikerer kildedataene i OneLake, vil snarveier til disse dataene ikke lage en ny kopi eller legge til lagringskostnad.

Vanlige mønstre som kombinerer de to egenskapene inkluderer:

  • Speil én gang, konsumer overalt. Et sentralt arbeidsområde speiler en ekstern database eller katalog, som en Azure SQL Database eller en Snowflake-konto. Andre arbeidsområder i samme leietaker har snarveier til de speilede tabellene i stedet for å speile samme kilde igjen. Ett speilet element representerer kilden, og hver forbruker leser de samme up-to-dato-dataene.
  • Domenespeiling med mesh-forbruk. Domeneteam speiler sine egne kildesystemer inn i sine domenearbeidsområder. Nedstrøms innsjøhus og lagre i forbrukerarbeidsområder bruker snarveier for kun å få tilgang til tabellene de trenger fra den speilede databasen. Hvert domene eier sin forbindelse til kilden, og forbrukerne forblir frakoblet kildesystemet.
  • Ett innsjøhus, flere datalokasjoner. Et enkelt lakehouse kan inneholde snarveier til speilede tabeller sammen med snarveier til åpne data i Azure Data Lake Storage, Amazon S3 eller et annet OneLake-sted. Rapporter og notatbøker spør i lakehouse som én samlet lagring, enten de underliggende dataene forblir ved kilden eller blir replikert i OneLake.
  • Kryss-leietaker eller kryss-sky-tilgang. En leietaker speiler en kilde inn i sin egen OneLake. En partnerleietaker oppretter en snarvei til de speilede dataene i stedet for å få direkte tilgang til kildesystemet. Kildesystemets legitimasjon forlater aldri den produserende leietakeren.

Noen ting å vite når du kombinerer dem:

  • Snarveier til speilede tabeller arver sikkerhetsmodellen til det speilede elementet. Tillatelser på den speilede databasen, skjemaet eller tabellen flyter videre til alle som leser snarveien. Hvis du vil ha mer informasjon, kan du se OneLake-snarveisikkerhet.
  • Snarveier til speilede tabeller er skrivebeskyttet. For å endre dataene, endre kildesystemet og la speiling spre oppdateringen.
  • Hvis den speilede kilden blir pauset, slettet eller får en replikeringsfeil, viser hver snarvei som peker til den samme tilstand. Planlegg eierskap og overvåking av det speilede elementet deretter.

Når bør man bruke dataflyt i stedet

Snarveier og speiling forener data ved å gjøre dem tilgjengelige via OneLake, og snarveistransformasjoner kan konvertere disse dataene til analyseklare Delta-tabeller. De er ikke erstatninger for Fabric sitt komplette sett med verktøy for inntasting og dataoverføring. Velg en pipeline, dataflow, copy job eller eventstream når du trenger:

  • Bruk kompleks eller flerkilde-transformasjonslogikk (for eksempel å koble sammen kilder, anvende forretningsregler eller omforme skjemaer) som går utover det snarveistransformasjoner gjør.
  • Planlegg, orkestrer eller trigger bevegelse etter din egen rytme.
  • Flytt data til en destinasjon utenfor OneLake.
  • Strøm hendelser inn i Fabric for sanntidsbehandling.

Disse scenarioene krever Fabric sine verktøy for dataflyt og integrasjon, ikke kun OneLake-samling.