Opastus: Configure Microsoft Fabric mirror from Azure Databricks Unity Catalog

Microsoft Fabric -peilaus on yrityskäyttöön, pilvipohjainen, nolla-ETL-pohjainen SaaS-teknologia. Tämä opas auttaa sinua luomaan peilin Azure Databricks Unity Catalogista, joka luo vain lukua lukua vasten, jatkuvasti replikoidun kopion Azure Databricks -datastasi OneLakessa.

Prerequisites

• Fabric-työtila.
• Ota ulkoinen datan käyttö käyttöön metastoressa. Lisätietoja on kohdassa Ulkoisten tietojen käytön ottaminen käyttöön metasäilössä.
• Luo tai käytä aiemmin luotua Azure Databricks -työtilaa, jossa Unity Catalog on käytössä.
• Sinulla on EXTERNAL USE SCHEMA etuoikeus skeemaan ja SELECT niihin assetteihin Unity Catalogissa, joihin Fabric pääsee käsiksi.
• Fabricin käyttöoikeusmallin avulla voit määrittää luetteloiden, rakenteiden ja taulukoiden käyttöoikeuksien hallintaa Fabricissa.
• Ota käyttöön ulkoinen datan pääsy materialisoituihin näkymiin ja suoratoistotaulukoihin
  • Pipeline-konfiguroinnin ottamiseksi käyttöön noudata ohjeita kohdassa Enable external data access to streaming tables and materialized views.
  • Yhden materialisoidun näkymän tai suoratoistotaulukon mahdollistamiseksi lisää tämä tauluominaisuus:

    TBLPROPERTIES ('pipelines.externalMetadata.enabled' = 'true')
    

  • Käytä muutosta käynnistämällä tai käynnistämällä putki uudelleen. Itsenäisille materialisoiduille näkymille ja suoratoistotaulukoille ajaa määritelmä uudelleen ominaisuuden kanssa.

Create a mirror from Azure Databricks Unity Catalog

Seuraa näitä vaiheita luodaksesi uuden peilin Azure Databricks Unity Catalogistasi.

1. Mene työtilaasi Fabric.

2. Valitse New item>Mirrored Azure Databricks catalog.

   

3. Valitse olemassa oleva yhteys, jos sinulla on sellainen konfiguroituna, tai luo uusi yhteys.

   Jos haluat luoda yhteyden, sinun on oltava joko Azure Databricks -työtilan käyttäjä tai järjestelmänvalvoja. Voit todentaa Azure Databricks työtilasi käyttämällä Organizational account tai Service principal autentikointia.

   Note

   Tässä tekemäsi todennusvalinta koskee Databricksin tunnistautumista ja Unity Catalogin valtuutusta. Jos sinun täytyy päästä käsiksi Azure Data Lake Storage (ADLS) Gen2-tileihin palomuurin takana, seuraa myöhemmin tässä artikkelissa ohjeita Ota käyttöön verkkoturvallisuus Azure Data Lake Storage Gen2-tilillesi. Kun ADLS Gen2 on palomuurin takana, tallennuspalomuuriin vaaditaan Fabric Workspace Identity riippumatta Databricks-yhteyden tunnistautumismenetelmästä.

4. Kun olet yhdistänyt Azure Databricks -työtilaan, valitse Databricks-katalogin Select-taulukot -sivulta, valitse luettelo, skeemat ja resurssit (Tables, Materialized views ja Streaming tables), jotka haluat lisätä, ja jotka pääset käsiksi Fabric:sta sisällyttämis- tai poissulkemislistan avulla. Valitse luettelo sekä siihen liittyvät skeemat ja assetit, jotka haluat lisätä Fabric-työtilaasi.

   Näet vain ne katalogit, skeemat ja taulukot, joihin sinulla on pääsy. Lisätietoja löytyy Unity-luettelon oikeuksista ja turvattavista kohteista.

   Oletuksena Automaattisesti synkronoi tulevat katalogimuutokset valitulle skeemalle on käytössä. Lisätietoja löytyy osoitteesta Mirroring Azure Databricks > Metadata sync.

5. Jatka valitsemalla Seuraava .

6. Tarkista ja luo -sivulla yksityiskohtia ja halutessasi muuta peilikohteen nimi, jonka täytyy olla ainutlaatuinen työtilassasi. Oletuksena peilatun kohteen nimi on katalogin nimi.

7. Jatka valitsemalla Luo .

8. Luodaan Databricks-katalogikohde, ja jokaiselle omaisuudelle luodaan vastaava Databricks-tyyppinen pikakuvake.

   Malleja, joissa ei ole taulukoita, ei näytetä.

9. Voit myös nähdä tietojen esikatselun, kun käytät pikakomentoa valitsemalla SQL-analytiikan päätepisteen. Avaa SQL-analytiikan päätepistekohde käynnistääksesi Resurssienhallinnan ja kyselyeditorin sivun. Voit hakea peilattuja Azure Databricks Unity Catalog -taulukoita käyttämällä T-SQL:ää SQL-editorissa.

Lakehouse-pikakuvakkeiden luominen Databricks-luettelokohteeseen

Voit myös luoda pikakuvakkeita Lakehousesta Databricks-luettelokohteeseen, jotta voit käyttää Lakehouse-tietojasi ja käyttää Spark-muistikirjoja.

1. Ensiksi luo järvitalo. Jos sinulla on jo lakehouse tässä työtilassa, voit käyttää olemassa olevaa lakehousea.
   1. Valitse työtilasi navigointivalikosta.
   2. Valitse + Uusi>Lakehouse.
   3. Syötä järvimajasi nimi Nimi-kenttään ja valitse Luo.
2. Valitse lakehousen Resurssienhallinta-näkymänHae tiedot lakehousesta -valikon Lataa tiedot lakehouseen -kohdasta Uusi pikanäppäin .
3. Valitse Microsoft OneLake. Valitse luettelo. Tämä luettelo on datakohde, jonka loit aiemmissa vaiheissa. Valitse sitten Seuraava.
4. Valitse kaavion taulukot ja valitse Seuraava.
5. Valitse Luo.
6. Pikakuvakkeet ovat nyt käytettävissä Lakehousessasi, jota voit käyttää muiden Lakehouse-tietojesi kanssa. Muistikirjojen ja Sparkin avulla voit myös suorittaa tietojen käsittelyn näiden luettelotaulukoiden tiedoille, jotka olet lisännyt Azure Databricks -työtilasta.

Luo semanttinen malli

Voit luoda Power BI:n semanttisen mallin peilatun kohteesi perusteella ja lisätä tai poistaa taulukoita manuaalisesti. Lisätietoja semanttisten mallien luomisesta ja hallinnasta on artikkelissa Power BI:n semanttisen mallin luominen.

Parhaan käyttökokemuksen saamiseksi käytä Microsoft Edge -selainta semanttisiin mallinnustehtäviin.

Semanttisten mallien suhteiden hallinta

Kun olet luonut uuden semanttisen mallin peilatun kohteen pohjalta, konfiguroi taulujen väliset suhteet.

1. Valitse Mallin asettelut työtilan Resurssienhallinnasta .
2. Kun valitset Malliasettelut, näet kaavion taulukoista, jotka sisältyvät semanttiseen malliin.
3. Jos haluat luoda yhteyksiä taulukoiden välille, vedä sarakkeen nimi taulukosta toisen taulukon toiseen sarakkeen nimeen. Ilmestyy ponnahdusikkuna, joka tunnistaa taulukoiden suhteen ja kardinaaliteetin.

Ota verkon suojauksen käyttö käyttöön Azure Data Lake Storage Gen2 -tililläsi

Konfiguroi verkkoturvallisuus Azure Data Lake Storage (ADLS) Gen2-tilillesi, kun sinulla on Azure-tallennus palomuuri konfiguroituna. Tämä osio koskee ADLS Gen2 -tallennustilejä Azure-tallennus -palomuurin takana. Azure Databricks workspace -tallennus Azure-tallennus -palomuurin takana ei ole tuettu.

Prerequisites

• Kun Azure-tallennus -palomuuri suojaa ADLS Gen2:ta, Fabric käyttää Workspace Identityä päästäkseen palomuuriin. Vaikka valitsisit Service principal ADLS-todennukseen Network Security -välilehdellä, sinun täytyy sallia Workspace Identity Azure-tallennus-tilin palomuurissa.

  • Workspace Identityä käytetään tallennuspalomuurien käyttöön. Palvelupäätä eli OAuthia käytetään Databricksin todennukseen ja Unity Catalogin valtuutukseen.

  • Työtilan identiteetin tunnistautumisen (suositeltava) ottamiseksi käyttöön liitä Fabric-työtila F-kapasiteetilla. Jos haluat luoda työtilan käyttäjätiedot, katso Todentaminen työtilan käyttäjätiedoilla.

• Voit liittää luettelon vain yhteen tallennustiliin.

Ota verkon suojauksen käyttö käyttöön

1. Kun luot uuden peilatun Azure Databricks -luettelon, valitse Valitse tiedot -vaiheessa Verkon suojaus -välilehti.

   

2. Valitse aiemmin luotu yhteys tallennustiliin, jos sellainen on määritetty. 

   • Jos sinulla ei ole aiemmin luotua ADLS-yhteyttä, luo Uusi yhteys.  
   • Tallennuksen päätepisteen URL-osoite on paikka, johon valitun luettelon tiedot tallennetaan. Päätepisteen tulisi olla tietty kansio, johon data tallennetaan, eikä päätepisteen määrittäminen tallennustilin tasolla. Anna esimerkiksi https://<storage account>.dfs.core.windows.net/container1/folder1 mieluummin kuin https://<storage account>.dfs.core.windows.net/.
   • Anna yhteyden tunnistetiedot. Tuetut todennustyypit ovat organisaatiotili, palvelun päänimi ja työtilan käyttäjätiedot (suositus).

   Note

   Kun ADLS Gen2 on suojattu Azure-tallennus -palomuurilla, Fabric käyttää Workspace Identityä kulkeakseen palomuurin läpi riippumatta valitusta tunnistautumistyypistä. Todennustyyppi (Service principal tai organisaatiotili) ohjaa Databricksin todennuksia ja Unity Catalogin valtuuksia, kun taas Workspace Identity ohjaa luotettua pääsyä tallennuspalomuurin kautta. Workspace Identity on sallittava Azure-tallennus -tilin palomuurissa, vaikka valitsisit ADLS-yhteydelle eri todennustyypin.

3. Anna Azure-portaalissa tallennustilin käyttöoikeudet edellisessä vaiheessa valitsemasi todennustyypin perusteella. Siirry tallennustiliin Azure-portaalissa. Valitse Kulunvalvonta (IAM). Valitse +Lisää ja Lisää roolimääritys. Lisätietoja on artikkelissa Azure-roolien määrittäminen Azure-portaalin avulla.

   Määritä rooli yhteyden laajuuden perusteella:

   • Tallennustili: Valittu todennusidentiteetti tarvitsee tallennustilin Storage Blob Data Reader -roolin.
   • Kontti: Valittu autentikointi-identiteetti tarvitsee Storage Blob Data Reader -roolin kontissa.
   • Kansio kontin sisällä (suositeltava): Valittu autentikointi-identiteetti tarvitsee lukuoikeudet (R) ja Suoritus (E) kansiotasolla. Jos käytät Service Principalia tai Workspace Identiteettiä autentikointityyppinä, anna tälle identiteille myös Execute-oikeudet kontin juurikansioon ja jokaiselle hierarkian kansiolle, joka johtaa valittuun kansioon.

   Lisätietoja ja ohjeita ADLS-käyttöoikeuksien myöntämiseen on kohdassa ADLS-käyttöoikeuksien hallinta.

4. Ota Trusted Workspace Access käyttöön konfiguroimalla resurssiinstanssisääntö Fabric-työtilallesi tallennustilillä. Yksityiskohtaisia vaiheita varten katso Trusted workspace access ja Secure Fabric peilattuja tietokantoja Azure Databricks:sta.

Kun yhteys on muodostettu, luodaan pikakuvake Unity Catalog -tauluihin niille tauluille, joiden tallennustilin nimi vastaa ADLS-yhteydessä määriteltyä tallennustiliä. Oikoteitä ei luoda tauluille, joiden tallennustilin nimi ei täsmää.

OneLake-suojauksen ottaminen käyttöön peilatussa Databricks-kohteessa

Yhdistä Unity Catalog (UC) -käytännöt Microsoft OneLake -suojaukseen seuraavasti:

1. Synkronoi Microsoft Entra -ryhmä ja sovella oikeudet Unity Catalogiin. Azure Databricks -ohjelmassa käytä Automatic Identity Management -toimintoa synkronoidaksesi Microsoft Entra ID -ryhmän ja antaaksesi sille tarvittavat Unity Catalog -oikeudet (USE, BROW ja SELECT) asianmukaisissa luetteloissa ja tauluissa.
2. Määritä OneLake-tietojen käyttöoikeusrooli. Luo Kangas-työtilassa tietojen käyttöoikeusrooli juuri peilatuille tiedoille. Lisää sama Microsoft Entra -ryhmä tähän rooliin ja anna sille lukuoikeus OneLake-pikanäppäimisiin, jotka vastaavat Azure Databricks -tauluja. Aloittaaksesi taulukkotason turvallisuudesta, valitse nauhasta Manage OneLake -turvallisuuspainike . Varmista, että pidät käyttöoikeusmääritykset synkronoituina luettelorakenteiden ja käyttöoikeuksien kehittyessä. Lisätietoja on OneLake-tietojen käyttöoikeuksien hallintamallissa (esikatselu).

Liittyvä sisältö

• Secure Fabric peilatut tietokannat Azure Databricksistä
• Blogi: Peilattujen Azure Databricks -tietojen suojaaminen Fabricissa OneLake-suojauksella
• Microsoft Fabric -peilattujen tietokantojen rajoitukset Azure Databricksistä
• Usein kysyttyjä kysymyksiä peilatuista tietokannoista Azure Databricksistä Microsoft Fabricissa
• Azure Databricks Unity -luettelon peilaus
• Hallitse Unity Catalogin tietojen ulkoista käyttöä