Replikacja Unity Catalog w Azure Databricks

Wiele organizacji obecnie rejestruje swoje dane w Unity Catalog w usłudze Azure Databricks. Odbity Unity Catalog w Fabric umożliwia klientowi odczytywanie danych zarządzanych przez Unity Catalog z obciążeń w Fabric. Usługi Azure Databricks i Fabric są lepsze razem.

Aby zapoznać się z samouczkiem dotyczącym konfigurowania obszaru roboczego usługi Azure Databricks do kopiowania lustrzanego usługi Unity Catalog w usłudze Fabric, zobacz Samouczek: konfigurowanie baz danych dublowanych w usłudze Microsoft Fabric z usługi Azure Databricks.

Korzystając z Mirroring in Fabric, możesz cieszyć się wysoce zintegrowanym, kompleksowym i łatwym w użyciu produktem, który upraszcza Twoje potrzeby analityczne i jest stworzony z myślą o otwartości oraz współpracy między Microsoft Fabric a Azure Databricks.

Gdy używasz usługi Fabric do odczytu danych zarejestrowanych w Unity Catalog, nie dochodzi do przenoszenia ani replikacji danych. Tylko struktura katalogu usługi Azure Databricks jest odzwierciedlana w usłudze Fabric, a dostęp do bazowych danych katalogu uzyskuje się za pośrednictwem skrótów. Zmiany w danych bazowych mogą nie pojawić się od razu w Fabric. Propagacja może potrwać od kilku sekund do kilku minut, zgodnie z opisem w dokumentacji wydajności punktu końcowego analizy SQL.

Jakie funkcje analityczne są wbudowane

Katalogi lustrzane są elementem magazynowania danych Fabric, odrębnym od magazynu danych i punktu końcowego analizy SQL.

Podczas tworzenia kopii lustrzanej katalogu Unity Catalog w usłudze Azure Databricks platforma Fabric tworzy następujące elementy:

Możesz uzyskać dostęp do lustrzanych danych Azure Databricks Unity Catalog na różne sposoby:

  • Każdy zdublowany element usługi Azure Databricks ma automatycznie wygenerowany punkt końcowy analityki SQL, który zapewnia rozbudowane możliwości analityczne tworzone przez proces dublowania. Użyj poleceń języka T-SQL, aby zdefiniować i wysyłać zapytania o obiekty danych z punktu końcowego analizy SQL tylko do odczytu.
  • Użyj usługi Power BI z trybem Direct Lake, aby tworzyć raporty względem elementu usługi Azure Databricks.

Synchronizacja metadanych

Gdy tworzysz nowe lustrzane odbicie z Azure Databricks w Fabric, opcja Automatycznie synchronizuj przyszłe zmiany katalogu dla wybranego schematu jest domyślnie włączona. Jeśli włączysz automatyczną synchronizację, następujące zmiany metadanych są odzwierciedlane z twojej przestrzeni roboczej Azure Databricks w usłudze Fabric:

  • Dodawanie schematów do wykazu.
  • Usuwanie schematów z wykazu.
  • Dodanie tabel, widoków materializowanych i tabel strumieniowych do schematu.
  • Usuwanie tabel, zmaterializowanych widoków i tabel strumieniowych ze schematu.

Schemat i wybór tabeli:

  • Domyślnie cały katalog jest wybierany przy dodawaniu katalogu.
  • Możesz wykluczyć niektóre tabele w schemacie.
  • Usunięcie zaznaczenia schematu usuwa zaznaczenie wszystkich tabel w schemacie.
  • Jeśli cofniesz się i wybierzesz schemat, wszystkie tabele w schemacie zostaną ponownie wybrane.
  • To samo zachowanie selekcji dotyczy schematów w katalogu.

Następujące zasady filtracji dotyczą katalogów i schematów:

  • Widoki i widoki metryk się nie pojawiają.
  • Tabele zewnętrzne, które nie obsługują formatu Delta, nie będą wyświetlane.