Włącz dostępność usługi OneLake w magazynie zdarzeń

Kopię logiczną danych bazy KQL można utworzyć w centrum zdarzeń, włączając dostępność usługi OneLake. Po włączeniu dostępności usługi OneLake możesz wykonywać zapytania względem danych w bazie danych KQL w formacie Delta Lake za pomocą innych mechanizmów usługi Fabric, takich jak tryb Direct Lake w usłudze Power BI, Warehouse, Lakehouse, Notebooks i nie tylko. Usługa Delta Lake to ujednolicony format tabeli data lake, który umożliwia bezproblemowy dostęp do danych we wszystkich aparatach obliczeniowych w Fabric.

Z tego artykułu dowiesz się, jak włączyć dostępność danych bazy danych KQL w usłudze OneLake.

Gdy dostępność usługi OneLake i synchronizacja schematów są włączone, możesz także użyć Analizuj dane za pomocą>punktu końcowego analizy SQL na poziomie bazy danych, aby wykonywać zapytania względem reprezentacji Delta Lake w czasie zbliżonym do rzeczywistego za pomocą silników opartych na języku SQL.

Jak działa dostępność usługi OneLake dla baz danych KQL

Możesz włączyć dostępność OneLake na poziomie bazy danych lub tabeli. Po włączeniu na poziomie bazy danych wszystkie nowe tabele i ich dane są udostępniane w usłudze OneLake. Po włączeniu funkcji możesz również zastosować tę opcję do istniejących tabel, wybierając opcję Zastosuj do istniejących tabel, aby uwzględnić historyczne wypełnienie. Włączenie na poziomie tabeli sprawia, że tylko ta tabela i jej dane są dostępne w usłudze OneLake. Zasady przechowywania danych bazy danych KQL są również stosowane do danych w usłudze OneLake. Dane usunięte z bazy danych KQL na koniec okresu przechowywania są również usuwane z usługi OneLake. Jeśli wyłączysz dostępność OneLake, dane zostaną tymczasowo usunięte z OneLake.

Synchronizacja schematu w zapleczu zapewnia zgodność reprezentacji Delta Lake z bazą danych KQL, umożliwiając wykonywanie zapytań niemal w czasie rzeczywistym za pośrednictwem punktu końcowego analizy SQL i notesników. Informacje o oczekiwanych opóźnieniach i grupowaniu wsadowym znajdziesz w sekcji Zachowanie adaptacyjne.

Gdy dostępność OneLake jest włączone, nie można wykonać następujących zadań:

• Zmień nazwy tabel.
• Zmień typ kolumny. Dodawanie lub usuwanie kolumny jest obsługiwane.
• Stosowanie zabezpieczeń na poziomie wiersza do tabel.
• Usuwanie, obcinanie lub przeczyszczanie danych.

Jeśli musisz wykonać dowolne z tych zadań, wykonaj następujące czynności:

1. Wyłącz dostępność OneLake .
2. Wykonaj zadanie.
3. Włącz dostępność OneLake .

Wymagania wstępne

• Obszar roboczy z pojemnością z włączoną obsługą usługi Fabric.
• bazy danych KQL z uprawnieniami do edycji i danymi.

Włączanie dostępności usługi OneLake dla bazy danych lub tabeli KQL

Możesz włączyć dostępność usługi OneLake dla bazy danych lub tabeli KQL.

1. Wybierz bazę danych lub tabelę.

2. W sekcji OneLake okienka szczegółów ustaw dostępność na Włączony.

   

3. W oknie Włącz dostępność usługi OneLake wybierz pozycję Włącz.

   

4. Szczegóły bazy danych lub tabeli są odświeżane automatycznie.

   

Po włączeniu dostępności usługi OneLake w bazie danych lub tabeli KQL można uzyskać dostęp do wszystkich danych w danej ścieżce OneLake w formacie usługi Delta Lake. Możesz również utworzyć skrót OneLake z lakehouse lub magazynu albo odpytwać dane bezpośrednio w trybie Power BI Direct Lake. Po włączeniu dostępności OneLake w bazie danych lub tabeli KQL, można teraz uzyskać dostęp do wszystkich danych w danej ścieżce OneLake w formacie Delta Lake. Możesz również utworzyć skrót OneLake z usługi Lakehouse, Data Warehouse lub wykonać zapytanie o dane bezpośrednio za pośrednictwem trybu usługi Power BI Direct Lake.

Używaj z opcjami Analizuj dane za pomocą

Po włączeniu dostępności usługi OneLake elementy bazy danych Eventhouse i KQL uwidaczniają funkcję Analizuj dane z opcjami na poziomie bazy danych:

• Punkt końcowy analizy SQL: Dostępny, gdy włączone są zarówno dostępność OneLake, jak i synchronizacja schematów.
• Notatnik: Otwiera analizę w notatniku dla wybranej bazy danych.

Jeśli wyłączysz dostępność OneLake, opcja endpoint SQL Analytics zostaje usunięta z tego menu, dopóki nie włączysz jej ponownie.

Adaptacyjne zachowanie przy grupowaniu wsadowym plików Parquet

Eventhouse inteligentnie grupuje przychodzące strumienie danych w jeden lub więcej plików Parquet ustrukturyzowanych na potrzeby analizy. Grupowanie strumieni danych w partie jest ważne w przypadku danych napływających stopniowo, ponieważ zapisywanie wielu małych plików Parquet w data lake może być nieefektywne. Ta nieefektywność skutkuje wyższymi kosztami i niską wydajnością zapytań.

Mechanizm adaptacyjny eventhouse może opóźniać operacje zapisu do usługi OneLake, jeśli nie ma wystarczającej ilości danych do utworzenia optymalnych plików Parquet. To zachowanie zapewnia, że pliki Parquet mają optymalny rozmiar i są zgodne z najlepszymi praktykami Delta Lake. Równoważy potrzebę zapewnienia dostępności danych z kosztami i wydajnością.

Domyślne i konfigurowalne opóźnienie zapisu dla dostępności usługi OneLake:

Na przykład użyj następującego polecenia Kusto, aby ustawić opóźnienie zapisu na 5 minut dla pojedynczej tabeli:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Możesz monitorować, ile czasu minęło od dodania nowych danych do jeziora danych, sprawdzając opóźnienie danych za pomocą polecenia .show table mirroring operations.

Wyniki są mierzone z czasu ostatniego dodania danych. Gdy dla Latency zwracana jest wartość 00:00:00, wszystkie dane w bazie danych KQL są dostępne w OneLake.

Wyświetlanie plików usługi Delta Lake w usłudze OneLake

Po włączeniu dostępności OneLake dla tabeli proces tworzy folder dziennika Delta wraz z odpowiednimi plikami JSON i Parquet. Możesz wyświetlić pliki dostępne w usłudze OneLake oraz ich właściwości bez opuszczania Real-Time Intelligence.

• Aby wyświetlić pliki, umieść kursor nad tabelą w okienku Eksplorator , a następnie wybierz menu Więcej [...]>Wyświetlanie plików.

  

• Aby wyświetlić właściwości folderu dziennika delty lub poszczególnych plików, umieść kursor nad folderem lub plikiem, a następnie wybierz menu Więcej [...]>Właściwości.

• Aby wyświetlić pliki w folderze dziennika różnicowego:

  1. Wybierz folder _delta_log.
  2. Wybierz plik, aby wyświetlić metadane i schemat tabeli. Otwierany edytor jest w formacie tylko do odczytu.

Uzyskiwanie dostępu do zasad dublowania usługi OneLake

Domyślnie, po włączeniu dostępności OneLake dla bazy danych lub tabeli KQL, system włącza zasadę dublowania. Zasady dublowania umożliwiają monitorowanie opóźnienia danych lub zmianę ich w tabelach różnicowych partycji.

Partycjonowanie tabel Delta w usłudze OneLake

Możesz podzielić swoje tablice delta na partycje, aby zwiększyć szybkość zapytań. Aby uzyskać informacje o tym, kiedy partycjonować pliki OneLake, zobacz Kiedy partycjonować tabele. Każda partycja jest przedstawiona jako osobna kolumna przy użyciu elementu PartitionName wymienionego na liście Partitions. Ta reprezentacja oznacza, że kopia oneLake ma więcej kolumn niż tabela źródłowa.

Aby podzielić tabele Delta, użyj polecenia .alter-merge table policy mirroring.

Wykonuj zapytania do tabel Delta z notesu Fabric

Notatnik Fabric umożliwia odczytywanie danych w OneLake przy użyciu poniższego fragmentu kodu.

W fragmencie kodu zastąp <workspaceGuid>, <workspaceGuid>i <tableName> własnymi wartościami.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Powiązana zawartość

• Co to jest usługa Delta Lake?
• Tworzenie skrótu w usłudze OneLake
• Co to są skróty w lakehouse?
• Tworzenie skrótu OneLake w bazie danych KQL