Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Skróty OneLake to referencje z usługi Eventhouse, które wskazują na wewnętrzne zasoby Fabric lub źródła zewnętrzne. Ten rodzaj skrótu jest później używany do wykonywania zapytań w zestawach zapytań KQL przy użyciu external_table() funkcji . Zapytania uruchamiane za pośrednictwem skrótów usługi OneLake mogą być mniej wydajne niż na danych pozyskanych bezpośrednio do usługi Eventhouses z powodu różnych czynników, takich jak wywołania sieciowe do pobierania danych z magazynu, brak indeksów i nie tylko.
Przyspieszanie zapytań umożliwia określenie zasady na zewnętrznych tabelach różnicowych (format magazynowania, który śledzi zmiany danych w czasie), która określa liczbę dni buforowania danych dla wysokowydajnych zapytań.
Przyspieszanie zapytań jest obsługiwane w usłudze Eventhouse nad tabelami delta z skróty OneLake, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, zewnętrznych tabel magazynu obiektów blob Azure i wszystkich miejsc docelowych obsługiwanych przez skróty OneLake.
Uwaga
Jeśli masz zagadnienia dotyczące zgodności, które wymagają przechowywania danych w określonym regionie, upewnij się, że pojemność usługi Eventhouse znajduje się w tym samym regionie co dane tabeli zewnętrznej lub skrótu.
Przyspieszone tabele zewnętrzne zwiększają koszt towarów sprzedanych (COGS) oraz zużycie magazynu SSD w usłudze Eventhouse, podobnie jak zwykłe tabele w bazie danych KQL. Ilość danych do buforowania można kontrolować, definiując właściwość Gorąca w polityce przyspieszania zapytań. Działanie indeksowania i pozyskiwania przyczynia się również do wykorzystania zasobów obliczeniowych.
Kiedy należy używać przyspieszania zapytań dla skrótów OneLake?
Przyspieszanie zapytań buforuje dane w momencie ich zapisu do OneLake, dostarczając wydajność porównywalną do pozyskiwania danych w usłudze Eventhouse. Korzystając z tej funkcji, można przyspieszyć lądowanie danych w usłudze OneLake, w tym istniejących danych i wszelkich nowych aktualizacji oraz oczekiwać podobnej wydajności. Eliminuje to konieczność zarządzania potokami pozyskiwania, konserwowania zduplikowanych kopii danych przy jednoczesnym zapewnieniu, że dane pozostają zsynchronizowane bez dodatkowego nakładu pracy.
Poniższe scenariusze są idealne do używania przyspieszania zapytań za pośrednictwem skrótów OneLake:
- Wysokowydajne zapytania danych w usłudze OneLake: jeśli masz istniejące obciążenia robocze, które przesyłają dane i zarządzają nimi w magazynie (opcjonalnie w innej chmurze lub regionie), a chcesz wykonać zapytania względem niektórych lub wszystkich danych z wysoką wydajnością.
- Łączenie danych historycznych ze strumieniami czasu rzeczywistego: gdy chcesz bezproblemowo zintegrować dane trafiające bezpośrednio do OneLake ze strumieniami czasu rzeczywistego wchodzącymi do Eventhouse, bez pogorszenia szybkości zapytań.
- Wykorzystanie danych wymiarów zarządzanych przez inne elementy: Często dane wysokiej wartości i małej objętości są hostowane na serwerach SQL, Cosmos DB, Snowflake lub innych systemach, które mogą być mapowane do usługi OneLake. Przyspieszone skróty OneLake umożliwiają łatwe wykorzystanie tych danych do sprzężeń i wzbogacania w zapytaniu Eventhouse. Ponieważ dane wymiarów są często znacznie mniejsze niż dane aktywności, dodatkowy koszt związany z tym użyciem jest zwykle minimalny.
Zachowanie przyspieszonych zewnętrznych tabel delta
Przyspieszone skróty OneLake zachowują się jak tabele zewnętrzne, z tymi samymi ograniczeniami i możliwościami. W szczególności funkcje, takie jak zmaterializowany widok i zasady aktualizacji, nie są obsługiwane.
Monitorowanie zachowania przyspieszania
Początkowy proces przyspieszania zapytań zależy od rozmiaru tabeli zewnętrznej. Aby monitorować postęp i ustawienia przyspieszonej tabeli, użyj polecenia .show external table operations query_acceleration statistics w zestawie zapytań KQL.
Ograniczenia
- Liczba kolumn w tabeli zewnętrznej nie może przekroczyć 900.
- Wydajność zapytań w przypadku przyspieszonych zewnętrznych tabel różnicowych z ponad 2,5 miliona plików danych może nie być optymalna.
- Funkcja zakłada, że tabele delta z nieruchomymi funkcjami zaawansowanymi, na przykład mapowanie kolumn się nie zmienia, partycje się nie zmieniają, itd. Aby zmienić funkcje zaawansowane, najpierw wyłącz zasady, a po wprowadzeniu zmiany ponownie włącz zasady.
- Zmiany schematu w tabeli różnicowej muszą być również zgodne z odpowiednim
.alterzewnętrznym schematem tabeli różnicowej, co może spowodować przyspieszenie rozpoczynające się od podstaw, jeśli nastąpiła zmiana schematu powodującego niezgodność. - Przycinanie oparte na indeksie nie jest obsługiwane w przypadku partycji.
- Pliki Parquet o skompresowanym rozmiarze większym niż 6 GB nie będą buforowane.
Rozliczenia
Opłaty za przyspieszone dane są naliczane w ramach miernika pamięci podręcznej OneLake Premium, podobnie jak w przypadku natywnych tabel usługi Eventhouse. Możesz kontrolować ilość danych, które są przyspieszane, konfigurując liczbę dni do buforowania. Działanie indeksowania może również liczyć się do zużycia jednostek CU. Aby uzyskać więcej informacji, zobacz Opłaty za magazynowanie.
Opłaty związane z przyspieszaniem zapytań będą wyświetlane w aplikacji Fabric metrics w obszarze Eventhouse, w którym jest tworzony przyspieszony skrót.