Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ten artykuł przedstawia przegląd dostępnych metod pobierania danych do Eventhouse za pomocą doświadczenia Get data.
Źródła danych
Możesz pobierać dane do Eventhouse z następujących źródeł:
- Plik lokalny
- OneLake
- Centrum czasu rzeczywistego
- Eventstream
- Usługa przechowywania Azure
- Azure Event Hubs
- Amazon S3
- Kopiowanie przepływu danych usługi Data Factory
- Przepływy danych usługi Data Factory
- Zdarzenia biznesowe Eventhouse i pulpitu nawigacyjnego w czasie rzeczywistym
Dodatkowe źródła danych
Jeśli Twoje źródło nie jest wymienione, wybierz Podłącz więcej źródeł danych , aby korzystać z złączy dostępnych przez Real-Time hub. Możesz importować dane do Eventstream, a następnie do Eventhouse, bez opuszczania przepływu pracy „Get data”. W takich przypadkach wybierz opcję Połącz więcej źródeł danych .
Obsługa dużych komunikatów (wersja zapoznawcza)
Important
Ta funkcja jest dostępna w wersji zapoznawczej.
Gdy pobierasz dane z Eventstream lub pliku lokalnego, w podglądzie danych jest dostępne pole wyboru Zezwalaj na duże wartości dla kolumn string i dynamic. Po włączeniu tej opcji umożliwia przechowywanie w pojedynczych komórkach danych wartości od 1 MB do 32 MB.
Ta funkcja pozwala zachować duży ładunek danych w jednej komórce, gdy wymaga tego dany scenariusz.
Na przykład przechowywanie i przetwarzanie dużego dokumentu JSON w jednej kolumnie eventhouse string lub dynamic. Jeśli w Twoim scenariuszu lepiej sprawdza się bardziej uporządkowany model danych, możesz przed pozyskaniem danych przekształcić ładunek danych w oddzielne kolumny za pomocą Edytora przetwarzania zdarzeń usługi Eventstream lub po pozyskaniu danych za pomocą zasad aktualizacji eventhouse.
W scenariuszach analitycznych zazwyczaj bardziej efektywne jest dzielenie dużych wiadomości na mniejsze, ustrukturyzowane kolumny. Takie podejście może zmniejszyć zużycie pamięci oraz operacje I/O (wejścia/wyjścia) podczas przechowywania, indeksowania i zapytań danych.
Important
W ramach narzędzia wprowadzania danych do pobierania, mechanizm wnioskowania schematu skanuje pierwsze 1000 rekordów danych podglądowych. Jeśli zidentyfikowa dużą wartość wśród tych rekordów, automatycznie zaznacza pole wyboru i wyświetla komunikat informujący o wykryciu dużych wartości. Jeśli duża wartość pojawi się później w danych, mechanizm wnioskowania schematu nie wykryje jej automatycznie i trzeba ręcznie zaznaczyć pole wyboru umożliwiające wczytywanie wartości większych niż 1 MB w każdej komórce.
Formaty AVRO, Parquet i TXT nie są skanowane pod kątem występowania dużych wiadomości w tym kreatorze konfiguracji. Dla tych formatów musisz wybrać Zezwalaj na duże wartości, jeśli spodziewasz się, że wartości string lub dynamic przekroczą 1 MB w jednej komórce.
Wsparcie dużych wiadomości nie jest obsługiwane dla skrótów (tabel zewnętrznych), tabel z akceleracją zapytań przez skróty OneLake.
Dostępność danych OneLake dla tabel o dużych kolumnach wartości zależy od limitów docelowych rozmiarów.
Możesz też włączyć tę opcję dla istniejącej kolumny tabeli później. Więcej informacji można znaleźć w artykule Zezwalaj na duże wartości dla kolumny. Ta zmiana dotyczy wyłącznie nowych danych pozyskiwanych od tego momentu; wcześniej pozyskane wartości string są obcinane do limitu (właściwość MaxValueSize domyślnej zasady ma wartość 1 MB), a wartości dynamic są zastępowane wartością null.
Po włączeniu kolumna stosuje zasady kodowania BigObjectIndexed32, które indeksują duże wartości w celu zwiększenia wydajności zapytań, ale powodują większe zużycie pamięci. Aby sprawdzić, czy polityka jest włączona dla kolumny, zobacz Politykę kodowania lub zobacz ją w panelu szczegółów tabeli w Zarządzaj i monitoruj tabelę bazy danych KQL. Więcej informacji o tej polityce można znaleźć w artykule Kodowanie typów polityk.