Jak pozyskiwać dane historyczne do Azure Data Explorer

LightIngest przydaje się do ładowania danych historycznych z istniejącego systemu magazynu do Azure Data Explorer. Chociaż możesz utworzyć własne polecenie przy użyciu listy argumentów wiersza polecenia, w tym artykule pokazano, jak automatycznie wygenerować to polecenie za pomocą kreatora importu danych. Oprócz utworzenia polecenia można użyć tego procesu, aby utworzyć nową tabelę i utworzyć mapowanie schematu. To narzędzie wywnioskowuje mapowanie schematu z zestawu danych.

Miejsce docelowe

1. W internetowym interfejsie użytkownika Azure Data Explorer wybierz pozycję Query z menu po lewej stronie.

2. Kliknij prawym przyciskiem myszy bazę danych, w której chcesz pozyskać dane, a następnie wybierz pozycję LightIngest.

   

   Okno Importowanie danych otworzy się z wybraną kartą Miejsce docelowe. Pola Klaster i Baza danych są wypełniane automatycznie.

3. Wybierz tabelę docelową. Aby pozyskać dane do nowej tabeli, wybierz pozycję Nowa tabela, a następnie wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, znaki alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

   

4. Wybierz pozycję Dalej: Źródło.

Źródło

1. W obszarze Wybierz źródło wybierz pozycję Dodaj adres URL lub Wybierz kontener.

   • Po dodaniu adresu URL, w sekcji Link do źródła, określ klucz konta lub URL SAS do kontenera. Adres URL SAS można utworzyć ręcznie lub automatycznie.

   • Po wybraniu kontenera z konta magazynu wybierz subskrypcję magazynu, konto magazynu i kontener z menu rozwijanych.

     

   Uwaga

   Maksymalny rozmiar pliku obsługiwany podczas przyjmowania/importowania wynosi 6 GB. Zaleca się wczytywanie plików o wielkości od 100 MB do 1 GB.

2. Wybierz pozycję Ustawienia zaawansowane, aby zdefiniować dodatkowe ustawienia procesu pozyskiwania przy użyciu LightIngest.

   

3. W okienku Konfiguracja zaawansowana zdefiniuj ustawienia LightIngest zgodnie z poniższą tabelą.

   

   Właściwości	opis
   Wzorzec czasu tworzenia	Określ wzorzec, aby zastąpić atrybut czasu wczytywania danych dla utworzonego obszaru, na przykład, aby zastosować datę na podstawie struktury folderów kontenera. Zobacz również Wzorzec czasu tworzenia.
   Wzorzec nazwy obiektu blob	Określ wzorzec używany do identyfikowania plików do importu. Pobierz wszystkie pliki zgodne ze wzorcem nazwy obiektu blob w danym kontenerze. Obsługuje symbole wieloznaczne. Ujmij wzorzec w cudzysłowach podwójnych.
   Tag	Tag przypisany do pozyskanych danych. Tag może być dowolnym ciągiem.
   Ograniczanie ilości plików	Określ liczbę plików do przetworzenia. Pobiera pierwsze n pliki, które są zgodne ze wzorcem nazwy obiektu blob, do określonej liczby.
   Nie czekaj na zakończenie przetwarzania	Jeśli jest ustawione, obiekty blob są kolejkowane do pozyskiwania bez monitorowania procesu pozyskiwania. Jeśli nie zostanie ustawiona, funkcja LightIngest będzie nadal sondować stan pozyskiwania do momentu ukończenia pozyskiwania.
   Wyświetlanie tylko wybranych elementów	Wyświetl listę plików w kontenerze, ale nie importuje ich.

4. Wybierz pozycję Gotowe , aby powrócić do karty Źródło .

   1. Opcjonalnie wybierz Filtry plików, aby filtrować dane do pobierania tylko plików w określonej ścieżce folderu lub z określonym rozszerzeniem pliku.

      

      Domyślnie jeden z plików w kontenerze jest losowo wybierany i używany do generowania schematu dla tabeli.

   2. Opcjonalnie w obszarze Plik definiujący schemat określ plik do użycia.

5. Wybierz pozycję Dalej: Schemat , aby wyświetlić i edytować konfigurację kolumny tabeli.

Schemat

Karta schematu zawiera podgląd danych.

Aby wygenerować polecenie LightIngest, wybierz pozycję Dalej: Rozpocznij ładowanie.

Opcjonalnie możesz:

• Zmień automatycznie wnioskowany format danych, wybierając żądany format z menu rozwijanego.
• Zmień automatycznie wnioskowaną nazwę mapowania. Można użyć znaków alfanumerycznych i podkreśleń. Spacje, znaki specjalne i łączniki nie są obsługiwane.
• W przypadku korzystania z istniejącej tabeli można zachować bieżący schemat tabeli, jeśli schemat tabeli jest zgodny z wybranym formatem.
• Wybierz pozycję Przeglądarka poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.
• Edytuj kolumny. W obszarze Podgląd częściowych danych wybierz menu rozwijane kolumn, aby zmienić różne aspekty tabeli.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• Typ tabeli jest nowy lub istniejący
• Typ mapowania to nowy lub istniejący

Wczytywanie

1. Gdy tabela, mapowanie i polecenie LightIngest wyświetlają zielone znaczniki wyboru, wybierz ikonę kopiowania w prawym górnym rogu pola wygenerowane polecenie, w celu skopiowania wygenerowanego polecenia LightIngest.

   

   Uwaga

   Jeśli jest to wymagane, możesz pobrać narzędzie LightIngest, wybierając pozycję Pobierz lightingest.

2. Aby ukończyć proces pozyskiwania, należy uruchomić program LightIngest przy użyciu skopiowanego polecenia.

Krok 1. Przygotowanie do ponownego partycjonowania

1. Dostosuj zasady przechowywania, aby zachować stare dane. W poniższym przykładzie ustaw politykę przechowywania dla tabeli MyTable na 10 lat.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Dostosuj zasady buforowania, tak aby wszystkie dane były w gorącej pamięci podręcznej do celów ponownego partycjonowania, ponieważ tylko dane w gorącej pamięci podręcznej mogą być ponownie partycjonowane po ich załadowaniu. W poniższym przykładzie ustaw buforowanie dla tabeli MyTable na 10 lat.

   .alter table MyTable policy caching hot = 3650d
   

   Ważne

   Zwiększenie zasad buforowania może używać znacznie większej ilości gorącej pamięci podręcznej niż w normalnych operacjach i może spowodować zwiększenie kosztów.

Krok 2. Inicjowanie ponownego partycjonowania

1. Utwórz zasady partycjonowania, które partycjonuje dane według kolumny o nazwie Timestamp. W poniższym przykładzie ustaw zasady partycjonowania dla tabeli MyTable do partycjonowania według kolumny nazwanej Timestamp.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Aby uzyskać informacje o właściwościach zasad partycjonowania, zobacz właściwości partycji. W przypadku pozyskiwania danych historycznych ważne jest ustawienie następujących właściwości:

   • Ustaw właściwość EffectiveDateTime na datę wcześniejszą niż początek przetwarzania, aby wyzwolić ponowne partycjonowanie.
   • Ustaw właściwość RangeSize na jeden dzień, aby dane zostały ponownie podzielone na jednodniowe segmenty. Ustaw jednak tę wartość tak, aby dopasować je do danych. Jeśli na przykład masz mniej niż kilka GB danych dziennie, rozważ ustawienie większej wartości.
   • Ustaw właściwość OverrideCreationTime na true, aby po ponownym podzieleniu danych na dzienne przedziały zakresy były oznaczone tym dniem jako czas tworzenia.

2. Ustaw zasady scalania, aby umożliwić scalanie wszystkich zakresów, w tym zakresów starszych niż 14 dni. Ustaw te zasady, ponieważ proces ponownego partycjonowania tworzy zakresy starsze niż 14 dni, które domyślnie wyklucza proces scalania.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Monitoruj postęp ponownego partycjonowania przy użyciu polecenia .show database extents partitioning statistics (Pokaż zakresy bazy danych). W zwróconych wynikach wyszukaj tabelę, którą dzielisz, i monitoruj kolumnę PartitionedRowPercentage . Gdy wartość kolumny PartitionedRowPercentage wynosi 100, partycjonowanie jest zakończone.

Krok 3. Czyszczenie po ponownym partycjonowaniu

Po zakończeniu ponownego partycjonowania wyczyść zasady ustawione w poprzednich krokach.

1. Usuń zasady partycjonowania.

   .delete table MyTable policy partitioning
   

2. Usuń politykę scalania.

   .delete table MyTable policy merge
   

3. Usuń lub ustaw politykę buforowania.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Usuń lub ustaw zasady przechowywania.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Powiązana zawartość

• Query danych w Azure Data Explorer