Pobieranie danych z Azure Storage

Z tego artykułu dowiesz się, jak pobierać dane z Azure Storage (kontenerów Azure Data Lake Storage Gen2, kontenerów obiektów blob lub pojedynczych obiektów blob) do tabeli w bazie danych KQL. Dane można importować w sposób ciągły lub jednorazowo. Po zakończeniu importu dane są dostępne do wykonywania zapytań.

  • Ciągłe pozyskiwanie danych (wersja zapoznawcza): Ciągłe pozyskiwanie danych konfiguruje potok pozyskiwania, który umożliwia usłudze eventhouse nasłuchiwanie zdarzeń usługi Azure Storage. Kanał przetwarzania powiadamia magazyn zdarzeń o ściągnięciu informacji podczas wystąpienia subskrybowanych zdarzeń. Zdarzenia to BlobCreated i BlobRenamed.

  • Jednorazowe pobieranie: Użyj tej metody, aby pobrać dane z Azure Storage, jako jednorazową operację.

    Uwaga

Warunki wstępne

Wymagania wstępne dotyczące ciągłego pozyskiwania

W Azure:

  • Zarejestruj dostawcę zasobów usługi Event Grid w swojej subskrypcji Azure.
  • Przypisz uprawnienia roli Czytelnik danych obiektu blob usługi Storage do tożsamości obszaru roboczego.
  • Utwórzkontener blob do przechowywania plików danych.

    • Przekaż plik danych. Struktura pliku danych służy do definiowania schematu tabeli. Aby uzyskać więcej informacji, zobacz Formaty danych obsługiwane przez Real-Time Intelligence.

      Uwaga

      Musisz przekazać plik danych:

      • Przed konfiguracją w celu zdefiniowania schematu tabeli podczas konfigurowania.
      • Po zakończeniu konfiguracji w celu rozpoczęcia ciągłego pozyskiwania danych można przejrzeć dane oraz zweryfikować połączenie.

      Uwaga

      Ciągłe pozyskiwanie danych z usługi Azure Storage jest również obsługiwane, gdy konto magazynu jest skonfigurowane do używania prywatnych punktów końcowych (Private Link). Upewnij się, że obszar roboczy usługi Fabric ma dostęp do konta magazynu za pośrednictwem skonfigurowanej ścieżki prywatnej sieci.

Dodawanie przypisania roli tożsamości obszaru roboczego do konta magazynu

  1. W ustawieniach obszaru roboczego w Fabric skopiuj identyfikator tożsamości obszaru roboczego.

    Zrzut ekranu przedstawiający ustawienie obszaru roboczego z wyróżnionym identyfikatorem obszaru roboczego.

  2. W portalu Azure przejdź do konta Azure Storage i wybierz pozycję Access Control (IAM)>Add>Dodaj przypisanie roli.

  3. Wybierz Czytelnik danych Storage Blob.

  4. W oknie dialogowym Dodawanie przypisania roli wybierz pozycję + Wybierz członków.

  5. Wklej identyfikator tożsamości obszaru roboczego, wybierz aplikację, a następnie Wybierz>Przejrzyj i przypisz.

Utwórz kontener obiektów blob i prześlij plik danych

  1. Na koncie magazynu wybierz pozycję Kontenery.

  2. Wybierz pozycję + Kontener, wprowadź nazwę kontenera, a następnie wybierz pozycję Zapisz.

  3. Wprowadź kontener, wybierz pozycję Przekaż i przekaż przygotowany wcześniej plik danych.

    Aby uzyskać więcej informacji, zobacz obsługiwane formaty i obsługiwane kompresje.

  4. Z menu kontekstowego [...] wybierz pozycję Właściwości kontenera i skopiuj adres URL do danych wejściowych podczas konfiguracji.

    Zrzut ekranu przedstawiający listę kontenerów z otwartym menu kontekstowym i wyróżnioną opcją Właściwości kontenera.

Wybierz Azure Storage jako źródło danych

Otwórz przepływ Pobierz dane i wybierz Azure Storage jako źródło.

  1. W obszarze roboczym otwórz eventhouse i wybierz bazę danych.

  2. Na wstążce bazy danych KQL wybierz pozycję Pobierz dane.

  3. Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskiwane są dane z Azure Storage.

    Zrzut ekranu przedstawiający kafelki pobierania danych z wyróżnioną opcją magazynu Azure.

Konfiguruj

  1. Wybierz tabelę docelową. Aby pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.

    Uwaga

    Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, znaki alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

  2. W obszarze Konfigurowanie połączenia z usługą Azure Blob Storage upewnij się, że opcja ciągłego pozyskiwania danych jest włączona. Jest ona domyślnie włączona.

  3. Skonfiguruj połączenie, tworząc nowe połączenie lub używając istniejącego połączenia.

    Aby utworzyć nowe połączenie:

    1. Wybierz Połącz z kontem magazynowym.

      Zrzut ekranu przedstawiający kartę konfiguracji z wybraną funkcją ciągłego pozyskiwania i połączenia z kontem.

    2. Poniższe opisy ułatwiają wypełnianie pól.

      ustawienie Opis pola
      Subskrypcja Subskrypcja konta magazynowego.
      Konto przechowywania Blob Nazwa konta magazynu.
      Pojemnik Pojemnik do przechowywania zawierający plik, który chcesz załadować.

    3. W polu Połączenie otwórz listę rozwijaną i wybierz pozycję + Nowe połączenie, a następnie wybierz pozycję Zapisz>zamknij. Ustawienia połączenia są już wypełnione.

    Uwaga

    Podczas tworzenia nowego połączenia utworzysz również nowy strumień zdarzeń. Nazwa jest zdefiniowana jako <storage_account_name>_eventstream. Nie usuwaj strumienia zdarzeń ciągłego pozyskiwania danych z obszaru roboczego.

    Aby użyć istniejącego połączenia:

    1. Wybierz istniejące konto magazynu.

      Zrzut ekranu przedstawiający kartę konfiguracji z wybranym ciągłym pozyskiwaniem i połączeniem z istniejącym kontem.

    2. Poniższe opisy ułatwiają wypełnianie pól.

      ustawienie Opis pola
      RTAStorageAccount Strumień zdarzeń z Fabric połączony z twoim kontem magazynu.
      Pojemnik Pojemnik do przechowywania zawierający plik, który chcesz załadować.
      Połączenie To pole jest wstępnie wypełnione parametrami połączenia.

    3. W polu Connection otwórz listę rozwijaną i wybierz istniejący ciąg połączenia z listy. Następnie wybierz pozycję Zapisz>zamknij.

  4. Opcjonalnie rozwiń Filtry plików i określ następujące filtry:

    ustawienie Opis pola
    Ścieżka folderu Filtruj dane, aby importować pliki według określonej ścieżki folderu.
    Rozszerzenie pliku Filtruj dane, aby wczytywać tylko pliki z określonym rozszerzeniem.

  5. W sekcji Ustawienia strumienia zdarzeń wybierz zdarzenia do monitorowania w Ustawieniach zaawansowanych>Typy zdarzeń. Domyślnie wybrana jest opcja Blob created. Możesz również wybrać zmieniona nazwa Blob.

    Zrzut ekranu przedstawiający ustawienia zaawansowane z rozwiniętym menu rozwijanym „Typy zdarzeń”.

  6. Wybierz przycisk Dalej , aby wyświetlić podgląd danych.

Sprawdź dane podglądu przed importem

Karta „Inspekcja” zostanie otwarta z podglądem danych.

Aby ukończyć proces pobierania danych, wybierz Zakończ.

Zrzut ekranu przedstawiający kartę „Inspect” z podglądem zaimportowanych danych przed wybraniem opcji „Finish”.

Uwaga

Aby uruchomić ciągłe pozyskiwanie danych i ich podgląd, prześlij nowy obiekt blob po zakończeniu konfiguracji.

Opcjonalnie:

  • Użyj listy rozwijanej pliku definicji schematu, aby zmienić plik, z którego jest wywnioskowany schemat.

  • Użyj listy rozwijanej Typ pliku, aby zapoznać się z opcjami zaawansowanymi na podstawie typu danych.

  • Użyj listy rozwijanej Table_mapping , aby zdefiniować nowe mapowanie.

  • Wybierz </> , aby otworzyć przeglądarkę poleceń, aby wyświetlić i skopiować automatyczne polecenia wygenerowane na podstawie danych wejściowych. Możesz również otworzyć polecenia w zestawie zapytań KQL.

  • Wybierz ikonę ołówka, aby edytować kolumny.

Edytowanie kolumn

Uwaga

  • W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby zamapować na istniejącą kolumnę, najpierw usuń nową kolumnę.
  • Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

  • typ tabeli jest nowy lub istniejący
  • typ mapowania jest nowy lub istniejący
Typ tabeli Typ mapowania Dostępne korekty
Nowa tabela Nowe mapowanie Zmień nazwę kolumny, zmień typ danych, zmień źródło danych, transformacja mapowania, dodaj kolumnę, usuń kolumnę
Istniejąca tabela Nowe mapowanie Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela Istniejące mapowanie żadne

Zrzut ekranu edytora kolumn z otwartymi kolumnami tabel w celu edytowania nazw, typów danych i mapowań.

Transformacje mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste przekształcenia czasu wprowadzania. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytuj kolumny.

Przekształcenia mapowania można przeprowadzać na kolumnach typu string lub datetime, gdzie źródło ma typ danych int lub long. Aby uzyskać więcej informacji, zobacz pełną listę obsługiwanych transformacji mapowania.

Opcje zaawansowane oparte na typie danych

formaty tabelaryczne (CSV, TSV, PSV):

  • Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

    Zrzut ekranu zaawansowanych opcji

  • Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Aby użyć pierwszego wiersza jako nazw kolumn, wybierz Pierwszy wiersz to nagłówek kolumny.

    Zrzut ekranu przedstawiający przełącznik nagłówka kolumn znajdujący się w pierwszym wierszu.

formaty tabelaryczne (CSV, TSV, PSV):

  • Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, wybierz Table_mapping>Use existing schema. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po wybraniu tej opcji mapowanie jest wykonywane według kolejności, a schemat tabeli pozostaje taki sam. Jeśli odznaczysz tę opcję, nowe kolumny będą tworzone dla danych wejściowych, niezależnie od struktury danych.

  • Aby użyć pierwszego wiersza jako nazw kolumn, wybierz pozycję Nagłówek pierwszego wiersza.

    Zrzut ekranu przedstawiający zaawansowane opcje csv, w tym kontrolki dla ustawień nagłówka i ogranicznika pierwszego wiersza.

JSON:

  • Aby określić podział kolumn danych JSON, wybierz Poziomy zagnieżdżenia, które mogą być w zakresie od 1 do 100.

    Zrzut ekranu przedstawiający zaawansowane opcje JSON, w tym ustawienie poziomów zagnieżdżonych używane do dzielenia kolumn JSON.

Przejrzyj podsumowanie pozyskiwania danych

W oknie Podsumowanie wszystkie kroki pokazują zielone znaczniki wyboru po pomyślnym zakończeniu pozyskiwania danych. Możesz wybrać kartę, aby eksplorować dane, usunąć pozyskane dane lub utworzyć pulpit nawigacyjny z kluczowymi metrykami.

Zrzut ekranu przedstawiający stronę podsumowania ciągłego pozyskiwania z ukończonym pomyślnie pozyskiwaniem.

Po zamknięciu okna możesz zobaczyć połączenie na karcie Eksplorator w obszarze Strumienie danych. W tym miejscu można filtrować strumienie danych i usuwać strumień danych.

Zrzut ekranu przedstawiający eksploratora bazy danych KQL z wyróżnionymi strumieniami danych.

Powiązana zawartość

  • Ostatnia aktualizacja o