Pozyskiwanie danych do Lakeflow Designer

Możesz przenieść do wizualnego przygotowywania danych w narzędziu Lakeflow Designer wszelkie dane dostępne za pośrednictwem usługi Azure Databricks.

Wszystkie pozyskiwanie danych w Projektancie rozpoczyna się od operatora Source . Po otwarciu okienka konfiguracji operatora źródłowego dostępne są następujące opcje.

Przeglądaj istniejące tabele

Kliknij opcję Przeglądaj istniejące, aby otworzyć selektor zasobów oraz przeglądać tabele i woluminy w Unity Catalog. Użyj tej opcji, gdy dane są już w Azure Databricks.

Możesz również wybrać widok metryk Unity Catalog jako źródło. Po wybraniu widoku metryki wybierz wymiary i miary do uwzględnienia, a projektant generuje zagregowane zapytanie.

Importuj folder lub wolumin

Zamiast pojedynczego pliku operator Source może wskazywać cały wolumin Unity Catalog lub ścieżkę folderu. Projektant wykrywa format plików w folderze i ładuje je do jednej tabeli:

• W przypadku formatów plików strukturalnych, takich jak CSV, JSON, Excel i Parquet, projektant odczytuje wszystkie pliki i łączy wiersze w jedną tabelę.
• W przypadku plików dokumentów, takich jak pliki PDF, Projektant odczytuje każdy plik jako jeden wiersz, więc otrzymujesz jeden wiersz na plik.

Przeciąganie i upuszczanie pliku lokalnego

Przeciągnij plik CSV lub Excel z komputera lokalnego bezpośrednio na kanwę. Projektant przesyła plik do woluminu w Unity Catalog i automatycznie tworzy operator Source.

Tworzenie tabeli na podstawie pliku

Wybierz pozycję Utwórz tabelę z pliku w okienku Konfiguracja źródła, aby przekazać lokalny plik CSV lub plik Excel i utworzyć z niego tabelę Unity Catalog. Użyj tej opcji, jeśli dane są utrwalane jako zarządzana tabela, a nie przechowywane w woluminie. Ponadto w przypadku dużych ilości danych zapewnia to najlepszą wydajność. Przesłane pliki podlegają limitowi rozmiaru plików dla woluminu Unity Catalog. Zobacz Praca z plikami w woluminach katalogu Unity.

Importowanie z dysku Google

Aby zaimportować plik z dysku Google:

1. W okienku Konfiguracja źródła wybierz pozycję Importuj z dysku Google.
2. Wybierz istniejące połączenie Unity Catalog, które ma dostęp do Google Drive, lub wybierz Utwórz połączenie , aby je utworzyć.
3. Podaj adres URL pliku.

Wymagania dotyczące połączenia i instrukcje konfiguracji znajdziesz w artykule Ingest files from Google Drive.

Importuj z SharePoint

Aby zaimportować plik z SharePoint:

1. W okienku Konfiguracja źródła wybierz pozycję Importuj z SharePoint.
2. Wybierz istniejące połączenie Unity Catalog, które ma dostęp do Twojej strony SharePoint, lub wybierz Utwórz połączenie, aby je utworzyć.
3. Podaj bezpośredni link do pliku.

Wymagania dotyczące połączenia i instrukcje konfiguracji można znaleźć w artykule Pobieranie plików z SharePoint.

Używanie programu Lakeflow Connect dla dodatkowych źródeł

Jeśli źródło danych nie jest dostępne bezpośrednio w Projektancie, sprawdź Lakeflow Connect aby znaleźć łącznik zarządzany. Program Lakeflow Connect obsługuje pozyskiwanie danych z aplikacji SaaS (Salesforce, Workday, HubSpot i nie tylko), baz danych, magazynu w chmurze i źródeł przesyłania strumieniowego. Po pozyskiwaniu danych za pomocą Lakeflow Connect w tabeli katalogu Unity, można je użyć jako źródła w Designer.

Dodatkowe zasoby

• Utwórz wizualny proces przygotowania danych w Lakeflow Designer
• Wbudowane operatory w narzędziu Lakeflow Designer