Pozyskiwanie danych do Lakeflow Designer

Możesz przenieść do wizualnego przygotowywania danych w narzędziu Lakeflow Designer wszelkie dane dostępne za pośrednictwem usługi Azure Databricks.

Wszystkie pozyskiwanie danych w Projektancie rozpoczyna się od operatora Source . Dodaj źródło z ekranu powitalnego lub otwórz panel konfiguracyjny operatora źródłowego, aby wybrać swoje dane.

Przeglądaj istniejące tabele

Na ekranie powitalnym wybierz tabelę z Sugerowane, Ulubione lub Ostatnio użyta, aby dodać ją jako operator źródłowy. Użyj menu kategorii, aby przełączać listy, lub kliknij Przeglądaj wszystkie dane, aby znaleźć inną tabelę.

W panelu konfiguracji operatora źródłowego kliknij Przeglądaj istniejące , aby otworzyć selektor zasobów i przejrzeć tabele oraz tomy w Unity Catalog. Użyj tej opcji, gdy dane są już w Azure Databricks.

Możesz również wybrać widok metryk Unity Catalog jako źródło. Po wybraniu widoku metryki wybierz wymiary i miary do uwzględnienia, a projektant generuje zagregowane zapytanie.

Utworzenie zewnętrznego połączenia z bazą danych

W nieskonfigurowanym operatorze Source wybierz Create external database connection, aby połączyć się z zewnętrzną bazą danych. Designer tworzy połączenie Unity Catalog i katalog obcy, a następnie otwiera katalog, aby wybrać tabelę.

Utworzenie nowego połączenia Unity Catalog wymaga uprawnień CREATE CONNECTION i CREATE CATALOG na metastore Unity Catalog. Aby wypisać, przyznać dostęp lub później zerwać połączenie, zobacz Zarządzaj połączeniami dla Lakehouse Federation. Aby zarządzać katalogiem zagranicznym, zobacz Zarządzaj i pracuj z katalogiem zagranicznym.

Designer obsługuje następujące typy połączeń:

• Amazon Redshift
• Azure Synapse
• Databricks
• Google BigQuery - usługa analizy danych
• MySQL
• Oracle
• PostgreSQL
• Salesforce Data Cloud
• Udostępnianie plików w chmurze danych usługi Salesforce
• Snowflake
• SQL Server
• Teradata

Jeśli źródło danych nie jest dostępne bezpośrednio w Projektancie, sprawdź Lakeflow Connect aby znaleźć łącznik zarządzany. Program Lakeflow Connect obsługuje pozyskiwanie danych z aplikacji SaaS (Salesforce, Workday, HubSpot i nie tylko), baz danych, magazynu w chmurze i źródeł przesyłania strumieniowego. Po pozyskiwaniu danych za pomocą Lakeflow Connect w tabeli katalogu Unity, można je użyć jako źródła w Designer.

Importuj folder lub wolumin

Zamiast pojedynczego pliku operator Source może wskazywać cały wolumin Unity Catalog lub ścieżkę folderu. Projektant wykrywa format plików w folderze i ładuje je do jednej tabeli:

• W przypadku formatów plików strukturalnych, takich jak CSV, JSON, Excel i Parquet, projektant odczytuje wszystkie pliki i łączy wiersze w jedną tabelę.
• W przypadku plików dokumentów, takich jak pliki PDF, Projektant odczytuje każdy plik jako jeden wiersz, więc otrzymujesz jeden wiersz na plik.

Przeciągnij i upuść plik

Przeciągnij plik na płótno z przeglądarki plików workspace lub z lokalnego urządzenia, aby automatycznie utworzyć operator Source . W przypadku plików lokalnych Designer przesyła kopię do woluminu katalogu Unity, aby operator mógł je odczytać.

Rozpocznij wizualne przygotowanie danych z plików

Aby rozpocząć nowe wizualne przygotowanie danych z jednego lub większej liczby plików, otwórz stronę Visual data prep, kliknij strzałkę listy rozwijanej obok New, wybierz Importuj plik, a następnie wybierz Jako źródło danych. Prześlij co najmniej jeden plik CSV, JSON, Excel lub PDF. Designer tworzy wizualne przygotowanie danych z operatorem Source dla każdego pliku.

Tworzenie tabeli na podstawie pliku

Wybierz pozycję Utwórz tabelę z pliku w okienku Konfiguracja źródła, aby przekazać lokalny plik CSV lub plik Excel i utworzyć z niego tabelę Unity Catalog. Użyj tej opcji, jeśli dane są utrwalane jako zarządzana tabela, a nie przechowywane w woluminie. Ponadto w przypadku dużych ilości danych zapewnia to najlepszą wydajność. Przesłane pliki podlegają limitowi rozmiaru plików dla woluminu Unity Catalog. Zobacz Praca z plikami w woluminach katalogu Unity.

Importowanie z dysku Google

Aby zaimportować plik z dysku Google:

1. W okienku Konfiguracja źródła wybierz pozycję Importuj z dysku Google.
2. Wybierz istniejące połączenie Unity Catalog, które ma dostęp do Google Drive, lub wybierz Utwórz połączenie , aby je utworzyć.
3. Podaj adres URL pliku.

Wymagania dotyczące połączenia i instrukcje konfiguracji znajdziesz w artykule Ingest files from Google Drive.

Importuj z SharePoint

Aby zaimportować plik z SharePoint:

1. W okienku Konfiguracja źródła wybierz pozycję Importuj z SharePoint.
2. Wybierz istniejące połączenie Unity Catalog, które ma dostęp do Twojej strony SharePoint, lub wybierz Utwórz połączenie, aby je utworzyć.
3. Podaj bezpośredni link do pliku.

Wymagania dotyczące połączenia i instrukcje konfiguracji można znaleźć w artykule Pobieranie plików z SharePoint.

Dodatkowe zasoby

• Samouczek: Zbuduj wizualne przygotowanie danych
• Wbudowane operatory w narzędziu Lakeflow Designer