Wbudowane operatory w narzędziu Lakeflow Designer

Projektant lakeflow zawiera wbudowane operatory do typowych zadań przygotowywania i przekształcania danych. Otwórz menu operatora w okienku bocznym po lewej stronie, aby przeglądać operatory według kategorii, lub użyj opcji Wyszukaj operator... w górnej części okienka. Wyszukiwanie operatorów sugeruje operatory na podstawie intencji. Na przykład wpisywanie zwraca operator average by month. Aby skonfigurować operator po dodaniu go do kanwy, kliknij go dwukrotnie lub umieść kursor nad nim, a następnie kliknij (Edytuj operator), aby otworzyć okienko konfiguracji.

Każdy operator wyświetla wygenerowany przez sztuczną inteligencję opis tego, co robi. Opis działa również jako edytor operatora: edytowanie opisu ponownie konfiguruje operatora w celu dopasowania do opisu.

Aby dowiedzieć się, jak utworzyć własne operatory zdefiniowane przez użytkownika, zobacz Operatory zdefiniowane przez użytkownika w programie Lakeflow Designer.

Źródło i dane wyjściowe

Source

Importuje dane do projektanta z tabeli wykazu aparatu Unity lub innego obsługiwanego źródła. Aby wybrać źródło, wyszukaj tabelę lub plik według nazwy albo przeglądaj według katalogu i schematu. Możesz również utworzyć nową tabelę w tym okienku.

Po wybraniu tabeli okienko zawiera nazwę, właściciela i czas ostatniej aktualizacji tabeli. Kliknij pozycję Wybierz nowe źródło danych , aby zmienić źródło. Zmiana źródła unieważnia pamięć podręczną wyjściową dla wszystkich operatorów podrzędnych.

Możesz również użyć widoku metryki wykazu aparatu Unity jako źródła. Po wybraniu widoku metryki wybierz wymiary i miary do uwzględnienia, a projektant wygeneruje zagregowane zapytanie.

Aby uzyskać pełny zakres opcji pozyskiwania danych, w tym określania wartości docelowej całego woluminu lub folderu wykazu aparatu Unity, zobacz Pozyskiwanie danych do projektanta lakeflow.

Wprowadzanie danych

Tworzy tabelę, wpisując wartości w edytorze w stylu arkusza kalkulacyjnego. Użyj tego operatora, aby dodać małe ilości danych referencyjnych, takich jak wartości odnośników lub dane testowe, bez tworzenia oddzielnej tabeli źródłowej.

Wynik

Eksportuje dane z projektanta. Operator Danych wyjściowych może zapisywać wyniki w tabeli wykazu aparatu Unity, publikować je jako zmaterializowany widok lub zapisywać je w pliku w woluminie wykazu aparatu Unity. Wybierz miejsce docelowe z typem danych wyjściowych.

W przypadku danych wyjściowych tabeli lub pliku wybierz sposób, w jaki każdy przebieg jest zapisywany w miejscu docelowym z trybem zapisu:

Kliknij przycisk Uruchom , aby uruchomić przygotowanie danych wizualizacji i zapisać wyniki. W przypadku danych wyjściowych tabeli, jeśli tabela nie istnieje, operator go tworzy. Zaplanowane przebiegi zapisu w miejscu docelowym przy użyciu tego samego trybu zapisu.

Funkcja sztucznej inteligencji

Uruchamia wbudowaną operację sztucznej inteligencji na danych. W okienku konfiguracji otwórz pozycję Wybierz funkcję i wybierz jedną z funkcji w poniższej tabeli. Każda funkcja uwidacznia opcje w okienku dla danych wejściowych (na przykład kolumn, monitów, etykiet lub języków) i danych wyjściowych.

Szczegóły dotyczące każdej funkcji można znaleźć w artykule Transformacja danych niestrukturalnych za pomocą funkcji AI.

Transformations

Następujące operatory wykonują przekształcenia danych.

Aggregate

Sumuje wiersze przez grupowanie danych i obliczanie wartości agregujących.

Połączyć

Łączy dane z wielu tabel w jeden wynik za pomocą operacji zbioru.

Unique

Usuwa zduplikowane wiersze z danych wejściowych. Domyślnie operator deduplikuje we wszystkich kolumnach. Możesz zamiast tego wybrać podzbiór kolumn jako klucz i uporządkować wiersze, aby kontrolować, który duplikat zostanie zachowany.

Filtr

Dzieli wiersze na podstawie tego, czy spełniają co najmniej jeden warunek, przy użyciu konstruktora warunków graficznych.

Operator Filtr ma dwa dane wyjściowe, dzięki czemu można rozgałęzić dane na podstawie tego, czy spełniają warunki:

Poręcze ochronne

Weryfikuje dane przychodzące na podstawie uporządkowanej listy sprawdzeń i oddziela wiersze, które przechodziły, od wierszy, które nie zaliczyły.

• Ostrzegaj i kontynuuj z mijanymi rzędami:
  • Dalsze egzekucje trwają.
  • Wiersze, które przechodzą wszystkie aktywne kontrole, są wysyłane do Passed.
  • Wiersze, które nie przejdą przynajmniej jednego włączonego sprawdzenia, są wysyłane do Failed.
  • Błędy zawierają jeden wiersz dla każdego nieudanego sprawdzenia, w tym jego rodzaj, stopień nasilenia i komunikat.
• Ostrzegaj i blokuj przepust wyjściowy:
  • Jeśli sprawdzenie się nie powiedzie, dalsze wykonanie jest kontynuowane, ale Passed nie zawiera wierszy.
  • Failed nadal zawiera wiersze fail, a Errors nadal zawiera szczegóły dotyczące niepowodzenia.
  • Użyj tej opcji, aby zapobiec dalszemu przetwarzaniu wierszy przekazywanych, jednocześnie umożliwiając dalszą obsługę błędów i błędów.
• Niepowodzenie w procesie:
  • Jeśli test się nie powiedzie, wykonanie zostaje zatrzymane przed uruchomieniem operatorów w dalszej instancji.
  • Nie otrzymują wyjść Passed, Failed ani Error .
  • W zaplanowanym zadaniu uruchomienie jest oznaczane jako nieudane, co może wywołać skonfigurowane obsługiwanie awarii, takie jak powiadomienia o zadaniach.

Gdy podglądasz operatora Guardrails, nadal możesz obejrzeć wszystkie trzy wyjścia w trybie Fail the workflow .

Aby zachować wiersze z wyjścia w dowolnym trybie ostrzegawczym, połącz go z operatorem Output.

Dołączyć

Łączy tabele, łącząc zbiory danych wejściowych na podstawie dopasowanych wartości kolumn.

Przy dwóch wejściach operator Join ma domyślnie trzy wyjścia, dzięki czemu możesz rozgałęziać workflow na podstawie wyników join:

Przy dwóch wejściach wybór konkretnego typu Join (pełny, wewnętrzny, lewy lub prawy) daje pojedyncze połączone wyjście zamiast trzech podzielonych wyjść.

Ograniczenie

Ogranicza liczbę wierszy, przekazując tylko maksymalną liczbę wierszy, które określisz.

Oś

Zmienia kształt danych tabelarycznych w dwóch kierunkach. Użyj kart w górnej części okienka konfiguracji, aby wybrać tryb.

Wiersze → kolumn (przestawne)

Zamienia unikatowe wartości w jednej kolumnie na nowe nagłówki kolumn, wypełnione zagregowanymi wartościami z innej kolumny.

Kolumny → wierszy (od przestawne)

Składa co najmniej jedną kolumnę w wiersze.

Uwzględnij kolumny

W przypadku trybu wybierz kolumny, które pozostają w danych wyjściowych obok wartości przestawnych lub nie przestawnych, i upuść kolumny, których nie potrzebujesz przed przekształceniem. Projektant wywnioskuje stałe (grupowanie) kolumn z kolumn, które nie są przypisywane do ról przestawnych, wartości ani przestawnych.

Sortuj

Porządkuje wiersze w co najmniej jednej kolumnie.

SQL

Zapisuje niestandardowy kod SQL dla każdej transformacji, która nie jest objęta innymi operatorami.

Pole	Opis
Edytor SQL	Wpisz instrukcję SQL SELECT . Aby odwołać się do danych wyjściowych operatora wejściowego, użyj nazwy tego operatora jako nazwy tabeli w zapytaniu. Przykład: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Kliknij Kliknij przycisk , aby otworzyć pełne okienko kodu SQL i zobaczyć, jak instrukcja pasuje do kompletnego przepływu pracy.
Parameters	Aby odwołać się do parametru przygotowywania danych wizualizacji, użyj nazwanej składni znacznika parametru, takiej jak :environment. Projektant pokazuje przykład powyżej edytora po otwarciu operatora do edycji. Zobacz Parametry.

Select

Wybiera, zmienia nazwy i zmienia kolejność kolumn z danych wejściowych.

Prepare

Czyści i wyprowadza kolumny, łącząc co najmniej jedną akcję danych wejściowych. Kliknij pozycję + Dodaj akcję i wybierz akcję. Dodaj dowolną liczbę akcji. Mają zastosowanie w kolejności.

Aby usunąć akcję, umieść kursor nad wierszem i kliknij

Kolumny niestandardowe

Akcja Formuła otwiera edytor wyrażeń, w którym można utworzyć nową kolumnę lub zastąpić istniejącą kolumnę przy użyciu języka naturalnego lub kodu SQL. Edytor ma dwa pola wejściowe i jest dwukierunkowy:

• Opis: wpisz opis języka naturalnego tego, co ma robić kolumna. Projektant używa narzędzia Genie do wygenerowania odpowiedniego wyrażenia kodu poniżej.
• Wyrażenie: Jeśli wolisz pisać lub edytować kod bezpośrednio, kliknij przycisk edytuj wyrażenie. Edytowanie wyrażenia powoduje automatyczne wygenerowanie opisu języka naturalnego.

W edytorze wyrażeń wpisz @ tak, aby otworzyć menu kolumn wejściowych operatora oraz wbudowanych funkcji SQL. Wpisz , @ aby przefiltrować listę, a następnie wybierz wpis, aby go wstawić: kolumna wstawia swoją nazwę, a funkcja wstawia wywołanie z kursorem umieszczonym w nawiasach. To samo @ menu jest dostępne w edytorach wyrażeń innych operatorów, takich jak niestandardowe warunki Filtr i Połączenie.

Python

Uruchamia niestandardowe Python (PySpark) na danych wejściowych.

Minimalny wzorzec polega na użyciu pierwszych danych wejściowych w przypadku obecności lub pustej ramki danych w przeciwnym razie:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Z tego miejsca można utworzyć łańcuch operacji ramki danych (na przykład select, , filterlub withColumnsprzężeń) przed result zakończeniem przypisania lub zastąpić result nową ramką danych utworzoną na podstawie inputs["data"]elementu .

Podczas podglądu wyjście operatora trafia do panelu wyjściowego w momencie produkcji, włączając wszystko, co renderujesz display() , i tekst, który drukujesz, dzięki czemu możesz zobaczyć wyniki przed zakończeniem procesu.

Tryb podglądu Python

Podczas tworzenia wizualnego przygotowania danych, Designer nieustannie wyświetla podgląd wyników każdego operatora na próbce Twoich danych. Te podglądy uruchamiają Twój kod Python tak samo jak pełny rozgryw. To problem, gdy Twój kod ma skutki uboczne, takie jak wywoływanie zewnętrznego API, wysyłanie powiadomienia czy zapisywanie do systemu spoza Unity Catalog. Zazwyczaj nie chcesz, żeby te skutki uboczne pojawiały się przy każdej podglądzie.

Aby Twój kod rozróżnił te dwa elementy, przeczytaj config["is_preview"], ustawia dla ciebie Designer boole'a:

• True Podczas podglądu, żeby móc pominąć skutki uboczne.
• False podczas pełnego biegu, na przykład gdy klikasz Run lub podczas zaplanowanego biegu.

Na przykład skutki uboczne Guard działają tylko poza zapowiedziami:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organizacji

Note

Dodaje notatkę na kanwie, aby można było udokumentować sam przepływ pracy: jego przeznaczenie, założenia, zastrzeżenia lub kontekst przekazywania dla każdej osoby, która otworzy przygotowanie danych wizualizacji później.

Group

Wizualnie grupuje operatory na kanwie bez zmieniania sposobu przepływu danych między nimi, co jest przydatne, gdy przygotowanie danych wizualizacji rośnie duże lub chcesz odzwierciedlać etapy logiczne.

Visualization

Tworzy wizualizację na podstawie danych wejściowych i renderuje je bezpośrednio na kanwie. Połącz operator Wizualizacja z dowolnym operatorem tworzącym dane tabelaryczne, aby utworzyć wykres wyników bez opuszczania projektanta.

Aby skonfigurować wizualizację, otwórz operator i wybierz typ wizualizacji , a następnie zamapuj kolumny na wykres.

Dodatkowe zasoby

• Tworzenie wizualnego przygotowywania danych w projektancie lakeflow
• Pozyskiwanie danych do projektanta lakeflow