Wyświetlaj i udoskonalaj wyniki w Lakeflow Designer

Podczas tworzenia wizualnego przygotowania danych Lakeflow Designer wyświetla podgląd wyników każdego operatora, dzięki czemu możesz sprawdzić swoją pracę bez konieczności uruchamiania całego przepływu pracy. Ta strona opisuje, jak czytać i kontrolować podglądy, uruchamiać część lub całość przygotowania danych wizualnych, zapisywać wyniki operatora wraz z punktami kontrolnymi oraz doprecyzować dane bezpośrednio w tabeli wyników.

Użyj okienka danych wyjściowych

Wybierz dowolny operator, aby zobaczyć jego wyniki w panelu wyjściowym na dole ekranu. Dla większości typów operatorów dane wejściowe znajdują się po lewej, a wyjściowe po prawej. Operatory, które generują wyniki inne niż tabele, takie jak wykresy, HTML lub obrazy, renderują te dane wyjściowe bezpośrednio w okienku danych wyjściowych.

Użyj formantu widoku w panelu danych wyjściowych, aby przełączać widok między danymi wejściowymi i wyjściowymi (domyślnie), tylko danymi wejściowymi lub tylko danymi wyjściowymi. W widoku połączonym przeciągnij rozdzielacz, aby zmienić rozmiar okienek wejściowych i wyjściowych.

Jeśli wybrany operator ma dane wydajności, kliknij Wydajność w panelu wyjściowym, aby otworzyć pełny profil zapytań.

Panel wyjściowy LFD z podglądami wejścia i wyjścia oraz otwartym menu Zeskanowane wiersze.

Kontroluj, ile danych przetwarzają podglądy

Projektant automatycznie wyświetla podgląd operatorów. Domyślnie operatorzy przetwarzają pierwsze 1000 wierszy wejściowych do podglądów. Aby zmienić ustawienie domyślne, użyj menu Podgląd na pasku narzędzi obszaru roboczego i wybierz Pierwsze N wierszy, aby wprowadzić nowy limit, lub wybierz Wszystkie wiersze. Wybierz Zastosuj do wszystkich operatorów, aby usunąć zastąpienie ustawienia Przeskanowane wiersze dla każdego operatora, tak aby używane było bieżące ustawienie domyślne.

Użyj menu Przeskanowane wiersze w panelu wyjściowym, aby nadpisać domyślne dla konkretnego operatora:

  • Zeskanowane wiersze: Dziedziczone: Używa domyślnego ustawienia z menu Podglądu .
  • Przeskanowane wiersze: Limit: przetwarza pierwsze N wierszy wejściowych. Wpisz limit wierszy w polu obok menu.
  • Skanowane wiersze: Wszystkie wiersze: Przetwarza wszystkie wiersze wejściowe.

Gdy podgląd przetwarza wszystkie wiersze, obszar roboczy pokazuje dokładną liczbę wierszy wyjściowych operatora. W przypadku operatorów z wieloma wyjściami najedź kursorem na odznakę liczenia wierszy, aby zobaczyć liczby dla każdego wyjścia.

Warning

Wygenerowanie podglądu przy ustawieniu Przeskanowane wiersze: Wszystkie wiersze powoduje ponowne uruchomienie operatora i operatorów poprzedzających na całym zbiorze danych, co może zająć dużo czasu.

Limity podglądu nie dotyczą zadań zaplanowanych ani Uruchom wszystko.

Uruchom pełne wizualne przygotowanie danych

Kliknij Uruchom wszystko , aby uruchomić każdego operatora na płótnie względem całego zbioru danych w jednej akcji, bez podglądu każdego operatora osobno. Designer uruchamia cały plik przygotowania danych wizualnych i aktualizuje wyniki dla każdego operatora, a następnie pokazuje dokładną liczbę wierszy wyjściowych każdego operatora pod nim na płótnie.

Menu Run zawiera więcej poleceń do uruchomienia całego procesu wizualnego przygotowania danych:

  1. Kliknij ikonę menu Kebab w nagłówku pliku i wybierz Uruchom.
  2. Wybierz akcję:
    • Uruchom wszystko: Uruchom całe wizualne przygotowanie danych.
    • Przerwij wykonywanie: Zatrzymaj uruchomione przygotowanie danych wizualnych.
    • Przejdź do ostatnio uruchomionego operatora: Ustaw fokus na ostatnio uruchomionym operatorze.
    • Czyść>Wyczyść wszystkie wyjścia operatora: Usuń wyświetlane wyniki.
    • Wyczyść>Wyczyść stan i uruchom wszystko: Wyczyść stan obliczeń i ponownie uruchom przygotowanie danych wizualnych.

Wyczyszczenie wymaga zgody na edycję pliku przygotowania danych wizualnych.

Podbiegnij do operatora

Kliknij prawym przyciskiem myszy operator i wybierz Uruchom do tego operatora, aby uruchomić go i jego operatory nadrzędne na całym zbiorze danych, bez limitów wierszy podglądu. Operatory downstream i odłączone odgałęzienia nie działają.

Konfiguruj punkty kontrolne operatora

Checkpointy zapisują wyniki operatora, dzięki czemu podglądy mogą je ponownie wykorzystać bez konieczności ponownego uruchamiania operatorów upstream. W panelu konfiguracyjnym operatora otwórz ustawienia operatora i wybierz Checkpoint:

  • Auto: Projektant wybiera, które wyniki zapisać. To jest wartość domyślna dla nowych operatorów.
  • Wł.: Zapisz wyniki tego operatora.
  • Wyłączone: Nie zapisuj wyników tego operatora.

Zmiana tego ustawienia wymaga uprawnień do edycji pliku przygotowania danych wizualnych, jego uruchomienia oraz generowania podglądów. Podglądy mogą ponownie wykorzystać zapisane wyniki w ramach tej samej sesji obliczeniowej. Uruchom wszystko, uruchom do tego operatora, a zaplanowane zadania ponownie obliczają wyniki.

Jeśli checkpointy są niedostępne lub zawodzą, Auto kontynuuje bez nich. Gdy ustawienie ma wartość On, podgląd lub uruchomienie nie udaje się.

Przekształc dane bezpośrednio w tabeli wyników

Oprócz dodawania operatorów do transformacji danych, możesz przygotować je, działając na nich bezpośrednio w tabeli wyników. Edycje w podglądzie zmieniają tylko próbkę podglądu i są zbierane jako Oczekujące zmiany. Nie zmieniają twoich danych ani twojego workflow, dopóki ich nie zastosujesz.

Edycja danych bezpośrednio w tabeli wyników LFD: modyfikacja kolumny powoduje utworzenie oczekującej zmiany, którą polecenie Apply to canvas przekształca w operator.

W podglądzie danych obsługiwane są następujące działania:

  • Wstaw kolumnę: Wybierz Wstaw kolumnę, następnie wpisz nazwę i wyrażenie.
  • Zmień typ kolumny: Wybierz Zmień typ i wybierz typ docelowy.
  • Usuń wiersze z wartościami null: Wybierz Usuń wartości null, aby usunąć wiersze, w których kolumna ma wartość null.
  • Filtruj wiersze: Dodaj co najmniej jeden warunek filtrowania do kolumny.
  • Zmień nazwę kolumny: Kliknij dwukrotnie nagłówek kolumny i wpisz nową nazwę.
  • Ukryj, zmień kolejność lub usuń kolumny: Ukryj lub usuń kolumnę albo przeciągnij nagłówki kolumn, aby zmienić ich kolejność.
  • Sortuj wiersze: Dodaj kierunek sortowania do kolumny. Sortowanie kolejnych kolumn wzbogaca kolejność sortowania.
  • Usuń zduplikowane wiersze: Wybierz Usuń duplikaty, a następnie wybierz kolumny do porównania.

Przegląd i składanie wniosków w trakcie oczekiwania zmian

Przygotowane zmiany są gromadzone w panelu Oczekujące zmiany. Otwórz ją, aby przejrzeć lub usunąć edycję przed jej zastosowaniem. Aby zmienić tymczasowo przygotowaną nową kolumnę, kliknij ją dwukrotnie w podglądzie i zmień jej nazwę lub wyrażenie.

Aby dodać etapowe edycje do swojego workflow, wybierz Apply to canvas. Lakeflow Designer dodaje operatory do przygotowanych zmian, w kolejności, w jakiej je przygotowano. Każdy rodzaj edycji odwzorowuje się na następujący typ operatora:

Edycja podglądowa Operator dodany do płótna
Wstaw kolumnę Przygotowywanie
Zmień typ kolumny Przygotowywanie
Usuń wiersze zerowe Filter
Filtruj wiersze Filter
Usuwaj, zmieniaj nazwę, zmieniaj kolejność lub ukryj kolumny Wybierz
Sortowanie wierszy Sortowanie
Usuwanie zduplikowanych wierszy Niepowtarzalny

Uwaga / Notatka

Jeśli przełączysz podgląd na przetwarzanie całego zbioru danych, gdy masz oczekujące zmiany, Lakeflow Designer najpierw prosi cię, żebyś je zastosował, żeby nie zgubić etapowych edycji.

Sprawdź profil danych

Aby zobaczyć szczegóły dotyczące części wyjścia, wybierz dane, które chcesz przeanalizować, a następnie kliknij ikonę paska bocznego w prawym górnym rogu panelu wyjścia, aby otworzyć panel szczegółów.

Panel profilowania danych z rozkładami kolumn i statystykami podsumowującymi obok podglądu wyników.

Pobieranie wyników

Użyj kontrolera pobierania w panelu wyjściowym, aby wyeksportować wyniki podglądu do pliku:

  • Wyświetlane wiersze: Pobierz wiersze pokazane w podglądzie jako CSV lub Excel.
  • Wszystkie wiersze: Pobierz pełny zbiór danych. Dostępne, gdy masz uprawnienia do uruchamiania workflow. Eksport Excel wszystkich wierszy wymaga obliczeń bez serwera.

Administrator Twojego workspace może wyłączyć pobieranie danych.

Dodatkowe zasoby