Opracowywanie i debugowanie potoków za pomocą notesu (starsza wersja)

Ważne

Ta funkcja jest dostępna w publicznej wersji testowej.

Potoki ETL można opracowywać i debugować z poziomu notesu Azure Databricks połączonego z potokiem przy użyciu starszego środowiska edytowania notesu w potokach usługi Lakeflow.

Ważne

Na tej stronie opisano starszy interfejs do edycji notesu. Tej funkcji nie można już włączyć i jest ona dostępna tylko w przestrzeniach roboczych, które wcześniej zrezygnowały z Edytora potoków Lakeflow. Środowisko edycji notesu jest przestarzałe i zostanie usunięte.

Domyślnie używany jest edytor potoków Lakeflow. Użyj edytora Lakeflow Pipelines, aby edytować notatniki oraz pliki kodu Python lub SQL w potoku. Aby uzyskać więcej informacji, zobacz Develop and debug ETL pipelines with the Lakeflow Pipelines Editor (Opracowywanie i debugowanie potoków ETL za pomocą edytora potoków lakeflow).

Omówienie notatników w przepływach

Pracując z notebookiem Python lub SQL, skonfigurowanym jako kod źródłowy dla istniejącego potoku, możesz połączyć notebook bezpośrednio z tym potokiem. Gdy notebook jest połączony z potokiem, dostępne są następujące funkcje:

  • Uruchom i zweryfikuj potok z notatnika.
  • Wyświetl wykres przepływu danych potoku i dziennik zdarzeń dla najnowszej aktualizacji w notesie.
  • Wyświetl diagnostykę rurociągu w edytorze notatnika.
  • Wyświetl stan klastra potoku w notesie.
  • Przejdź do interfejsu użytkownika pipeline’u z notatnika.

Wymagania wstępne

  • Musisz mieć istniejący potok danych z notesem Python lub SQL, skonfigurowanym jako kod źródłowy.
  • Musisz być właścicielem pipeline'u lub mieć uprawnienia CAN_MANAGE.

Ograniczenia

  • Funkcje omówione w tym artykule są dostępne tylko w notatnikach Azure Databricks. Pliki przestrzeni roboczej nie są obsługiwane.
  • Terminal internetowy nie jest dostępny, gdy jest połączony z pipeline'em. W związku z tym nie jest widoczna jako zakładka w dolnym panelu.

Połącz notebook z potokiem

W notesie kliknij menu rozwijane używane do wybierania obliczeń. Menu rozwijane wyświetla wszystkie Twoje pipeline’y, których kodem źródłowym jest ten notes. Aby połączyć notebook z potokiem, wybierz go z listy.

Wyświetlanie stanu klastra potoku

Aby łatwo zrozumieć stan klastra potoków, jego stan wyświetlany jest w menu rozwijanym obliczeń z zieloną ikoną wskazującą, że klaster jest uruchomiony.

Zweryfikuj kod potoku

Możesz zweryfikować potok, aby wykryć błędy składni w kodzie źródłowym bez przetwarzania żadnych danych.

Aby zweryfikować potok, wykonaj jedną z następujących czynności:

  • W prawym górnym rogu notesu kliknij pozycję Weryfikuj.
  • Naciśnij Shift+Enter w dowolnej komórce notesu.
  • W menu rozwijanym komórki kliknij pozycję Zweryfikuj potok.

Uwaga / Notatka

Jeśli spróbujesz zweryfikować pipeline, gdy istniejąca aktualizacja jest już w toku, zostanie wyświetlone okno dialogowe z pytaniem, czy chcesz zakończyć tę aktualizację. Jeśli klikniesz Tak, istniejąca aktualizacja zostanie zatrzymana, a automatycznie rozpocznie się aktualizacja walidacyjna.

Rozpocznij aktualizację potoku

Aby rozpocząć aktualizację pipeline'u, kliknij przycisk Uruchom w prawym górnym rogu notesu. Zobacz Uruchom aktualizację potoku.

Wyświetlanie stanu aktualizacji

W górnym panelu w notatniku wyświetlana jest informacja, czy aktualizacja potoku:

  • Starting
  • Sprawdzanie poprawności
  • Zatrzymanie

Wyświetlanie błędów i diagnostyki

Po rozpoczęciu aktualizacji lub walidacji potoku wszelkie błędy są wyświetlane w tekście z czerwonym podkreśleniem. Najedź kursorem na błąd, aby wyświetlić więcej informacji.

Wyświetlanie zdarzeń potoku

Po dołączeniu do potoku w dolnej części notesu znajduje się karta dziennika zdarzeń potoku.

dziennika zdarzeń

Wyświetl wykres przepływu danych potoku

Aby wyświetlić wykres przepływu danych potoku, użyj karty wykresu potoku u dołu notatnika. Wybranie węzła na grafie powoduje wyświetlenie jego schematu w prawym panelu.

Graf przepływu danych

Jak uzyskać dostęp do interfejsu potoku z poziomu notatnika

Aby łatwo przejść do interfejsu pipeline’u, użyj menu w prawym górnym rogu notatnika.

Otwórz interfejs potoku z poziomu notesu

Uzyskiwanie dostępu do dzienników sterowników i interfejsu użytkownika platformy Spark z notesu

Dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark skojarzonego z opracowywanym potokiem można łatwo uzyskać z menu Widok notesu.

Uzyskaj dostęp do dzienników sterowników i interfejsu użytkownika platformy Spark

  • Last updated on