Konfigurowanie i edytowanie zadań w Lakeflow Jobs

Twórz, konfiguruj i edytuj zadania w zadaniu Lakeflow w interfejsie użytkownika obszaru roboczego Jobs & Pipelines.

Azure Databricks zarządza zadaniami jako składnikami Lakeflow Jobs. Praca ma co najmniej jedno zadanie. Nowe zadanie należy utworzyć w interfejsie użytkownika obszaru roboczego, konfigurując pierwsze zadanie. Aby skonfigurować nowe zadanie, zobacz Konfigurowanie i edytowanie zadań lakeflow.

Każde zadanie ma skojarzony zasób obliczeniowy, który uruchamia logikę zadań. Jeśli używasz bezserwerowych, Azure Databricks konfiguruje zasoby obliczeniowe. Jeśli nie używasz technologii bezserwerowej, zobacz Konfigurowanie obliczeń dla zadań.

Azure Databricks ma inne punkty wejścia i narzędzia do konfiguracji zadań, w tym:

• Odniesienie do interfejsu API REST Jobs
• Interfejs wiersza polecenia usługi Databricks
• Tworzenie zaplanowanych zadań notesu i zarządzanie nimi

Tworzenie lub konfigurowanie zadania

Aby edytować istniejące zadanie lub dodać nowe zadanie za pomocą interfejsu użytkownika obszaru roboczego, wybierz istniejące zadanie, wykonując następujące kroki:

1. Na pasku bocznym obszaru roboczego Azure Databricks kliknij pozycję Zadania i Potoki.
2. Opcjonalnie wybierz filtry Zadania i Należące do mnie .
3. Kliknij link Nazwa swojego zadania.
4. Kliknij kartę Zadania . Zostanie wyświetlony wykres zadań.
5. Aby edytować zadanie, kliknij nazwę zadania. Konfiguracja zadania jest wyświetlana poniżej grafu zadań.
6. Aby dodać zadanie:
   • Jeśli zadanie nie ma jeszcze żadnych zadań, na wykresie zadań są wyświetlane przyciski dla ostatnich typów zadań. Kliknij przycisk typu zadania lub kliknij Dodaj inny typ zadania , aby wybrać inny typ.
   • Jeśli zadanie ma już co najmniej jedno zadanie, kliknij Dodaj zadanie na grafie zadań.

Typy zadań

Opcje konfiguracji i instrukcje różnią się w zależności od zadania. Dostępne są następujące typy zadań:

• Notes
• Przygotowywanie danych wizualnych
• Integracje Lakeflow (Beta)

• Notatnik Clean Room

• Skrypt Python
• koło Python
• SQL
• Rurociągu
• Potok synchronizacji tabel bazy danych
• Potok pozyskiwania
• Alert SQL (publiczna wersja zapoznawcza)
• Panele
• Power BI
• Dbt
• platforma dbt (Wersja zapoznawcza)
• JAR
• Spark Submit
• Uruchamianie zadania
• Kod dżina
• Zadania funkcji AI (Beta)
• if/else
• Dla każdego

Sklonuj zadanie

Sklonuj zadania, aby skopiować wszystkie konfiguracje istniejącego zadania, w tym zależności nadrzędne.

Aby sklonować zadanie, wykonaj następujące czynności:

1. Wybierz zadanie na wykresie zadań.
2. Kliknij pozycję .
3. Określ nazwę sklonowanego zadania i kliknij przycisk Klonuj.

Wyłącz zadanie

Wyłącz zadanie, aby pominąć je w czasie wykonywania bez usuwania go z zadania. Zadanie przechowuje jego konfigurację i historię uruchamiania, dzięki czemu można ją ponownie włączyć później bez ponownego kompilowania zadania.

Typowe scenariusze wyłączania zadania obejmują następujące elementy:

• Tymczasowo wykluczając zadanie podczas debugowania problemu nadrzędnego bez utraty ustawień zadania.
• Wstrzymując przerwane zadanie, aby reszta zadania była nadal uruchamiana zgodnie z harmonogramem.
• Utrzymywanie wykresu Acyklicznego (DAG) i historii uruchamiania zadania bez zmian przy podejmowaniu decyzji, czy usunąć zadanie.

Aby wyłączyć zadanie w pracy:

1. Otwórz zadanie i wybierz zadanie na wykresie.
2. Kliknij przycisk Aby wyłączyć zadanie.

Aby ponownie włączyć wyłączone zadanie, wybierz zadanie i kliknij przycisk

Aby pominąć zadanie dla pojedynczego uruchomienia bez zmiany ustawień zadania, lepiej jest użyć polecenia Uruchom zadanie z różnymi ustawieniami.

Aby dowiedzieć się, jak wyłączone zadania wpływają na zadania niższego poziomu, naprawy i częściowe uruchomienia, zobacz Wyłączone zadania w zadaniach Lakeflow.

Usuwanie zadania

Aby usunąć zadanie, wykonaj następujące czynności:

1. Wybierz zadanie na wykresie zadań.
2. Kliknij i wybierz Usuń zadanie.

Aby zachować konfigurację i historię uruchamiania zadania zamiast go usunąć, wyłącz zadanie.

Kopiowanie ścieżki zadania

Niektóre typy zadań, na przykład zadania notesu, umożliwiają skopiowanie ścieżki do kodu źródłowego zadania:

1. Kliknij kartę Zadania .
2. Wybierz zadanie zawierające ścieżkę do skopiowania.
3. Kliknij obok ścieżki zadania, aby skopiować ścieżkę do schowka.

Zaawansowane ustawienia zadań

Następujące zaawansowane ustawienia kontrolują ponawianie prób dla nieudanych zadań i zasad przekroczenia limitu czasu dla nieodpowiadanych zadań.

Ustawianie zasad ponawiania prób

Ustawienie domyślne dla ponownych prób zadania zależy od konfiguracji zadania. W przypadku większości konfiguracji ustawienie domyślne nie ponawia próby wykonania żadnych zadań w przypadku niepowodzenia zadania.

Zadania bezserwerowe są domyślnie automatycznie optymalizowanie ponownych prób. Zobacz Konfigurowanie automatycznej optymalizacji zasobów obliczeniowych bezserwerowych, aby nie zezwalać na ponawianie prób

Zadania ciągłe używają zasad ponawiania wykładniczego wycofywania. Zobacz Obsługa błędów dla zadań ciągłych.

Aby skonfigurować zasady, które określają, kiedy i ile razy nie powiodło się ponowne uruchomienie zadania, kliknij Dodaj obok pozycji Ponawianie prób.

Okres ponawiania prób jest obliczany w milisekundach między rozpoczęciem nieudanego uruchomienia a kolejną próbą ponownego uruchomienia.

Konfigurowanie progów czasu trwania wykonywania zadania lub metryk zaległości w przesyłaniu strumieniowym

Możesz skonfigurować opcjonalne progi dla czasu wykonania zadania lub metryk zaległości strumieniowania. Aby skonfigurować progi czasu trwania lub progi metryk przesyłania strumieniowego, kliknij progi metryk w panelu konfiguracji zadania.

Aby skonfigurować progi czasu trwania zadania, w tym oczekiwane i maksymalne czasy ukończenia zadania, wybierz Czas trwania wykonania w menu rozwijanym Metryka. Wprowadź czas trwania w polu Ostrzeżenie , aby skonfigurować oczekiwany czas ukończenia zadania. Jeśli zadanie przekroczy ten próg, zostanie wyzwolone zdarzenie. Aby skonfigurować maksymalny czas ukończenia zadania, wprowadź maksymalny czas trwania w polu Limit czasu . Jeśli zadanie nie zostanie ukończone w tym czasie, Azure Databricks ustawia jego stan na "Przekroczono limit czasu".

Aby skonfigurować próg dla metryki zaległości przesyłania strumieniowego, wybierz metrykę w menu rozwijanym Metryka i wprowadź wartość progu. Aby dowiedzieć się więcej o określonych metrykach obsługiwanych przez źródło przesyłania strumieniowego, zobacz Wyświetl metryki dla zadań przesyłania strumieniowego.

Jeśli zdarzenie jest wyzwalane z powodu przekroczenia progu, możesz użyć zdarzenia do wysłania powiadomienia. Sprawdź Konfigurację powiadomień dla wolnych zadań.