Zadanie notebooka dla prac

Użyj zadania notebooka, aby wdrożyć notebooki Databricks.

Requirements

  • Twój notatnik musi znajdować się w lokalizacji dostępnej dla użytkownika konfigurującego zadanie.

Konfigurowanie zadania notatnika

Uwaga / Notatka

Interfejs użytkownika zadań wyświetla opcje dynamicznie na podstawie innych skonfigurowanych ustawień.

Aby rozpocząć proces konfiguracji zadania Notebook:

  1. Przejdź do karty Zadania w interfejsie użytkownika zadań.
  2. Kliknij ikonę Plus.Dodaj zadanie.
  3. Wprowadź nazwę w polu Nazwa zadania .
  4. W menu rozwijanym Typ wybierz Notebook.

Konfigurowanie źródła

W menu rozwijanym Źródło wybierz lokalizację notesu przy użyciu jednej z następujących opcji.

Workspace

Użyj obszaru roboczego , aby skonfigurować notes przechowywany w obszarze roboczym, wykonując następujące kroki:

  1. Kliknij pole Ścieżka. Pojawi się okno dialogowe Wybierz notes.
  2. Przejdź do notesu, kliknij, aby wyróżnić plik, a następnie kliknij przycisk Potwierdź.

Uwaga / Notatka

Można użyć tej opcji, aby skonfigurować zadanie dla notatnika przechowywanego w folderze Git usługi Databricks. Usługa Databricks zaleca używanie opcji dostawcy Git i zdalnego repozytorium Git do wersjonowania zasobów planowanych do uruchomienia w zadaniach.

Dostawca usługi Git

Użyj dostawcy Git, aby skonfigurować notes w zdalnym repozytorium Git.

Opcje wyświetlane przez interfejs użytkownika zależą od tego, czy dostawca git został już skonfigurowany w innym miejscu. Tylko jedno zdalne repozytorium Git może być używane dla wszystkich zadań w zadaniu. Zobacz Używaj Gita z zadaniami Lakeflow.

Important

Notatniki utworzone przez zadania Lakeflow, które uruchamiane są z repozytoriów zdalnych Git, są efemeryczne i nie można na nich polegać do śledzenia przebiegów MLflow, eksperymentów lub modeli. Podczas tworzenia notesu na podstawie zadania, użyj eksperymentu MLflow z obszaru roboczego (zamiast eksperymentu MLflow z notesu) i wywołaj potrzebne funkcje w notesie obszaru roboczego przed uruchomieniem jakiegokolwiek kodu śledzenia MLflow. Aby uzyskać więcej informacji, zobacz Zapobieganie utracie danych w eksperymentach MLflow.

Pole Ścieżka pojawi się po skonfigurowaniu odniesienia do Git.

Wprowadź ścieżkę względną do swojego notesu, na przykład etl/bronze/ingest.py.

Important

Po wprowadzeniu ścieżki względnej nie zaczynaj od / ani ./. Na przykład, jeśli ścieżka bezwzględna do notesu, do którego chcesz uzyskać dostęp, to /etl/bronze/ingest.py, wprowadź etl/bronze/ingest.py w polu Ścieżka.

Konfigurowanie bibliotek obliczeniowych i zależnych

Uwaga / Notatka

Możesz wybrać magazyn SQL jako środowisko obliczeniowe dla zadania notebooka tylko wtedy, gdy notebook jest napisany w całości w języku SQL, a język SQL jest ustawiony jako jego język domyślny. Jeśli notatnik używa innego języka domyślnego lub zawiera mieszankę języków, wybierz zamiast tego klaster lub inne obsługiwane zasoby obliczeniowe.

  1. Użyj funkcji Compute , aby wybrać lub skonfigurować klaster obsługujący logikę w notesie.
  2. Jeśli używasz mocy obliczeniowej Serverless, zainstaluj biblioteki bezpośrednio w notesie za pomocą okienka Środowisko lub polecenia %pip install. Zobacz Konfigurowanie środowiska bezserwerowego.
  3. Dla wszystkich innych konfiguracji obliczeniowych kliknij ikonę Plus.Dodaj w obszarze Biblioteki zależne. Zostanie wyświetlone okno dialogowe Dodawanie biblioteki zależnej .
    • Możesz wybrać istniejącą bibliotekę lub przekazać nową bibliotekę.
    • Możesz używać jedynie bibliotek przechowywanych w lokalizacjach obsługiwanych przez twoje konfiguracje obliczeniowe. Zobacz Obsługa biblioteki języka Python.
    • Każde Źródło biblioteki ma inny przepływ do wybierania lub ładowania biblioteki. Zobacz Instalowanie bibliotek.

Finalizowanie konfiguracji zadania

  1. (Opcjonalnie) Skonfiguruj parametry jako pary klucz-wartość, do których można uzyskać dostęp w notesie przy użyciu polecenia dbutils.widgets. Zobacz Konfigurowanie parametrów zadania.
  2. (Opcjonalnie) Aby skonfigurować ponawianie prób, progi czasu trwania działania, progi zaległości strumieniowania lub powiadomienia, zobacz Zaawansowane ustawienia zadania.
  3. Kliknij pozycję Zapisz zadanie.

Aby edytować, sklonować, wyłączyć lub usunąć to zadanie, zobacz Konfigurowanie i edytowanie zadań w Lakeflow Jobs.

Przygotowywanie danych wizualnych

Wizualne przygotowanie danych na liście rozwijanej Typ zadania tworzy zadanie notatnika dla pliku wizualnego przygotowania danych. Tworzysz te pliki na wizualnym obszarze roboczym w Lakeflow Designer, który zapisuje każdy z nich jako notatnik o nazwie <name>.designer.ipynb. Aby uruchomić go jako zadanie, dodaj zadanie notatnika i wybierz jego plik .designer.ipynb jako źródło. Zobacz Lakeflow Designer.

Limitations

Łączne dane wyjściowe komórek notesu (połączone dane wyjściowe wszystkich komórek notesu) podlegają limitowi 30 MB. Ponadto dane wyjściowe poszczególnych komórek podlegają limitowi rozmiaru 8 MB. Jeśli łączne dane wyjściowe komórki przekraczają rozmiar 30 MB lub dane wyjściowe pojedynczej komórki są większe niż 8 MB, przebieg zostanie anulowany i oznaczony jako niepowodzenie.

Jeśli potrzebujesz pomocy w znalezieniu komórek w pobliżu lub poza limitem, uruchom notes w klastrze ogólnego przeznaczenia i użyj tej techniki automatycznego zapisywania notesu.

Dodatkowe zasoby

  • Last updated on