Notebook-taak voor opdrachten

Gebruik de notebook-taak om Databricks-notebooks te implementeren.

Requirements

  • Uw notitieblok moet zich op een locatie bevinden die toegankelijk is voor de gebruiker die de taak configureert.

Een notebooktaak configureren

Note

In de gebruikersinterface voor taken worden opties dynamisch weergegeven op basis van andere geconfigureerde instellingen.

Begin het proces om een Notebook-taak te configureren:

  1. Navigeer naar het tabblad Taken in de Jobs-gebruikersinterface.
  2. Klik op pluspictogram.Taak toevoegen.
  3. Voer een naam in het veld Taaknaam in.
  4. Selecteer in het Notebook drop-down menu.

De bron configureren

Selecteer in de vervolgkeuzelijst Bron een locatie voor het notitieblok met behulp van een van de volgende opties.

Workspace

Gebruik Werkruimte om een notebook te configureren dat is opgeslagen in de werkruimte door de volgende stappen uit te voeren:

  1. Klik op het Pad-veld. Het dialoogvenster Selecteer Notitieblok wordt weergegeven.
  2. Blader naar het notitieblok, klik om het bestand te markeren en klik op Bevestigen.

Note

U kunt deze optie gebruiken om een taak te configureren voor een notebook dat is opgeslagen in een Databricks Git-map. Databricks raadt aan om de optie voor de Git-provider en een externe Git-opslagplaats te gebruiken voor het versiebeheer van assets die gepland zijn met taken.

Git-leverancier

Gebruik de Git-provider om een notebook te configureren in een externe Git-opslagplaats.

De opties die door de gebruikersinterface worden weergegeven, zijn afhankelijk van of u al dan niet ergens anders een Git-provider hebt geconfigureerd. Er kan slechts één externe Git-opslagplaats worden gebruikt voor alle taken in een taak. Zie Git gebruiken met Lakeflow-taken.

Belangrijk

Notebooks die zijn gemaakt door Lakeflow-taken die worden uitgevoerd vanuit externe Git-opslagplaatsen, zijn kortstondig en kunnen niet worden gebruikt om MLflow-uitvoeringen, experimenten of modellen bij te houden. Wanneer u een notebook maakt vanuit een taak, gebruikt u een MLflow-werkruimte-experiment (in plaats van een MLflow-notebookexperiment) en roept u mlflow.set_experiment("/path/to/experiment") aan in het werkruimtenotitieblok voordat u enige MLflow-traceringscode uitvoert. Zie Gegevensverlies voorkomen in MLflow-experimenten voor meer informatie.

Het veld Pad wordt weergegeven nadat u een Git-verwijzing hebt geconfigureerd.

Voer het relatieve pad voor uw notitieblok in, zoals etl/bronze/ingest.py.

Belangrijk

Wanneer u het relatieve pad invoert, begint u niet met / of ./. Als het absolute pad voor het notitieblok dat u wilt openen bijvoorbeeld is /etl/bronze/ingest.py, voert etl/bronze/ingest.py u dit in het veld Pad in.

Reken- en afhankelijke bibliotheken configureren

Note

U kunt een SQL Warehouse alleen selecteren als rekenproces voor een notebooktaak wanneer het notebook volledig in SQL is geschreven en SQL is ingesteld als de standaardtaal. Als het notebook een andere standaardtaal gebruikt of talen combineert, selecteert u in plaats daarvan een cluster of een andere ondersteunde berekening.

  1. Gebruik Compute om een cluster te selecteren of te configureren dat ondersteuning biedt voor de logica in uw notebook.
  2. Als u Serverless compute gebruikt, installeert u bibliotheken rechtstreeks in het notebook via het deelvenster Omgeving of via %pip install. Zie De serverloze omgeving configureren.
  3. Klik voor alle andere rekenconfiguraties op pluspictogram.Toevoegen onder Afhankelijke bibliotheken. Het dialoogvenster Afhankelijke bibliotheek toevoegen wordt weergegeven.
    • U kunt een bestaande bibliotheek selecteren of een nieuwe bibliotheek uploaden.
    • U kunt alleen bibliotheken gebruiken die zijn opgeslagen op een locatie die wordt ondersteund door uw rekenconfiguraties. Zie ondersteuning voor Python-bibliotheken.
    • Elke bibliotheekbron heeft een andere stroom voor het selecteren of uploaden van een bibliotheek. Zie Bibliotheken installeren.

Taakconfiguratie voltooien

  1. (Optioneel) Configureer parameters als sleutel-waardeparen die kunnen worden geopend in het notebook met behulp van dbutils.widgets. Raadpleeg Taakparameters configureren.
  2. (Optioneel) Zie Geavanceerde taakinstellingen als u nieuwe pogingen, runtime- of streamingachterstandsdrempels of meldingen wilt configureren.
  3. Klik op Taak opslaan.

Als u deze taak wilt bewerken, klonen, uitschakelen of verwijderen, zie Taken configureren en bewerken in Lakeflow Jobs.

Visuele gegevensvoorbereiding

Visuele gegevensvoorbereiding in de vervolgkeuzelijst voor de taak Type maakt een notebooktaak voor een bestand voor visuele gegevensvoorbereiding. U bouwt deze bestanden op een visueel canvas in Lakeflow Designer, waarmee elk bestand wordt opgeslagen als een notitieblok met de naam <name>.designer.ipynb. Als u een taak wilt uitvoeren, voegt u een notebooktaak toe en selecteert u het .designer.ipynb bestand als bron. Zie Lakeflow Designer.

Limitations

De totale uitvoer van notebookcellen (de gecombineerde uitvoer van alle notebookcellen) is onderhevig aan een maximale grootte van 30 MB. Daarnaast is de uitvoer van afzonderlijke cellen onderworpen aan een maximale grootte van 8 MB. Als de totale celuitvoer groter is dan 30 MB, of als de uitvoer van een afzonderlijke cel groter is dan 8 MB, wordt de uitvoering geannuleerd en gemarkeerd als mislukt.

Als u hulp nodig hebt bij het vinden van cellen die zich in de buurt van of buiten de limiet bevinden, voert u het notebook uit op een universele cluster en gebruikt u deze notebook autosave-techniek.

Aanvullende bronnen

  • Last updated on