Anteckningsboksuppgift för arbete

Använd anteckningsboksuppgiften för att distribuera Databricks-anteckningsböcker.

Requirements

  • Anteckningsboken måste finnas på en plats som är tillgänglig för användaren som konfigurerar jobbet.

Konfigurera en datoranteckningsuppgift

Note

Användargränssnittet för jobb visar alternativ dynamiskt baserat på andra konfigurerade inställningar.

Så här startar du flödet för att konfigurera en Notebook uppgift:

  1. Gå till fliken Uppgifter i användargränssnittet för jobb.
  2. Klicka på Plus-ikonen.Lägg till uppgift.
  3. Ange ett namn i fältet Aktivitetsnamn .
  4. I listrutan Typ väljer du Notebook.

Konfigurera källan

I listrutan Källa väljer du en plats för anteckningsboken med något av följande alternativ.

Workspace

Använd Arbetsyta för att konfigurera en notebook-fil som lagras på arbetsytan genom att utföra följande steg:

  1. Klicka på fältet Sökväg. Dialogrutan Välj anteckningsbok visas.
  2. Bläddra till anteckningsboken, klicka för att markera filen och klicka på Bekräfta.

Note

Du kan använda det här alternativet för att konfigurera en uppgift för en notebook som lagras i en Git-mapp i Databricks. Databricks rekommenderar att du använder alternativet Git-provider och en fjärransluten Git-lagringsplats för versionshantering av tillgångar som schemalagts med jobb.

Git-leverantör

Använd Git-providern för att konfigurera en notebook i ett fjärr-Git-repositorium.

Vilka alternativ som visas i användargränssnittet beror på om du redan har konfigurerat en Git-provider någon annanstans. Endast en fjärransluten Git-lagringsplats kan användas för alla uppgifter i ett jobb. Se Använda Git med Lakeflow-jobb.

Important

Notebook-filer som skapats av Lakeflow-jobb som körs från fjärranslutna Git-lagringsplatser är tillfälliga och kan inte användas för att spåra MLflow-körningar, experiment eller modeller. När du skapar en anteckningsbok från ett jobb använder du ett MLflow-experiment för arbetsytan (i stället för ett MLflow-experiment för anteckningsböcker) och anropar mlflow.set_experiment("/path/to/experiment") i anteckningsboken för arbetsytan innan du kör MLflow-spårningskod. Mer information finns i Förhindra dataförlust i MLflow-experiment.

Fältet Sökväg visas när du har konfigurerat en git-referens.

Ange den relativa sökvägen för din notebook, till exempel etl/bronze/ingest.py.

Important

När du anger den relativa sökvägen ska du inte börja med / eller ./. Om den absoluta sökvägen för anteckningsboken som du vill komma åt till exempel är /etl/bronze/ingest.pyanger du etl/bronze/ingest.py i fältet Sökväg .

Konfigurera beräkningsbibliotek och beroende bibliotek

Note

Du kan bara välja ett SQL-lager som beräkning för en notebook-uppgift när notebook-filen skrivs helt i SQL och SQL har angetts som standardspråk. Om notebook-filen använder ett annat standardspråk eller blandar språk väljer du ett kluster eller annan beräkning som stöds i stället.

  1. Använd Compute för att välja eller konfigurera ett kluster som stöder den logik i notebooken.
  2. Om du använder Serverless beräkningsresurser installerar du bibliotek direkt i notebooken, med hjälp av panelen Miljö eller med %pip install. Se Konfigurera den serverlösa miljön.
  3. För alla andra beräkningskonfigurationer klickar du på plusikonen.Lägg till under Beroende bibliotek. Dialogrutan Lägg till beroende bibliotek visas.
    • Du kan välja ett befintligt bibliotek eller ladda upp ett nytt bibliotek.
    • Du kan bara använda bibliotek som lagras på en plats som stöds av dina beräkningskonfigurationer. Se Python biblioteksstöd.
    • Varje bibliotekskälla har ett annat flöde för att välja eller ladda upp ett bibliotek. Se Installera bibliotek.

Slutför jobbkonfigurationen

  1. (Valfritt) Konfigurera parametrar som nyckel-värdepar som kan nås i notebook med hjälp av dbutils.widgets. Se Konfigurera aktivitetsparametrar.
  2. (Valfritt) Information om hur du konfigurerar återförsök, tröskelvärden för körning eller kvarvarande strömningsuppgifter eller meddelanden finns i Avancerade aktivitetsinställningar.
  3. Klicka på Spara uppgift.

Information om hur du redigerar, klonar, inaktiverar eller tar bort den här uppgiften finns i Konfigurera och redigera uppgifter i Lakeflow-jobb.

Förberedelse av visuella data

Visuell dataförberedelse i listrutan Aktivitetstyp skapar en notebook-uppgift för en visuell dataförberedelsefil. Du skapar dessa filer på en visuell arbetsyta i Lakeflow Designer, vilket sparar var och en som en notebook-fil med namnet <name>.designer.ipynb. Om du vill köra en som ett jobb lägger du till en notebook-uppgift och väljer dess .designer.ipynb fil som källa. Se Lakeflow Designer.

Limitations

Totalt antal notebook-cellutdata (de kombinerade utdata från alla notebook-celler) omfattas av en storleksgräns på 30 MB. Dessutom omfattas enskilda cellutdata av en storleksgräns på 8 MB. Om den totala cellutdatan överskrider 30 MB i storlek, eller om utdata från en enskild cell är större än 8 MB, avbryts körningen och markeras som misslyckad.

Om du behöver hjälp med att hitta celler nära eller utanför gränsen kör du notebook-filen mot ett universellt kluster och använder denna teknik för automatisk lagring av notebook-filer.

Ytterligare resurser

  • Last updated on