Parameterisera jobb

Med parametrar kan du skicka värden till ett jobb och dess aktiviteter och referensvärden mellan aktiviteter. Den här artikeln beskriver de parametertyper som är tillgängliga i Lakeflow-jobb och hur du konfigurerar dem i användargränssnittet. Du måste också uppdatera de källkodresurser som du konfigurerar som uppgifter för att referera till parametrar. Parameterreferenser varierar beroende på språk och aktivitetstyp. Se Åtkomstparametervärden från en aktivitet.

Följande är grundläggande begrepp för att förstå parametrar för jobb:

Anteckning

För att överföra deploymentsspecifik konfiguration till applikationskoden som miljövariabler istället för parametrar, använd miljövariabler för serverlösa jobb. Se Konfigurera miljövariabler för serverlösa jobb.

Vad du kan göra med parametrar

Lägg till parametrar i jobb och uppgifter för avancerade användningsfall, inklusive följande:

  • Lägg till utökningsbar logik i kodtillgångar.
  • Anpassa körningar efter villkor.
  • Referera till vanliga parametrar för flera aktiviteter.
  • Använd information som genereras i en aktivitet i en annan aktivitet.
  • Referensmetadata och körningsinformation i jobbet.

Jobbparametrar jämfört med uppgiftsparametrar

Jobbparametrar är nyckel-värdepar som definierats på jobb-nivå. Du kan åsidosätta standardinställningarna för jobbparametrar när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et. Jobbparametrar skickas ned till uppgifter som använder nyckel-värde-parametrar. Andra uppgifter kan referera till jobbparametrar med hjälp av referenser för dynamiskt värde.

Anteckning

Alla användare med CAN MANAGE RUN behörighet eller högre i ett jobb kan åsidosätta jobbparametervärden för en manuell körning med hjälp av Kör nu med olika parametrar. Ett standardparametervärde är inte en säkerhetskontroll. Begränsa jobbets behörigheter för att förhindra ändringar.

Aktivitetsparametrar är nyckel/värde-par eller JSON-matriser som definierats på aktivitetsnivå. Varje aktivitetstyp skickar aktivitetsvärden till de konfigurerade kodtillgångarna på olika sätt. Notebook-uppgifter använder till exempel undermodulen dbutils.widgets , medan Python-skript skickar värden som argument till skriptet som om de anropades från kommandoraden. Underordnade aktiviteter kan referera till aktivitetsparametrar från överordnade aktiviteter med hjälp av referenser för dynamiskt värde. Se Åtkomstparametervärden från en aktivitet.

Anteckning

Vissa aktiviteter har inget dedikerat parameterfält , men tillåter referenser till aktivitetsvärden eller dynamiska värdereferenser i andra fält. Se Exempel på parameteriserade dbt-kommandon och Lägg till förgreningslogik i ett jobb med uppgiften If/else.

Skapa arbetsflöden med dynamiska värden

Uppgiftsparametrar som anges med statiska värden kan bara åsidosättas genom att uppdatera uppgiftsdefinitionen. Att ange ett statiskt värde för en jobbparameter är bara att konfigurera ett standardvärde, som du kan åsidosätta när du kör nu med olika parametrar eller utlösa en jobbkörning med hjälp av REST-API:et.

Använd referenser för dynamiskt värde när du definierar uppgiftsparametrar för att implementera mönster, till exempel följande:

  • Använd en jobbparameter som output_table för en aktivitet och för en input_table annan.
  • Samla in utdata från en notebook-fråga som en lista och iterera över den i en För varje-uppgift.
  • Skapa förgreningslogik baserat på antal poster som bearbetas med hjälp av en om/annars-kontrolluppgift.
  • Referera till parametrar från andra uppgifter.

Se Referenser till dynamiskt värde.

  • Last updated on