Gegevens transformeren door een Databricks-taak uit te voeren

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Aanbeveling

Voor de equivalente activiteit in Data Factory in Microsoft Fabric, zie Azure Databricks-activiteit.

De Azure Databricks taakactiviteit in een pipeline voert Databricks-taken uit in uw Azure Databricks werkruimte, inclusief serverloze taken. Dit artikel is gebaseerd op het artikel over activiteiten voor gegevenstransformatie , waarin een algemeen overzicht wordt weergegeven van de gegevenstransformatie en de ondersteunde transformatieactiviteiten. Azure Databricks is een beheerd platform voor het uitvoeren van Apache Spark.

U kunt een Databricks-taak rechtstreeks maken via de gebruikersinterface van Azure Data Factory Studio.

Een taak voor Azure Databricks toevoegen aan een pijplijn met UI

Voer de volgende stappen uit om een taakactiviteit te gebruiken voor Azure Databricks in een pijplijn:

  1. Zoek naar Job in het deelvenster Pijplijnactiviteiten en sleep een taakactiviteit naar het pijplijncanvas.

  2. Selecteer de nieuwe taakactiviteit op het canvas als deze nog niet is geselecteerd.

  3. Selecteer het tabblad Azure Databricks om een nieuwe Azure Databricks gekoppelde service te selecteren of te maken.

    Opmerking

    De Azure Databricks taakactiviteit wordt automatisch uitgevoerd op serverloze clusters, dus u hoeft geen cluster op te geven in de configuratie van de gekoppelde service. Kies in plaats daarvan de optie Serverloos .

    Schermopname van de gebruikersinterface voor een taakactiviteit, met het tabblad Azure Databricks gemarkeerd.

  4. Selecteer het tabblad Settings en geef de taak op die moet worden uitgevoerd op Azure Databricks, optionele basisparameters die moeten worden doorgegeven aan de taak en eventuele andere bibliotheken die op het cluster moeten worden geïnstalleerd om de taak uit te voeren.

    Schermopname van de gebruikersinterface voor een taakactiviteit, met het tabblad Instellingen gemarkeerd.

Definitie van Databricks-taakactiviteit

Hier volgt de voorbeeld-JSON-definitie van een Databricks-taakactiviteit:

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Activiteitseigenschappen van Databricks-taak

In de volgende tabel worden de JSON-eigenschappen beschreven die worden gebruikt in de JSON-definitie:

Vastgoed Beschrijving Verplicht
naam Naam van de activiteit in de pijplijn. Ja
beschrijving Tekst die beschrijft wat de activiteit doet. Nee.
soort Voor Databricks-taakactiviteit is het activiteitstype DatabricksJob. Ja
naam van gekoppelde service Naam van de gekoppelde Databricks-service waarop de Databricks-taak wordt uitgevoerd. Raadpleeg het artikel Gekoppelde services voor computeren om meer te leren over deze gekoppelde service. Ja
jobId De id van de taak die moet worden uitgevoerd in de Databricks-werkruimte. Ja
werkparameters Een matrix van sleutel-waardeparen. Taakparameters kunnen worden gebruikt voor elke uitvoering van activiteit. Als de taak een parameter neemt die niet is gespecificeerd, gebruikt de taak de standaardwaarde. Voor meer informatie over parameters, zie Databricks Jobs. Nee.

Parameters doorgeven tussen jobs en pijplijnen

U kunt parameters doorgeven aan taken met behulp van de eigenschap jobParameters in databricks-activiteit.

Opmerking

Taakparameters worden alleen ondersteund in de zelfgehoste IR-versie 5.52.0.0 of hoger.

  • Last updated on