Przekształć dane poprzez uruchomienie zadania Databricks

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Aby uzyskać informacje o równoważnym działaniu w usłudze Data Factory w Microsoft Fabric, zobacz działanie Azure Databricks.

Działanie zadania Azure Databricks w pipeline uruchamia zadania usługi Databricks w obszarze roboczym Azure Databricks, w tym zadania bezserwerowe. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania. Azure Databricks to zarządzana platforma do uruchamiania platformy Apache Spark.

Zadanie usługi Databricks można utworzyć bezpośrednio za pomocą interfejsu użytkownika programu Azure Data Factory Studio.

Dodaj aktywność zadania dla Azure Databricks do potoku za pomocą interfejsu użytkownika

Aby użyć działania Zadania dla Azure Databricks w potoku, wykonaj następujące kroki:

  1. Wyszukaj pozycję Zadanie w okienku Działania potoku i przeciągnij działanie Zadanie na kanwę potoku.

  2. Wybierz nowe działanie zadania na kanwie, jeśli nie jest jeszcze wybrane.

  3. Wybierz kartę Azure Databricks aby wybrać lub utworzyć nową połączoną usługę Azure Databricks.

    Uwaga / Notatka

    Działanie zadania Azure Databricks jest uruchamiane automatycznie w klastrach bezserwerowych, więc nie trzeba określać klastra w konfiguracji połączonej usługi. Zamiast tego wybierz opcję Bezserwerowa .

    Zrzut ekranu interfejsu użytkownika dla aktywności zadania z wyróżnioną kartą Azure Databricks.

  4. Wybierz kartę Settings i określ zadanie do wykonania na Azure Databricks, opcjonalne parametry podstawowe, które mają zostać przekazane do zadania, oraz wszystkie inne biblioteki, które mają zostać zainstalowane w klastrze w celu wykonania zadania.

    Zrzut ekranu przedstawiający interfejs użytkownika działania zadania z wyróżnioną kartą Ustawienia.

Definicja działania zadania usługi Databricks

Oto przykładowa definicja JSON aktywności zadania w Databricks.

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Atrybuty aktywności zadania Databricks

W poniższej tabeli opisano właściwości JSON używane w definicji JSON:

Majątek Opis Wymagane
nazwa Nazwa działania w rurociągu. Tak
opis Tekst opisujący działanie. Nie.
typ W przypadku działania zadania usługi Databricks typ działania to DatabricksJob. Tak
nazwaPołączonejUsługi Nazwa połączonej usługi Databricks, na której jest uruchamiane zadanie Databricks. Aby dowiedzieć się więcej o tej połączonej usłudze, zobacz artykuł Dotyczący połączonych usług obliczeniowych . Tak
ID zadania Identyfikator zadania do uruchomienia w Workspace Databricks. Tak
parametry zadania Tablica par klucz-wartość. Parametry zadania mogą być używane przy każdorazowym uruchomieniu zadania. Jeśli zadanie przyjmuje parametr, który nie jest określony, zadanie używa wartości domyślnej. Więcej informacji o parametrach znajdziesz w Databricks Jobs. Nie.

Przekazywanie parametrów między zadaniami i potokami

Parametry można przekazać do zadań przy użyciu właściwości jobParameters w działaniu usługi Databricks.

Uwaga / Notatka

Parametry zadania są obsługiwane tylko w samodzielnie hostowanym IR w wersji 5.52.0.0 lub nowszej.

  • Last updated on