Utwórz potok

Ukończone

Wskazówka

Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .

W usłudze Azure Machine Learning potok jest przepływem pracy zadań uczenia maszynowego, w którym każde zadanie jest definiowane jako składnik.

Składniki można rozmieszczać sekwencyjnie lub równolegle, umożliwiając tworzenie zaawansowanej logiki przepływu w celu organizowania operacji uczenia maszynowego. Każdy składnik może być uruchamiany na określonym docelowym obiekcie obliczeniowym, dzięki czemu można połączyć różne typy przetwarzania zgodnie z potrzebami w celu osiągnięcia ogólnego celu.

Potok przetwarzania można uruchomić jako proces, uruchamiając potok przetwarzania jako zadanie potoku przetwarzania. Każdy komponent jest uruchamiany jako zadanie podrzędne w ramach całego zadania potoku.

Zbuduj potok

Potok usługi Azure Machine Learning jest zdefiniowany w pliku YAML. Plik YAML zawiera nazwę zadania potoku, dane wejściowe, dane wyjściowe i ustawienia.

Możesz utworzyć plik YAML lub użyć @pipeline() funkcji do utworzenia pliku YAML.

Jeśli na przykład chcesz utworzyć potok, który najpierw przygotuje dane, a następnie wytrenuje model, możesz użyć następującego kodu:

from azure.ai.ml.dsl import pipeline

@pipeline()
def pipeline_function_name(pipeline_job_input):
    prep_data = loaded_component_prep(input_data=pipeline_job_input)
    train_model = loaded_component_train(training_data=prep_data.outputs.output_data)

    return {
        "pipeline_job_transformed_data": prep_data.outputs.output_data,
        "pipeline_job_trained_model": train_model.outputs.model_output,
    }

Aby przekazać zarejestrowany zasób danych jako dane wejściowe zadania potoku, możesz wywołać utworzoną wcześniej funkcję, przekazując ten zasób danych jako dane wejściowe:

from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes

pipeline_job = pipeline_function_name(
    Input(type=AssetTypes.URI_FILE, 
    path="azureml:data:1"
))

Funkcja @pipeline() tworzy potok składający się z dwóch następujących po sobie etapów, reprezentowanych przez dwa załadowane komponenty.

Aby zrozumieć potok zbudowany w tym przykładzie, zapoznaj się z jego elementami:

  • Potok przetwarzania jest tworzony poprzez zdefiniowanie funkcji pipeline_function_name.
  • Funkcja pipeline’u oczekuje elementu pipeline_job_input jako danych wejściowych dla całego pipeline’u.
  • Pierwszy krok potoku wymaga wartości dla input_data. Potok przekazuje wartość pipeline_job_input.
  • Pierwszy krok potoku jest definiowany przez załadowany składnik dla elementu prep_data.
  • Wartość output_data pierwszego kroku potoku jest używana dla oczekiwanych danych wejściowych training_data drugiego kroku potoku.
  • Drugi krok potoku jest określany przez załadowany komponent dla train_model i skutkuje wytrenowanym modelem określanym jako model_output.
  • Dane wyjściowe potoku są definiowane przez zwracanie zmiennych z funkcji potoku. Istnieją dwa dane wyjściowe:
    • pipeline_job_transformed_data o wartości prep_data.outputs.output_data
    • pipeline_job_trained_model o wartości train_model.outputs.model_output

Schemat struktury potoku obejmujący wszystkie wejścia i wyjścia.

Wynikiem uruchomienia @pipeline() funkcji jest plik YAML, który można przejrzeć, wyświetlając pipeline_job obiekt utworzony podczas wywoływania funkcji:

print(pipeline_job)

Dane wyjściowe używają formatu YAML i zawierają konfigurację potoku i jego składników. W poniższym przykładzie przedstawiono niektóre wygenerowane parametry.

display_name: pipeline_function_name
type: pipeline
inputs:
  pipeline_job_input:
    type: uri_file
    path: azureml:data:1
outputs:
  pipeline_job_transformed_data: null
  pipeline_job_trained_model: null
jobs:
  prep_data:
    type: command
    inputs:
      training_data:
        path: ${{parent.inputs.pipeline_job_input}}
    outputs:
      output_data: ${{parent.outputs.pipeline_job_transformed_data}}
  train_model:
    type: command
    inputs:
      input_data:
        path: ${{parent.outputs.pipeline_job_transformed_data}}
    outputs:
      model_output: ${{parent.outputs.pipeline_job_trained_model}}
tags: {}
properties: {}
settings: {}