Utwórz potok
Wskazówka
Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .
W usłudze Azure Machine Learning potok jest przepływem pracy zadań uczenia maszynowego, w którym każde zadanie jest definiowane jako składnik.
Składniki można rozmieszczać sekwencyjnie lub równolegle, umożliwiając tworzenie zaawansowanej logiki przepływu w celu organizowania operacji uczenia maszynowego. Każdy składnik może być uruchamiany na określonym docelowym obiekcie obliczeniowym, dzięki czemu można połączyć różne typy przetwarzania zgodnie z potrzebami w celu osiągnięcia ogólnego celu.
Potok przetwarzania można uruchomić jako proces, uruchamiając potok przetwarzania jako zadanie potoku przetwarzania. Każdy komponent jest uruchamiany jako zadanie podrzędne w ramach całego zadania potoku.
Zbuduj potok
Potok usługi Azure Machine Learning jest zdefiniowany w pliku YAML. Plik YAML zawiera nazwę zadania potoku, dane wejściowe, dane wyjściowe i ustawienia.
Możesz utworzyć plik YAML lub użyć @pipeline() funkcji do utworzenia pliku YAML.
Wskazówka
Zapoznaj się z dokumentacją referencyjną dla @pipeline()funkcji.
Jeśli na przykład chcesz utworzyć potok, który najpierw przygotuje dane, a następnie wytrenuje model, możesz użyć następującego kodu:
from azure.ai.ml.dsl import pipeline
@pipeline()
def pipeline_function_name(pipeline_job_input):
prep_data = loaded_component_prep(input_data=pipeline_job_input)
train_model = loaded_component_train(training_data=prep_data.outputs.output_data)
return {
"pipeline_job_transformed_data": prep_data.outputs.output_data,
"pipeline_job_trained_model": train_model.outputs.model_output,
}
Aby przekazać zarejestrowany zasób danych jako dane wejściowe zadania potoku, możesz wywołać utworzoną wcześniej funkcję, przekazując ten zasób danych jako dane wejściowe:
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
pipeline_job = pipeline_function_name(
Input(type=AssetTypes.URI_FILE,
path="azureml:data:1"
))
Funkcja @pipeline() tworzy potok składający się z dwóch następujących po sobie etapów, reprezentowanych przez dwa załadowane komponenty.
Aby zrozumieć potok zbudowany w tym przykładzie, zapoznaj się z jego elementami:
- Potok przetwarzania jest tworzony poprzez zdefiniowanie funkcji
pipeline_function_name. - Funkcja pipeline’u oczekuje elementu
pipeline_job_inputjako danych wejściowych dla całego pipeline’u. - Pierwszy krok potoku wymaga wartości dla
input_data. Potok przekazuje wartośćpipeline_job_input. - Pierwszy krok potoku jest definiowany przez załadowany składnik dla elementu
prep_data. - Wartość
output_datapierwszego kroku potoku jest używana dla oczekiwanych danych wejściowychtraining_datadrugiego kroku potoku. - Drugi krok potoku jest określany przez załadowany komponent dla
train_modeli skutkuje wytrenowanym modelem określanym jakomodel_output. - Dane wyjściowe potoku są definiowane przez zwracanie zmiennych z funkcji potoku.
Istnieją dwa dane wyjściowe:
-
pipeline_job_transformed_datao wartościprep_data.outputs.output_data -
pipeline_job_trained_modelo wartościtrain_model.outputs.model_output
-
Wynikiem uruchomienia @pipeline() funkcji jest plik YAML, który można przejrzeć, wyświetlając pipeline_job obiekt utworzony podczas wywoływania funkcji:
print(pipeline_job)
Dane wyjściowe używają formatu YAML i zawierają konfigurację potoku i jego składników. W poniższym przykładzie przedstawiono niektóre wygenerowane parametry.
display_name: pipeline_function_name
type: pipeline
inputs:
pipeline_job_input:
type: uri_file
path: azureml:data:1
outputs:
pipeline_job_transformed_data: null
pipeline_job_trained_model: null
jobs:
prep_data:
type: command
inputs:
training_data:
path: ${{parent.inputs.pipeline_job_input}}
outputs:
output_data: ${{parent.outputs.pipeline_job_transformed_data}}
train_model:
type: command
inputs:
input_data:
path: ${{parent.outputs.pipeline_job_transformed_data}}
outputs:
model_output: ${{parent.outputs.pipeline_job_trained_model}}
tags: {}
properties: {}
settings: {}