Planowanie zadań importowania danych (wersja zapoznawcza)

• Zainstaluj Azure CLI i rozszerzenie ml. Wykonaj kroki instalacji opisane w temacie Instalowanie, konfigurowanie i używanie interfejsu wiersza polecenia (wersja 2).

• Utwórz obszar roboczy usługi Azure Machine Learning, jeśli go nie masz. Aby uzyskać informacje na temat tworzenia obszaru roboczego, zobacz Instalowanie, konfigurowanie i używanie interfejsu wiersza polecenia (wersja 2).

• Utwórz obszar roboczy usługi Azure Machine Learning, jeśli go nie masz.
• Zestaw Azure Machine Learning SDK w wersji 2 dla języka Python.

• Obszar roboczy usługi Azure Machine Learning. Zobacz Tworzenie zasobów obszaru roboczego.
• Omówienie potoków usługi Azure Machine Learning. Zobacz, czym są pipeline'y uczenia maszynowego i jak utworzyć zadanie potoku w CLI v2 lub zestawie SDK v2.

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

YAML: Planowanie importowania danych ze wzorcem cyklu

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Planowanie wbudowanej definicji importowania danych ze wzorcem cyklu w zarządzanym magazynie danych

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Obiekt trigger zawiera następujące właściwości:

• (Wymagane)type określa typ harmonogramu lub recurrencecron. Poniższa sekcja zawiera więcej informacji.

Następnie uruchom to polecenie w interfejsie wiersza polecenia:

> az ml schedule create -f <file-name>.yml

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger zawiera następujące właściwości:

• (Wymagane) Aby uzyskać lepsze doświadczenie w kodowaniu, użyj RecurrenceTrigger harmonogramu powtarzania.

Gdy importowanie danych ma zadowalającą wydajność i dane wyjściowe, możesz skonfigurować harmonogram automatycznego wyzwalania tego importu.

1. Przejdź do usługi Azure Machine Learning Studio

2. W obszarze Zasoby w obszarze nawigacji po lewej stronie wybierz pozycję Dane. Na karcie Importowanie danych wybierz zaimportowany zasób danych, do którego chcesz dołączyć harmonogram. Powinna zostać wyświetlona Historia zadań importu, jak pokazano na tym zrzucie ekranu:

   

3. Na stronie Historii Importu Zadań wybierz najnowszy hiperlink Import job name, aby otworzyć stronę szczegółów zadania przetwarzania, jak pokazano na tym zrzucie ekranu:

   

4. Na stronie szczegółów zadania potoku dla dowolnego importu danych wybierz pozycję Harmonogram ->Utwórz nowy harmonogram, co otworzy kreatora harmonogramu, jak pokazano na poniższym zrzucie ekranu:

   

5. Ustawienia podstawowe kreatora tworzenia harmonogramu mają właściwości pokazane na tym zrzucie ekranu:

   

• Nazwa: unikatowy identyfikator harmonogramu w obszarze roboczym.

• Opis: opis harmonogramu.

• Wyzwalacz: wzorzec powtarzania harmonogramu, który obejmuje następujące właściwości:

  • Strefa czasowa: obliczenie czasu wyzwalacza jest oparte na tej strefie czasowej; (UTC) Uniwersalny czas koordynowany domyślnie.
  • Powtarzalność lub Wyrażenie Cron: wybierz powtarzalność, aby określić wzorzec cykliczny. W obszarze Cykl można określić częstotliwość cyklu — według minut, godzin, dni, tygodni lub miesięcy.
  • Początek: harmonogram najpierw staje się aktywny w tej dacie. Domyślnie data utworzenia tego harmonogramu.
  • Koniec: harmonogram stanie się nieaktywny po tej dacie. Domyślnie jest to NONE, co oznacza, że harmonogram pozostaje aktywny do momentu ręcznego wyłączenia go.
  • Tagi: wybrane tagi harmonogramu.

  Po skonfigurowaniu ustawień podstawowych możesz wybrać pozycję Przejrzyj i utwórz, a harmonogram automatycznie prześle import danych na podstawie określonego wzorca cyklu. Możesz także wybrać opcję Dalej i przejść przez kreatora, aby wybrać lub zaktualizować parametry importowania danych.

YAML: Planowanie importowania danych za pomocą wyrażenia cron

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

YAML: Planowanie importowania danych za pomocą wyrażenia cron (wersja zapoznawcza)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Harmonogram definicji importu danych w linii z wyrażeniem cron (wersja zapoznawcza)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Sekcja trigger definiuje szczegóły harmonogramu i zawiera następujące właściwości:

• (Wymagane)type określa cron typ harmonogramu.

> az ml schedule create -f <file-name>.yml

Lista będzie kontynuowana tutaj:

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Sekcja CronTrigger definiuje szczegóły harmonogramu i zawiera następujące właściwości:

• (Wymagane) Aby uzyskać lepsze doświadczenie w kodowaniu, użyj CronTrigger harmonogramu powtarzania.

Lista będzie kontynuowana tutaj:

Gdy importowanie danych ma zadowalającą wydajność i dane wyjściowe, możesz skonfigurować harmonogram automatycznego wyzwalania tego importu.

1. Przejdź do usługi Azure Machine Learning Studio

2. W obszarze Zasoby w obszarze nawigacji po lewej stronie wybierz pozycję Dane. Na karcie Importowanie danych wybierz zaimportowany zasób danych, do którego chcesz dołączyć harmonogram. Powinna zostać wyświetlona Historia zadań importu, jak pokazano na tym zrzucie ekranu:

   

3. Na stronie Historii Importu Zadań wybierz najnowszy hiperlink Import job name, aby otworzyć stronę szczegółów zadania przetwarzania, jak pokazano na tym zrzucie ekranu:

   

4. Na stronie szczegółów zadania potoku dla dowolnego importu danych wybierz pozycję Harmonogram ->Utwórz nowy harmonogram, co otworzy kreatora harmonogramu, jak pokazano na poniższym zrzucie ekranu:

   

5. Ustawienia podstawowe kreatora tworzenia harmonogramu mają właściwości pokazane na tym zrzucie ekranu:

   

• Nazwa: unikatowy identyfikator harmonogramu w obszarze roboczym.

• Opis: opis harmonogramu.

• Wyzwalacz: wzorzec powtarzania harmonogramu, który obejmuje następujące właściwości:

  • Strefa czasowa: obliczenie czasu wyzwalacza jest oparte na tej strefie czasowej; (UTC) Uniwersalny czas koordynowany domyślnie.
  • Powtarzalność lub Wyrażenie Cron: wybierz powtarzalność, aby określić wzorzec cykliczny. Za pomocą wyrażenia Cron można określić bardziej elastyczny i dostosowany wzorzec cyklu.
  • Początek: harmonogram najpierw staje się aktywny w tej dacie. Domyślnie data utworzenia tego harmonogramu.
  • Koniec: harmonogram stanie się nieaktywny po tej dacie. Domyślnie jest to NONE, co oznacza, że harmonogram pozostaje aktywny do momentu ręcznego wyłączenia go.
  • Tagi: wybrane tagi harmonogramu.

  Po skonfigurowaniu ustawień podstawowych możesz wybrać pozycję Przejrzyj i utwórz, a harmonogram automatycznie prześle import danych na podstawie określonego wzorca cyklu. Możesz także wybrać opcję Dalej i przejść przez kreatora, aby wybrać lub zaktualizować parametry importowania danych.

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule list

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

W portalu Studio w sekcji Zadania wybierz kartę Wszystkie harmonogramy. Ta karta pokazuje wszystkie harmonogramy zadań utworzone przez SDK/CLI/Interfejs użytkownika, przedstawione na jednej liście. Na liście harmonogramów masz przegląd wszystkich harmonogramów w tym obszarze roboczym, jak pokazano na poniższym zrzucie ekranu:

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule show -n simple_cron_data_import_schedule

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Możesz wybrać nazwę harmonogramu, aby wyświetlić stronę szczegółów harmonogramu. Strona szczegółów harmonogramu zawiera następujące karty, jak pokazano na tym zrzucie ekranu:

• Omówienie: podstawowe informacje dotyczące określonego harmonogramu.

  

• Definicja zadania: określa zadanie, które wyzwala dany harmonogram, jak pokazano na tym zrzucie ekranu.

  

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Aktualizowanie definicji importu danych do istniejącego harmonogramu

Aby zmienić częstotliwość importowania lub utworzyć nowe skojarzenie dla zadania importu danych, możesz zaktualizować definicję importu istniejącego harmonogramu.

1. Przejdź do usługi Azure Machine Learning Studio

2. W obszarze Zasoby w obszarze nawigacji po lewej stronie wybierz pozycję Dane. Na karcie Importowanie danych wybierz zaimportowany zasób danych, do którego chcesz dołączyć harmonogram. Powinna zostać wyświetlona Historia zadań importu, jak pokazano na tym zrzucie ekranu:

   

3. Na stronie Historia importu zadań wybierz najnowszy link Import job name, aby otworzyć stronę szczegółów pracy pipelines, jak pokazano na tym zrzucie ekranu:

   

4. Na szczegółowej stronie zadania w potoku dowolnego importu danych wybierz pozycję Harmonogram —>Zaktualizowano istniejący harmonogram, aby otworzyć kreatora Wybierz harmonogram, jak pokazano na poniższym zrzucie ekranu:

   

5. Wybierz istniejący harmonogram z listy, jak pokazano na poniższym zrzucie ekranu:

   

   Ważne

   Upewnij się, że wybrano prawidłowy harmonogram aktualizacji. Po zakończeniu aktualizacji harmonogram wyzwoli różne importy danych.

6. Możesz również zmodyfikować źródło, zapytanie i zmienić ścieżkę docelową, aby w przyszłości importować dane wyzwalane przez harmonogram.

7. Wybierz pozycję Przejrzyj i aktualizuj , aby zakończyć proces aktualizacji. Ukończona aktualizacja spowoduje wysłanie powiadomienia.

8. Nową definicję importu danych można wyświetlić na stronie szczegółów harmonogramu po zakończeniu aktualizacji.

Aktualizacja szczegółów harmonogramu na stronie

Na stronie szczegółów harmonogramu możesz wybrać pozycję Aktualizuj ustawienia , aby zaktualizować ustawienia podstawowe i zaawansowane, w tym ustawienia wejściowe/wyjściowe zadania i ustawienia środowiska uruchomieniowego harmonogramu, jak pokazano na poniższym zrzucie ekranu:

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Bieżący harmonogram można wyłączyć na stronie szczegółów harmonogramu. Harmonogramy można również wyłączyć na karcie Wszystkie harmonogramy .

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Na stronie szczegółów harmonogramu możesz włączyć bieżący harmonogram. Harmonogramy można również włączyć na karcie Wszystkie harmonogramy .

DOTYCZY: Rozszerzenie Azure CLI ml v2 (bieżąca)

az ml schedule delete -n simple_cron_data_import_schedule

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Harmonogram można usunąć ze strony szczegółów harmonogramu lub na karcie Wszystkie harmonogramy.