什麼是 Azure Machine Learning 管線?

適用於:Azure CLI ml 延伸模組 v2 (目前)Python SDK azure-ai-ml v2 (目前)

Azure Machine Learning 管線是將完整機器學習工作自動化的工作流程。 它標準化了最佳實踐,支持團隊協作,並提高了效率。

為什麼需要 Azure Machine Learning 管線?

管線會將機器學習任務拆分成多個步驟。 每個步驟都是可管理的組件,你可以分別開發和自動化。 Azure Machine Learning 會管理步驟之間的相依性。 這種模組化方法標準化了 MLOps,支持團隊協作,提升訓練效率,並降低成本。

將 MLOps 實務標準化並支援可調整的小組共同作業

MLOps 可自動建置和部署模型。 管道透過將每個步驟映射到特定任務來簡化此過程,因此團隊可以獨立工作。

例如,專案可能包括資料收集、準備、訓練、評估和部署。 資料工程師、科學家和 ML 工程師各自擁有自己的步驟。 步驟最好建置為 元件,然後整合到單一工作流程中。 管線可以透過 DevOps 實務進行版本控制、自動化和標準化。

訓練效率與成本降低

管道還可以提高效率並降低成本。 它們會重複使用未變更步驟的輸出,並可讓您在工作的最佳運算資源上執行每個步驟。

開始使用最佳實務

您可以透過數種方式建置管線,視您的起點而定。

如果您是管線的新手,請先將現有程式碼分割成步驟、參數化輸入,並將所有內容包裝成管線。

若要擴展,請針對常見問題使用管線範本。 團隊建立範本分支,處理指派的步驟,並視需要僅更新自己負責的部分。

借助可重複使用的管道和組件,團隊可以通過克隆或組合現有部分來快速創建新的工作流程。

您可以使用 CLI、 Python SDK 或 設計工具 UI 來建置管線。

我應該使用哪一種 Azure 管線技術?

Azure 提供數種類型的管線,以供不同的用途使用:

情境 主要角色 Azure 供應項目 OSS 供應項目 標準管道 優勢
模型編排(機器學習) 資料科學家 Azure Machine Learning 管線 Kubeflow 管線 資料 -> 模型 散佈、快取、程式碼優先、重用
資料協調流程 (資料準備) 資料工程師 Azure Data Factory 管線 Apache Airflow 資料 -> 資料 強型別移動、以資料為中心的活動
程式碼與應用程式協調 (CI/CD) 應用程式開發人員 / 維運 Azure Pipelines Jenkins 程式碼 + 模型 -> 應用程式/服務 最開放且彈性的活動支援、核准佇列、具備閘道的階段

下一步

Azure Machine Learning 管線從開發開始就新增價值。