Vad är Azure Machine Learning-pipelines?

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

En Azure Machine Learning-pipeline är ett arbetsflöde som automatiserar en fullständig maskininlärningsuppgift. Den standardiserar bästa praxis, stöder teamsamarbete och förbättrar effektiviteten.

Varför behövs Azure Machine Learning-pipelines?

En pipeline delar upp en maskininlärningsuppgift i steg. Varje steg är en hanterbar komponent som kan utvecklas och automatiseras separat. Azure Machine Learning hanterar beroenden mellan steg. Den här modulära metoden:

Standardisera MLOps-metoden och stödja skalbart teamsamarbete

MLOps automatiserar skapandet och distributionen av modeller. Pipelines förenklar den här processen genom att mappa varje steg till en specifik uppgift, så att team kan arbeta oberoende av varandra.

Ett projekt kan till exempel innehålla datainsamling, förberedelse, träning, utvärdering och distribution. Dataingenjörer, forskare och ML-ingenjörer ansvarar var och en för sina steg. Steg skapas bäst som komponenter och integreras sedan i ett enda arbetsflöde. Pipelines kan versionshanteras, automatiseras och standardiseras av DevOps-metoder.

Utbildningseffektivitet och kostnadsminskning

Pipelines förbättrar också effektiviteten och minskar kostnaderna. De återanvänder utdata från oförändrade steg och låter dig köra varje steg på den bästa beräkningsresursen för uppgiften.

Metodtips för att komma igång

Du kan skapa en pipeline på flera sätt, beroende på din startpunkt.

Om du är nybörjare på pipelines börjar du med att dela upp befintlig kod i steg, parametrisera indata och omsluta allt i en pipeline.

Om du vill skala använder du pipelinemallar för vanliga problem. Teams förgrenar en mall, arbetar med tilldelade steg och uppdaterar endast sin del efter behov.

Med återanvändbara pipelines och komponenter kan team snabbt skapa nya arbetsflöden genom att klona eller kombinera befintliga delar.

Du kan skapa pipelines med hjälp av användargränssnittetför CLI, Python SDK eller Designer.

Vilken Azure-pipelineteknik ska jag använda?

Azure tillhandahåller flera typer av pipelines i olika syften:

Scenarium Primär persona Azure-erbjudande OSS-erbjudande Kanoniskt rör Styrkor
Modellorkestrering (Maskininlärning) Datavetare Azure Machine Learning-pipelines Kubeflow-pipelines Data –> modell Distribution, caching, kodbaserad, återanvändning
Dataorkestrering (dataförberedelse) Datatekniker Azure Data Factory-pipelines Apache Airflow Data –> data Starkt typad rörelse, datacentrerade aktiviteter
Orkestrering av kod och appar (CI/CD) Apputvecklare/ops Azure-pipelines Jenkins Kod + modell –> App/Service Mest öppet och flexibelt stöd för aktiviteter, godkännandeköer, faser med beslutspunkter

Nästa steg

Azure Machine Learning-pipelines lägger till värde från början av utvecklingen.