Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo articolo illustra come perfezionare e distribuire un carico di lavoro di inferenza per un modello di linguaggio nel servizio Azure Kubernetes con il componente aggiuntivo Operatore toolchain IA. Si apprenderà come eseguire le attività seguenti:
- Imposta le variabili di ambiente per specificare i dettagli di Registro Azure Container (ACR) e del repository.
- Creare il segreto push/pull dell'immagine del Registro Container per archiviare e recuperare immagini dell'adattatore di ottimizzazione private.
- Selezionare un modello supportato e ottimizzarlo in base ai dati.
- Testare l'endpoint del servizio di inferenza.
- Pulire le risorse.
L'operatore toolchain di intelligenza artificiale (KAITO) è un componente aggiuntivo gestito per il servizio Azure Kubernetes che semplifica la distribuzione e le operazioni per i modelli di intelligenza artificiale nei cluster del servizio Azure Kubernetes. È possibile usare il componente aggiuntivo gestito del servizio Azure Kubernetes per ottimizzare i modelli di base supportati con nuovi dati e migliorare l'accuratezza dei modelli di intelligenza artificiale. Per altre informazioni sui metodi di ottimizzazione efficiente dei parametri e sui relativi casi d'uso, vedere Concetti - Ottimizzazione dei modelli linguistici per intelligenza artificiale e flussi di lavoro di Machine Learning nel servizio Azure Kubernetes.
Operazioni preliminari
- Questo articolo presuppone che si disponga già di un cluster AKS. Se non si ha un cluster, crearne uno usando l'interfaccia della riga di comando di Azure, Azure PowerShello il portale di Azure.
- interfaccia della riga di comando di Azure versione 2.47.0 o successiva installata e configurata. Eseguire
az --versionper trovare la versione. Se è necessario eseguire l'installazione o l'aggiornamento, vedere Installare l'interfaccia della riga di comando di Azure.
Prerequisiti
- Il client da riga di comando di Kubernetes, kubectl, installato e configurato. Per altre informazioni, vedere Installare kubectl.
- Configurare l'integrazione di Registro Azure Container (ACR) di un'istanza di ACR nuova o esistente con il cluster AKS.
- Installare il componente aggiuntivo Operatore toolchain IA nel cluster del servizio Azure Kubernetes.
- Se hai già installato il componente aggiuntivo dell'operatore della toolchain di IA, aggiorna il cluster AKS alla versione più recente e assicurati che il flag della funzionalità del componente aggiuntivo dell'operatore della toolchain di IA sia abilitato.
Esportare variabili di ambiente
Per semplificare i passaggi di configurazione descritti in questo articolo, è possibile definire le variabili di ambiente usando i comandi seguenti. Assicurati di sostituire i valori segnaposto con i tuoi.
ACR_NAME="myACRname"
ACR_USERNAME="myACRusername"
REPOSITORY="myRepository"
VERSION="repositoryVersion'
ACR_PASSWORD=$(az acr token create --name $ACR_USERNAME --registry $ACR_NAME --expiration-in-days 10 --repository $REPOSITORY content/write content/read --query "credentials.passwords[0].value" --output tsv)
Creare un nuovo segreto per il registro privato
In questo esempio, la distribuzione di fine-tuning di KAITO produce un output containerizzato dell’adattatore e l’area di lavoro KAITO richiede un nuovo segreto di push come credenziale di autorizzazione per eseguire il push dell’immagine dell’adattatore nel tuo ACR (Registro Azure Container).
Generare un nuovo segreto per fornire all'area di lavoro di fine-tuning di KAITO l'accesso necessario per eseguire il push nel Registro Azure Container l'immagine di output del fine-tuning del modello usando il comando kubectl create secret docker-registry.
kubectl create secret docker-registry myregistrysecret --docker-server=$ACR_NAME.azurecr.io --docker-username=$ACR_USERNAME --docker-password=$ACR_PASSWORD
Ottimizzare un modello di intelligenza artificiale
In questo esempio, si esegue la messa a punto del modello linguistico di piccole dimensioni Phi-3-mini con il metodo di ottimizzazione qLoRA applicando il seguente CRD dell'area di lavoro di messa a punto Phi-3-mini KAITO:
apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
name: workspace-tuning-phi-3-mini
resource:
instanceType: "Standard_NC24ads_A100_v4"
labelSelector:
matchLabels:
apps: tuning-phi-3-mini-pycoder
tuning:
preset:
name: phi-3-mini-128k-instruct
method: qlora
input:
urls:
- "myDatasetURL"
output:
image: "$ACR_NAME.azurecr.io/$REPOSITORY:$VERSION"
imagePushSecret: myregistrysecret
Questo esempio usa un set di dati pubblico specificato da un URL nell'input. Se scegli un'immagine come fonte dei dati di fine-tuning, fai riferimento alla specifica dell'API di fine-tuning di KAITO per modificare l'input in modo da recuperare un'immagine dal tuo ACR.
Nota
La scelta dello SKU GPU è fondamentale perché l'ottimizzazione del modello richiede in genere una quantità di memoria GPU maggiore rispetto all'inferenza del modello. Per evitare errori di memoria insufficiente della GPU, è consigliabile usare GPU nvidia A100 o superiori.
Applicare il CRD dell'area di lavoro di ottimizzazione di KAITO usando il
kubectl applycomando .kubectl apply -f workspace-tuning-phi-3-mini.yamlTenere traccia dell'idoneità delle risorse GPU, del processo di ottimizzazione e dell'area di lavoro usando il
kubectl get workspacecomando .kubectl get workspace -wL'output dovrebbe essere simile all'esempio di output seguente:
NAME INSTANCE RESOURCE READY INFERENCE READY JOB STARTED WORKSPACE SUCCEEDED AGE workspace-tuning-phi-3-mini Standard_NC24ads_A100_v4 True True 3m 45sControllare lo stato dei pod del processo di fine-tuning usando il comando
kubectl get pods.kubectl get pods
Nota
È possibile memorizzare l'adattatore nel percorso di output specificato come immagine container o in qualsiasi tipo di archiviazione supportato da Kubernetes.
Distribuisci il modello ottimizzato per l'inferenza
Ora si usa l'immagine dell'adattatore Phi-3-mini creata nella sezione precedente per una nuova distribuzione di inferenza con questo modello.
Il CRD del workspace di inferenza KAITO seguente è costituito dalle risorse e dagli adattatori seguenti da distribuire nel cluster AKS.
apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
name: workspace-phi-3-mini-adapter
resource:
instanceType: "Standard_NC24ads_A100_v4"
labelSelector:
matchLabels:
apps: phi-3-adapter
inference:
preset:
name: "phi-3-mini-128k-instruct"
adapters:
- source:
name: kubernetes-adapter
image: $ACR_NAME.azurecr.io/$REPOSITORY:$VERSION
imagePullSecrets:
- myregistrysecret
strength: "1.0"
Nota
Facoltativamente, è possibile importare più adattatori creati da distribuzioni di fine-tuning basate sullo stesso modello ma su set di dati diversi, definendo campi "source" aggiuntivi. Inferenza con adattatori diversi per confrontare le prestazioni del modello ottimizzato in contesti diversi.
Applica il CRD dell'area di lavoro di inferenza KAITO usando il comando
kubectl apply.kubectl apply -f workspace-phi-3-mini-adapter.yamlTenere traccia dell'idoneità delle risorse GPU, del server di inferenza e dell'area di lavoro usando il
kubectl get workspacecomando .kubectl get workspace -wL'output dovrebbe essere simile all'esempio di output seguente:
NAME INSTANCE RESOURCE READY INFERENCE READY JOB STARTED WORKSPACE SUCCEEDED AGE workspace-phi-3-mini-adapter Standard_NC24ads_A100_v4 True True True 5m 47sControlla lo stato dei pod del workload di inferenza usando il comando
kubectl get pods.kubectl get podsPotrebbero essere necessari alcuni minuti prima che i pod mostrino lo status
Running.
Testare l'endpoint del servizio di inferenza del modello
Controllare il servizio di inferenza del modello e recuperare l'indirizzo IP del servizio usando il
kubectl get svccomando .export SERVICE_IP=$(kubectl get svc workspace-phi-3-mini-adapter -o jsonpath='{.spec.clusterIP}')Esegui il modello Phi-3-mini sottoposto a fine-tuning con un input di esempio a tua scelta usando il comando
kubectl run. L'esempio seguente pone al modello di IA generativa la domanda "Che cos'è AKS?":kubectl run -it --rm --restart=Never curl --image=curlimages/curl -- curl -X POST http://$SERVICE_IP/chat -H "accept: application/json" -H "Content-Type: application/json" -d "{\"prompt\":\"What is AKS?\"}"L'output potrebbe essere simile all'output di esempio seguente:
"Kubernetes on Azure" is the official name. https://learn.microsoft.com/azure/aks/ ...
Pulire le risorse
Se queste risorse non sono più necessarie, è possibile eliminarle per evitare di incorrere in costi aggiuntivi di Azure. Per calcolare il costo stimato delle risorse, è possibile usare il calcolatore prezzi di Azure.
Elimina i workspace KAITO e le relative risorse allocate nel cluster AKS usando il comando kubectl delete workspace.
kubectl delete workspace workspace-tuning-phi-3-mini
kubectl delete workspace workspace-phi-3-mini-adapter
Passaggi successivi
- Scopri di più sulla messa a punto dei modelli linguistici con KAITO in questo blog di engineering di AKS!
- Esplora MLOps per i flussi di lavoro di IA e apprendimento automatico e le procedure consigliate su AKS
- Scopri le famiglie di GPU supportate in servizio Azure Kubernetes