Ottimizzare e distribuire un modello di intelligenza artificiale per l'inferenza nel servizio Azure Kubernetes con il componente aggiuntivo Operatore toolchain IA

Questo articolo illustra come perfezionare e distribuire un carico di lavoro di inferenza per un modello di linguaggio nel servizio Azure Kubernetes con il componente aggiuntivo Operatore toolchain IA. Si apprenderà come eseguire le attività seguenti:

L'operatore toolchain di intelligenza artificiale (KAITO) è un componente aggiuntivo gestito per il servizio Azure Kubernetes che semplifica la distribuzione e le operazioni per i modelli di intelligenza artificiale nei cluster del servizio Azure Kubernetes. È possibile usare il componente aggiuntivo gestito del servizio Azure Kubernetes per ottimizzare i modelli di base supportati con nuovi dati e migliorare l'accuratezza dei modelli di intelligenza artificiale. Per altre informazioni sui metodi di ottimizzazione efficiente dei parametri e sui relativi casi d'uso, vedere Concetti - Ottimizzazione dei modelli linguistici per intelligenza artificiale e flussi di lavoro di Machine Learning nel servizio Azure Kubernetes.

Operazioni preliminari

Prerequisiti

  • Il client da riga di comando di Kubernetes, kubectl, installato e configurato. Per altre informazioni, vedere Installare kubectl.
  • Configurare l'integrazione di Registro Azure Container (ACR) di un'istanza di ACR nuova o esistente con il cluster AKS.
  • Installare il componente aggiuntivo Operatore toolchain IA nel cluster del servizio Azure Kubernetes.
  • Se hai già installato il componente aggiuntivo dell'operatore della toolchain di IA, aggiorna il cluster AKS alla versione più recente e assicurati che il flag della funzionalità del componente aggiuntivo dell'operatore della toolchain di IA sia abilitato.

Esportare variabili di ambiente

Per semplificare i passaggi di configurazione descritti in questo articolo, è possibile definire le variabili di ambiente usando i comandi seguenti. Assicurati di sostituire i valori segnaposto con i tuoi.

ACR_NAME="myACRname"
ACR_USERNAME="myACRusername"
REPOSITORY="myRepository"
VERSION="repositoryVersion'
ACR_PASSWORD=$(az acr token create --name $ACR_USERNAME --registry $ACR_NAME --expiration-in-days 10 --repository $REPOSITORY content/write content/read --query "credentials.passwords[0].value" --output tsv)

Creare un nuovo segreto per il registro privato

In questo esempio, la distribuzione di fine-tuning di KAITO produce un output containerizzato dell’adattatore e l’area di lavoro KAITO richiede un nuovo segreto di push come credenziale di autorizzazione per eseguire il push dell’immagine dell’adattatore nel tuo ACR (Registro Azure Container).

Generare un nuovo segreto per fornire all'area di lavoro di fine-tuning di KAITO l'accesso necessario per eseguire il push nel Registro Azure Container l'immagine di output del fine-tuning del modello usando il comando kubectl create secret docker-registry.

kubectl create secret docker-registry myregistrysecret --docker-server=$ACR_NAME.azurecr.io --docker-username=$ACR_USERNAME --docker-password=$ACR_PASSWORD

Ottimizzare un modello di intelligenza artificiale

In questo esempio, si esegue la messa a punto del modello linguistico di piccole dimensioni Phi-3-mini con il metodo di ottimizzazione qLoRA applicando il seguente CRD dell'area di lavoro di messa a punto Phi-3-mini KAITO:

apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
  name: workspace-tuning-phi-3-mini
resource:
  instanceType: "Standard_NC24ads_A100_v4"
  labelSelector:
    matchLabels:
      apps: tuning-phi-3-mini-pycoder
tuning:
  preset:
    name: phi-3-mini-128k-instruct
  method: qlora
  input:
    urls:
      - "myDatasetURL"
  output:
    image: "$ACR_NAME.azurecr.io/$REPOSITORY:$VERSION"
    imagePushSecret: myregistrysecret

Questo esempio usa un set di dati pubblico specificato da un URL nell'input. Se scegli un'immagine come fonte dei dati di fine-tuning, fai riferimento alla specifica dell'API di fine-tuning di KAITO per modificare l'input in modo da recuperare un'immagine dal tuo ACR.

Nota

La scelta dello SKU GPU è fondamentale perché l'ottimizzazione del modello richiede in genere una quantità di memoria GPU maggiore rispetto all'inferenza del modello. Per evitare errori di memoria insufficiente della GPU, è consigliabile usare GPU nvidia A100 o superiori.

  1. Applicare il CRD dell'area di lavoro di ottimizzazione di KAITO usando il kubectl apply comando .

    kubectl apply -f workspace-tuning-phi-3-mini.yaml
    
  2. Tenere traccia dell'idoneità delle risorse GPU, del processo di ottimizzazione e dell'area di lavoro usando il kubectl get workspace comando .

    kubectl get workspace -w
    

    L'output dovrebbe essere simile all'esempio di output seguente:

    NAME                         INSTANCE                  RESOURCE READY  INFERENCE READY  JOB STARTED  WORKSPACE SUCCEEDED  AGE
    workspace-tuning-phi-3-mini  Standard_NC24ads_A100_v4  True                             True                              3m 45s
    
  3. Controllare lo stato dei pod del processo di fine-tuning usando il comando kubectl get pods.

    kubectl get pods
    

Nota

È possibile memorizzare l'adattatore nel percorso di output specificato come immagine container o in qualsiasi tipo di archiviazione supportato da Kubernetes.

Distribuisci il modello ottimizzato per l'inferenza

Ora si usa l'immagine dell'adattatore Phi-3-mini creata nella sezione precedente per una nuova distribuzione di inferenza con questo modello.

Il CRD del workspace di inferenza KAITO seguente è costituito dalle risorse e dagli adattatori seguenti da distribuire nel cluster AKS.

apiVersion: kaito.sh/v1beta1
kind: Workspace
metadata:
  name: workspace-phi-3-mini-adapter
resource:
  instanceType: "Standard_NC24ads_A100_v4"
  labelSelector:
    matchLabels:
      apps: phi-3-adapter
inference:
  preset:
    name: "phi-3-mini-128k-instruct"
  adapters:
    - source:
        name: kubernetes-adapter
        image: $ACR_NAME.azurecr.io/$REPOSITORY:$VERSION
        imagePullSecrets:
          - myregistrysecret
      strength: "1.0"

Nota

Facoltativamente, è possibile importare più adattatori creati da distribuzioni di fine-tuning basate sullo stesso modello ma su set di dati diversi, definendo campi "source" aggiuntivi. Inferenza con adattatori diversi per confrontare le prestazioni del modello ottimizzato in contesti diversi.

  1. Applica il CRD dell'area di lavoro di inferenza KAITO usando il comando kubectl apply.

    kubectl apply -f workspace-phi-3-mini-adapter.yaml
    
  2. Tenere traccia dell'idoneità delle risorse GPU, del server di inferenza e dell'area di lavoro usando il kubectl get workspace comando .

    kubectl get workspace -w
    

    L'output dovrebbe essere simile all'esempio di output seguente:

    NAME                          INSTANCE                   RESOURCE READY  INFERENCE READY  JOB STARTED  WORKSPACE SUCCEEDED  AGE
    workspace-phi-3-mini-adapter  Standard_NC24ads_A100_v4   True            True                          True                 5m 47s
    
  3. Controlla lo stato dei pod del workload di inferenza usando il comando kubectl get pods.

    kubectl get pods
    

    Potrebbero essere necessari alcuni minuti prima che i pod mostrino lo status Running.

Testare l'endpoint del servizio di inferenza del modello

  1. Controllare il servizio di inferenza del modello e recuperare l'indirizzo IP del servizio usando il kubectl get svc comando .

    export SERVICE_IP=$(kubectl get svc workspace-phi-3-mini-adapter -o jsonpath='{.spec.clusterIP}')
    
  2. Esegui il modello Phi-3-mini sottoposto a fine-tuning con un input di esempio a tua scelta usando il comando kubectl run. L'esempio seguente pone al modello di IA generativa la domanda "Che cos'è AKS?":

    kubectl run -it --rm --restart=Never curl --image=curlimages/curl -- curl -X POST http://$SERVICE_IP/chat -H "accept: application/json" -H "Content-Type: application/json" -d "{\"prompt\":\"What is AKS?\"}"
    

    L'output potrebbe essere simile all'output di esempio seguente:

    "Kubernetes on Azure" is the official name.
    https://learn.microsoft.com/azure/aks/ ...
    

Pulire le risorse

Se queste risorse non sono più necessarie, è possibile eliminarle per evitare di incorrere in costi aggiuntivi di Azure. Per calcolare il costo stimato delle risorse, è possibile usare il calcolatore prezzi di Azure.

Elimina i workspace KAITO e le relative risorse allocate nel cluster AKS usando il comando kubectl delete workspace.

kubectl delete workspace workspace-tuning-phi-3-mini
kubectl delete workspace workspace-phi-3-mini-adapter

Passaggi successivi