Distribuire e testare i modelli di inferenza con l'operatore toolchain di intelligenza artificiale (KAITO) in Visual Studio Code

Questo articolo illustra come usare il componente aggiuntivo toolchain operator (KAITO) di intelligenza artificiale nell'estensione servizio Azure Kubernetes (AKS) per Visual Studio Code. KAITO effettua automaticamente il provisioning dei nodi GPU di dimensioni appropriate e configura il server di inferenza come server endpoint per i modelli di intelligenza artificiale, consentendo di testare ed sperimentare l'intelligenza artificiale nel servizio Azure Kubernetes con facilità.

Prerequisiti

• Per usare l'esperienza KAITO, è necessario installare l'estensione del servizio Azure Kubernetes per Visual Studio Code. Per altre informazioni, vedere Installare l'estensione del servizio Azure Kubernetes per Visual Studio Code.
• Il cluster in cui si esegue la distribuzione è un cluster standard (Kaito attualmente non può essere installato nei cluster automatici).
• Verificare che la sottoscrizione di Azure disponga della quota GPU per il modello scelto controllando le aree di lavoro del modello KAITO.

Installare KAITO nel cluster

1. Nella scheda Kubernetes, in Clouds Azure>>LLM con KAITO) fare clic con il pulsante destro del mouse sul cluster e selezionare Install KAITO (Installa KAITO).
2. Una volta nella pagina, selezionare Installa KAITO per avviare il processo di installazione KAITO.
3. Al termine dell'installazione, verrà visualizzato un pulsante Genera area di lavoro che reindirizza alla pagina di distribuzione del modello.

Creare un'area di lavoro KAITO

Quando si crea un'area di lavoro KAITO, è possibile distribuire direttamente il CRD dell'area di lavoro predefinita nel cluster del servizio Azure Kubernetes oppure salvare il CRD e personalizzarlo in base alle proprie esigenze.

1. Nella scheda Kubernetes, in Clouds Azure>>>un LLM con KAITO) fare clic con il pulsante destro del mouse sul cluster e selezionare Create KAITO workspace (Crea area di lavoro KAITO).
2. Trovare e selezionare il modello da distribuire.
3. Selezionare Deploy default workspace CRD (Distribuisci CRD area di lavoro predefinita) o Customize workspace CRD (Personalizza crd area di lavoro).
4. Selezionare Distribuisci CRD dell'area di lavoro predefinita per distribuire il modello. Tiene traccia dello stato di avanzamento del modello e invia una notifica quando il modello viene distribuito correttamente. Notifica inoltre se il modello è già stato distribuito in modo non riuscito nel cluster.
5. Al termine della distribuzione, viene visualizzato un pulsante Visualizza modelli distribuiti che reindirizza l'utente alla pagina di gestione della distribuzione.

Gestire i modelli KAITO

La pagina Gestisci modelli KAITO consente di visualizzare tutti i modelli distribuiti nel cluster del servizio Azure Kubernetes insieme al relativo stato (in corso, riuscito o non riuscito).

1. Nella scheda Kubernetes, in Clouds Azure>>>un LLM con KAITO) fare clic con il pulsante destro del mouse sul cluster e selezionare Manage KAITO models (Gestisci modelli KAITO).

2. Da questa pagina è possibile scegliere di eseguire una delle azioni seguenti:

   • Ottenere i log: selezionare Recupera log per accedere ai log più recenti dai pod dell'area di lavoro KAITO per la distribuzione. Questa azione genera un nuovo file di testo contenente le ultime 500 righe di log.
   • Elimina un modello: selezionare Elimina area di lavoro (o Annulla per le distribuzioni in corso). Per le distribuzioni non riuscite, selezionare Ridistribuire CRD predefinito per rimuovere la distribuzione corrente e riavviare il processo di distribuzione del modello da zero.
   • Testare un modello: selezionare Test. Questa azione consente di passare a una nuova pagina in cui è possibile interagire con il modello distribuito tramite un'interfaccia di chat.

Testare il modello

1. Nella scheda Kubernetes, in Clouds Azure>>>un LLM con KAITO) fare clic con il pulsante destro del mouse sul cluster e selezionare Manage KAITO models (Gestisci modelli KAITO).

2. Selezionare Verifica. Questa azione consente di passare a una nuova pagina in cui è possibile interagire con il modello distribuito tramite l'interfaccia della chat della casella di richiesta .

3. Facoltativamente, è possibile modificare i parametri:

   • Temperatura: controlla la casualità dell'output del modello. Una temperatura bassa è buona per le attività che necessitano di precisione, come problemi matematici, mentre una temperatura elevata è migliore per le attività come la scrittura creativa.
   • P superiore: limita le scelte di parola successiva a un sottoinsieme dinamico del vocabolario, determinato da una soglia di probabilità cumulativa.
   • Top K: limita la selezione di parole successive alle parole più K probabili. I valori più piccoli K portano a output più prevedibili, mentre valori più grandi aumentano la variabilità.
   • Penalità ripetizione: penalizza il modello per ripetere le stesse frasi, parole o sequenze. Ciò è utile per evitare output ripetitivi o cicli, soprattutto nelle generazioni più lunghe.
   • Lunghezza massima: definisce il numero massimo di token (parole o parole secondarie) nell'output generato.

Per altre informazioni, vedere Estensione del servizio Azure Kubernetes per le funzionalità di Visual Studio Code.

Eliminare la distribuzione dell'inferenza del modello

1. Dopo aver completato il test dei modelli e si vogliono liberare le risorse GPU allocate nel cluster, passare alla scheda Kubernetes e in Clouds Azure>>>un LLM con KAITO, fare clic con il pulsante destro del mouse sul cluster e selezionare Gestisci modelli KAITO.
2. Per ogni modello distribuito, selezionare Elimina area di lavoro per cancellare tutte le risorse allocate create dalla distribuzione dell'inferenza.

Supporto e feedback sul prodotto

Se si ha una domanda o si vuole fornire un feedback sul prodotto, aprire un ticket nel repository GitHub dell'estensione del servizio Azure Kubernetes.

Passaggi successivi

Per altre informazioni su altri componenti aggiuntivi ed estensioni del servizio Azure Kubernetes, vedere Componenti aggiuntivi, estensioni e altre integrazioni per il servizio Azure Kubernetes.