Distribuire e testare i modelli di inferenza con l'operatore toolchain di intelligenza artificiale (KAITO) in Visual Studio Code

Questo articolo illustra come usare il componente aggiuntivo toolchain operator (KAITO) di intelligenza artificiale nell'estensione servizio Azure Kubernetes (AKS) per Visual Studio Code. KAITO effettua automaticamente il provisioning dei nodi GPU di dimensioni appropriate e configura il server di inferenza come server endpoint per i modelli di intelligenza artificiale, consentendo di testare ed sperimentare l'intelligenza artificiale nel servizio Azure Kubernetes con facilità.

Prerequisiti

  • Per usare l'esperienza KAITO, è necessario installare l'estensione del servizio Azure Kubernetes per Visual Studio Code. Per altre informazioni, vedere Installare l'estensione del servizio Azure Kubernetes per Visual Studio Code.
  • Il cluster in cui si esegue la distribuzione è un cluster standard (Kaito attualmente non può essere installato nei cluster automatici).
  • Verificare che la sottoscrizione Azure abbia una quota GPU per il modello scelto controllando il catalogo dei modelli KAITO.

Installare KAITO nel cluster

  1. Nella scheda Kubernetes, in Clouds>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fare clic con il pulsante destro del mouse sul cluster e selezionare Installa KAITO.
  2. Una volta nella pagina, selezionare Installa KAITO per avviare il processo di installazione KAITO.
  3. Al termine dell'installazione, verrà visualizzato un pulsante Genera area di lavoro che reindirizza alla pagina di distribuzione del modello.

Screenshot che mostra la schermata di installazione di KAITO.

Creare un'area di lavoro KAITO

Quando si crea un'area di lavoro KAITO, è possibile distribuire direttamente il CRD dell'area di lavoro predefinita nel cluster del servizio Azure Kubernetes oppure salvare il CRD e personalizzarlo in base alle proprie esigenze.

  1. Nella scheda Kubernetes, in Clouds>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Crea area di lavoro KAITO.
  2. Trovare e selezionare il modello da distribuire.
  3. Selezionare Deploy default workspace CRD (Distribuisci CRD area di lavoro predefinita) o Customize workspace CRD (Personalizza crd area di lavoro).
  4. Selezionare Distribuisci il CRD predefinito dell'area di lavoro per distribuire il modello. Tiene traccia dello stato di avanzamento del modello e invia una notifica quando il modello viene distribuito correttamente. Notifica inoltre se il modello è già stato distribuito in modo non riuscito nel cluster.
  5. Al termine della distribuzione, viene visualizzato un pulsante Visualizza modelli distribuiti che reindirizza l'utente alla pagina di gestione della distribuzione.

Screenshot che mostra la schermata di selezione del modello.

Gestire i modelli KAITO

La pagina Gestisci modelli KAITO mostra tutti i modelli distribuiti nel cluster del servizio Azure Kubernetes insieme al relativo stato (in corso, riuscito o non riuscito).

  1. Nella scheda Kubernetes, in Cloud>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Gestisci i modelli KAITO.

  2. Da questa pagina è possibile scegliere di eseguire una delle azioni seguenti:

    • Ottieni i log: Seleziona Ottieni log per accedere ai log più recenti nei pod dell'area di lavoro KAITO per la distribuzione. Questa azione genera un nuovo file di testo contenente le ultime 500 righe di log.
    • Elimina un modello: selezionare Elimina area di lavoro (o Annulla per le distribuzioni in corso). Per le distribuzioni non riuscite, selezionare Ridistribuire CRD predefinito per rimuovere la distribuzione corrente e riavviare il processo di distribuzione del modello da zero.
    • Testare un modello: selezionare Test. Questa azione consente di passare a una nuova pagina in cui è possibile interagire con il modello distribuito tramite un'interfaccia di chat.

Screenshot che mostra la schermata Gestisci modelli.

Testare il modello

  1. Nella scheda Kubernetes, in Cloud>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Gestisci i modelli KAITO.

  2. Selezionare Verifica. Questa azione porta a una nuova pagina in cui è possibile interagire con il modello distribuito tramite l'interfaccia di chat della casella Prompt.

  3. Facoltativamente, è possibile modificare i parametri:

    • Temperatura: controlla la casualità dell'output del modello. Una temperatura bassa è buona per le attività che necessitano di precisione, come problemi matematici, mentre una temperatura elevata è migliore per le attività come la scrittura creativa.
    • P superiore: limita le scelte di parola successiva a un sottoinsieme dinamico del vocabolario, determinato da una soglia di probabilità cumulativa.
    • Top K: limita la selezione di parole successive alle parole più K probabili. I valori più piccoli K portano a output più prevedibili, mentre valori più grandi aumentano la variabilità.
    • Penalità ripetizione: penalizza il modello per ripetere le stesse frasi, parole o sequenze. Ciò è utile per evitare output ripetitivi o cicli, soprattutto nelle generazioni più lunghe.
    • Lunghezza massima: definisce il numero massimo di token (parole o parole secondarie) nell'output generato.

Screenshot che mostra la schermata dei modelli di test.

Per altre informazioni, vedi Funzionalità dell'estensione AKS per Visual Studio Code.

Eliminare la distribuzione dell'inferenza del modello

  1. Dopo aver terminato di testare i modelli, se si desidera liberare le risorse GPU allocate nel cluster, passare alla scheda Kubernetes e, in Clouds>Azure>la propria sottoscrizione>Distribuire un LLM con KAITO, fare clic con il pulsante destro del mouse sul cluster e selezionare Gestisci i modelli KAITO.
  2. Per ogni modello distribuito, selezionare Elimina area di lavoro per cancellare tutte le risorse allocate create dalla distribuzione dell'inferenza.

Supporto e feedback sul prodotto

Se si ha una domanda o si desidera inviare un feedback sul prodotto, apra un issue nel repository GitHub dell'estensione AKS.

Passaggi successivi

Per altre informazioni su altri componenti aggiuntivi ed estensioni del servizio Azure Kubernetes, vedere Componenti aggiuntivi, estensioni e altre integrazioni per il servizio Azure Kubernetes.