Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo articolo illustra come usare il componente aggiuntivo toolchain operator (KAITO) di intelligenza artificiale nell'estensione servizio Azure Kubernetes (AKS) per Visual Studio Code. KAITO effettua automaticamente il provisioning dei nodi GPU di dimensioni appropriate e configura il server di inferenza come server endpoint per i modelli di intelligenza artificiale, consentendo di testare ed sperimentare l'intelligenza artificiale nel servizio Azure Kubernetes con facilità.
Prerequisiti
- Per usare l'esperienza KAITO, è necessario installare l'estensione del servizio Azure Kubernetes per Visual Studio Code. Per altre informazioni, vedere Installare l'estensione del servizio Azure Kubernetes per Visual Studio Code.
- Il cluster in cui si esegue la distribuzione è un cluster standard (Kaito attualmente non può essere installato nei cluster automatici).
- Verificare che la sottoscrizione Azure abbia una quota GPU per il modello scelto controllando il catalogo dei modelli KAITO.
Installare KAITO nel cluster
- Nella scheda Kubernetes, in Clouds>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fare clic con il pulsante destro del mouse sul cluster e selezionare Installa KAITO.
- Una volta nella pagina, selezionare Installa KAITO per avviare il processo di installazione KAITO.
- Al termine dell'installazione, verrà visualizzato un pulsante Genera area di lavoro che reindirizza alla pagina di distribuzione del modello.
Creare un'area di lavoro KAITO
Quando si crea un'area di lavoro KAITO, è possibile distribuire direttamente il CRD dell'area di lavoro predefinita nel cluster del servizio Azure Kubernetes oppure salvare il CRD e personalizzarlo in base alle proprie esigenze.
- Nella scheda Kubernetes, in Clouds>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Crea area di lavoro KAITO.
- Trovare e selezionare il modello da distribuire.
- Selezionare Deploy default workspace CRD (Distribuisci CRD area di lavoro predefinita) o Customize workspace CRD (Personalizza crd area di lavoro).
- Selezionare Distribuisci il CRD predefinito dell'area di lavoro per distribuire il modello. Tiene traccia dello stato di avanzamento del modello e invia una notifica quando il modello viene distribuito correttamente. Notifica inoltre se il modello è già stato distribuito in modo non riuscito nel cluster.
- Al termine della distribuzione, viene visualizzato un pulsante Visualizza modelli distribuiti che reindirizza l'utente alla pagina di gestione della distribuzione.
Gestire i modelli KAITO
La pagina Gestisci modelli KAITO mostra tutti i modelli distribuiti nel cluster del servizio Azure Kubernetes insieme al relativo stato (in corso, riuscito o non riuscito).
Nella scheda Kubernetes, in Cloud>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Gestisci i modelli KAITO.
Da questa pagina è possibile scegliere di eseguire una delle azioni seguenti:
- Ottieni i log: Seleziona Ottieni log per accedere ai log più recenti nei pod dell'area di lavoro KAITO per la distribuzione. Questa azione genera un nuovo file di testo contenente le ultime 500 righe di log.
- Elimina un modello: selezionare Elimina area di lavoro (o Annulla per le distribuzioni in corso). Per le distribuzioni non riuscite, selezionare Ridistribuire CRD predefinito per rimuovere la distribuzione corrente e riavviare il processo di distribuzione del modello da zero.
- Testare un modello: selezionare Test. Questa azione consente di passare a una nuova pagina in cui è possibile interagire con il modello distribuito tramite un'interfaccia di chat.
Testare il modello
Nella scheda Kubernetes, in Cloud>Azure>la tua sottoscrizione>Distribuisci un LLM con KAITO, fai clic con il pulsante destro del mouse sul cluster e seleziona Gestisci i modelli KAITO.
Selezionare Verifica. Questa azione porta a una nuova pagina in cui è possibile interagire con il modello distribuito tramite l'interfaccia di chat della casella Prompt.
Facoltativamente, è possibile modificare i parametri:
- Temperatura: controlla la casualità dell'output del modello. Una temperatura bassa è buona per le attività che necessitano di precisione, come problemi matematici, mentre una temperatura elevata è migliore per le attività come la scrittura creativa.
- P superiore: limita le scelte di parola successiva a un sottoinsieme dinamico del vocabolario, determinato da una soglia di probabilità cumulativa.
-
Top K: limita la selezione di parole successive alle parole più
Kprobabili. I valori più piccoliKportano a output più prevedibili, mentre valori più grandi aumentano la variabilità. - Penalità ripetizione: penalizza il modello per ripetere le stesse frasi, parole o sequenze. Ciò è utile per evitare output ripetitivi o cicli, soprattutto nelle generazioni più lunghe.
- Lunghezza massima: definisce il numero massimo di token (parole o parole secondarie) nell'output generato.
Per altre informazioni, vedi Funzionalità dell'estensione AKS per Visual Studio Code.
Eliminare la distribuzione dell'inferenza del modello
- Dopo aver terminato di testare i modelli, se si desidera liberare le risorse GPU allocate nel cluster, passare alla scheda Kubernetes e, in Clouds>Azure>la propria sottoscrizione>Distribuire un LLM con KAITO, fare clic con il pulsante destro del mouse sul cluster e selezionare Gestisci i modelli KAITO.
- Per ogni modello distribuito, selezionare Elimina area di lavoro per cancellare tutte le risorse allocate create dalla distribuzione dell'inferenza.
Supporto e feedback sul prodotto
Se si ha una domanda o si desidera inviare un feedback sul prodotto, apra un issue nel repository GitHub dell'estensione AKS.
Passaggi successivi
Per altre informazioni su altri componenti aggiuntivi ed estensioni del servizio Azure Kubernetes, vedere Componenti aggiuntivi, estensioni e altre integrazioni per il servizio Azure Kubernetes.