Perché usare l'esecuzione AI invece del calcolo classico

AI Runtime è computazione GPU serverless per addestramento, fine tuning ed esecuzione di inferenze batch su modelli personalizzati di deep learning. Se esegui questi carichi di lavoro su calcolo classico con Databricks Runtime ML, Databricks consiglia di spostarli su AI Runtime per un costo totale di proprietà più basso, un'esperienza di sviluppo più flessibile e una scala multinode. Le sezioni seguenti confrontano i due per ingegneri ML e team di piattaforma, e descrivono come Genie Code può aiutarti a migrare.

Confronta AI Runtime con il calcolo tradizionale

La tabella seguente confronta AI Runtime con Databricks Runtime ML nel compute classico:

Costo totale di possesso

AI Runtime riduce il costo totale di proprietà con GPU serverless gestite e ad alte prestazioni:

• Avvio più veloce: L'infrastruttura GPU serverless è disponibile su richiesta, quindi non devi aspettare che un cluster GPU si avvii. I cluster classici di GPU possono impiegare diversi minuti o più ad avviarsi, a seconda della dimensione del cluster e della disponibilità della GPU.
• Prezzi pay-as-you-go: Paghi solo per la potenza di calcolo GPU serverless che i tuoi carichi di lavoro utilizzano, senza gestire o pagare cluster inattivi.
• Maggiore utilizzo della GPU: Opzioni di calcolo flessibili, caricamento rapido dei dati, checkpoint efficiente e addestramento multinodo riducono il tempo inattivo della GPU.
• Riduzione del carico amministrativo: AI Runtime gestisce il deployment del calcolo, il networking del cluster, la gestione dello stato della GPU e gli aggiornamenti dei driver CUDA. Con il compute classico, il tuo team si occupa dell'amministrazione dei nodi, della configurazione del cluster e della manutenzione continua dell'infrastruttura.

Esperienza sviluppatore

AI Runtime offre un'esperienza di sviluppo flessibile per carichi di lavoro di IA e deep learning:

• Connettività: Lavora nei notebook, connettiti da un IDE tramite un tunnel SSH (Beta) oppure invia carichi di lavoro con la Databricks CLI. Per automatizzare le esecuzioni, pianificare i processi o utilizzare i bundle di automazione dichiarativa. Classic Compute non dispone di una CLI dedicata per inviare carichi di lavoro di addestramento su GPU.
• Runtime dedicato al deep learning: AI Runtime supporta nativamente framework quali Ray e PyTorch. Scegli l'ambiente Standard per il pieno controllo del tuo stack di dipendenze, l'ambiente AI Databricks con pacchetti AI e ML comuni, oppure un'immagine Docker personalizzata. I runtime classici includono un ampio set di librerie preinstallate legate alla versione runtime.
• Debug e osservabilità: Monitora gli esperimenti, controlla l'utilizzo delle risorse di calcolo, gestisci i modelli e diagnostica e risolvi i problemi con l'integrazione nativa con MLflow. Con il calcolo classico, i log e le metriche di utilizzo del calcolo non sono automaticamente memorizzati nell'esecuzione MLflow.
• Accesso sicuro ai dati:Accedi a dati strutturati e non strutturati gestiti da Unity Catalog tramite Spark Connect, senza avviare un cluster Apache Spark.

Scalabilità e prestazioni

AI Runtime ti aiuta a scalare i carichi di lavoro di deep learning in modo efficiente:

• Caricamento dei dati e salvataggio dei checkpoint ottimizzati: Il caricamento dei dati ad alta velocità e il salvataggio distribuito asincrono dei checkpoint accelerano le pipeline di addestramento e riducono al minimo i tempi di inattività delle GPU. Il calcolo tradizionale manca di caricatori di dati nativi ad alto throughput e di meccanismi di checkpointing distribuito. Scopri come migliorare le prestazioni e la resilienza dell'addestramento su AI Runtime.
• Resilienza integrata della GPU: Controlli di salute automatizzati continui aiutano a rilevare e isolare i nodi GPU in guasto, riducendo così le interruzioni dovute a lunghe sessioni di addestramento. Con l'infrastruttura di calcolo tradizionale, devi occuparti personalmente dello stato di integrità dei nodi GPU e, per isolare un nodo difettoso, è necessario interrompere i carichi di lavoro attivi. Consulta come manteniamo affidabili le GPU in Databricks AI nel blog del team di ingegneria di Databricks.
• Addestramento multinodo: Scala da una singola GPU a un addestramento distribuito multinode con rete ad alta velocità e configurazione automatica dell'ambiente. Per gli acceleratori che supportano l'addestramento multinodo, vedi opzioni hardware.
• Inferenza batch personalizzata: Eseguire inferenza batch personalizzata su larga scala tra GPU distribuite senza gestire cluster GPU.

Migra dal compute classico con Genie Code

Genie Code può aiutare ad automatizzare il rifactoring del codice e la configurazione dell'ambiente nei notebook collegati all'AI Runtime quando si sposta un carico di lavoro da classic compute. Per l'elenco completo dei passaggi di migrazione, consulta Eseguire la migrazione dei carichi di lavoro GPU classici verso serverless.

Cosa automatizza Genie Code

Genie Code può aiutare con i seguenti compiti di migrazione:

• Refattorizzazione: Converte i notebook di Databricks Runtime ML, come quelli che usano TorchDistributor, in notebook Runtime AI che utilizzano il decoratore @distributed da databricks.air.
• Risoluzione delle dipendenze: Valuta le importazioni di notebook, identifica pacchetti mancanti o incompatibili e configura un ambiente serverless GPU.
• Diagnosi di errori multi-rank: Analizza i log di output su tutti i nodi per isolare le cause radici come errori di memoria esaurita (OOM) della GPU o blocchi di comunicazione.

Esempio di prompt di migrazione del codice Genie

Di seguito sono riportati esempi di prompt che puoi fornire a Genie Code:

• Conversione del codice: "Migra questo notebook da TorchDistributor al decoratore databricks.air @distributed."
• Configurazione dell'ambiente: "Ispezionare i pacchetti importati, raccomandare l'AI Databricks o l'ambiente Standard e generare i comandi di installazione %pip richiesti."
• Debug: "Analizza i log di addestramento distribuiti su tutti i ranghi per determinare perché il lavoro è fallito."

Risorse aggiuntive

• Esegui la migrazione dei carichi di lavoro classici delle GPU al serverless
• Guida introduttiva ad AI Runtime
• Requisiti e disponibilità di runtime dell'IA