Addestrare modelli di IA e ML

Azure Databricks offre opzioni di calcolo per diverse esigenze di machine learning, che vanno dai cluster gestiti al calcolo GPU serverless con AI Runtime.

Calcolo Descrizione
Ambiente di esecuzione dell'intelligenza artificiale Ambiente di calcolo GPU serverless ottimizzato per carichi di lavoro di Deep Learning a nodo singolo e multinodo personalizzati.
Databricks Runtime per il Machine Learning Ambiente di calcolo classico con librerie predefinite per carichi di lavoro classici di Machine Learning e Deep Learning.

AI Runtime

Il runtime di intelligenza artificiale è un'offerta specializzata nell'ecosistema serverless di Databricks. È ottimizzata per carichi di lavoro personalizzati di Deep Learning a nodo singolo e multinodo, come il perfezionamento di modelli di linguaggio di grandi dimensioni o l'addestramento di modelli di visione artificiale. Per una panoramica del modo in cui il calcolo serverless rientra nell'architettura di Databricks, vedere Architettura dell'area di lavoro serverless.

Le funzionalità principali includono:

  • Disponibilità istantanea: elimina la necessità di gestire l'infrastruttura del cluster sottostante, permettendoti di collegare un notebook direttamente a AI Runtime.
  • Hardware ad alte prestazioni: fornisce l'accesso a GPU A10 per attività convenienti.
  • Ambienti gestiti: Offre un ambiente di base predefinito per la personalizzazione completa o un ambiente AI precaricato con pacchetti di Machine Learning comuni come Transformers e Ray.
  • Scalabilità flessibile: supporta il training distribuito tra più GPU e nodi.

Databricks Runtime per l'apprendimento automatico

Databricks Runtime per Machine Learning è un runtime specializzato che automatizza la creazione di risorse di calcolo con un'infrastruttura predefinita. È progettato per gli utenti che vogliono un ambiente completo e pronto per l'uso sia per l'apprendimento automatico classico che per l'apprendimento avanzato.

Le funzionalità principali includono:

  • Librerie preinstallate: include librerie comuni come PyTorch, TensorFlow e XGBoost, che ricevono aggiornamenti frequenti e supporto ottimizzato.
  • Versatilità di calcolo: Supporta i tipi di istanza basati su CPU e GPU, tra cui il AWS Graviton per migliorare il rapporto qualità-prezzo.
  • Ottimizzazione: offre l'integrazione con Photon per accelerare le attività di progettazione spark SQL, dataframe e funzionalità.
  • Controllo di accesso: richiede la modalità di accesso dedicato per proteggere l'accesso ai dati tramite Unity Catalog.