Pourquoi utiliser AI Runtime plutôt que le calcul classique ?

AI Runtime est une plateforme de calcul GPU sans serveur pour l’entraînement, l’ajustement fin et l’exécution d’inférence batch sur des modèles personnalisés de deep learning. Si vous exécutez ces charges de travail sur l’infrastructure de calcul classique avec Databricks Runtime ML, Databricks recommande de les migrer vers AI Runtime afin de bénéficier d’un coût total de possession inférieur, d’une expérience de développement plus flexible et d’une mise à l’échelle multinœud. Les sections suivantes comparent les deux pour les ingénieurs ML et les équipes de plateforme, et décrivent comment Genie Code peut vous aider à migrer.

Comparez le runtime IA avec le calcul classique

Le tableau suivant compare AI Runtime à Databricks Runtime ML sur le calcul classique :

Coût total de possession

AI Runtime réduit le coût total de possession grâce à des GPU serverless gérés et haute performance :

• Démarrage plus rapide : L’infrastructure GPU serverless est disponible à la demande, donc vous n’attendez pas qu’un cluster GPU démarre. Les clusters classiques de GPU peuvent mettre plusieurs minutes ou plus à démarrer, selon la taille du cluster et la disponibilité des GPU.
• Tarification à l’usage : Vous ne payez que pour la puissance de calcul GPU serverless utilisée par vos charges de travail, sans gérer ni payer pour des clusters inactifs.
• Utilisation plus élevée du GPU : Des options de calcul flexibles, un chargement rapide des données, un checkpoint efficace et un entraînement multinœud réduisent le temps d’inactivité du GPU.
• Réduction de la charge administrative : AI Runtime gère le déploiement du calcul, le réseau de clusters, la gestion de la santé GPU et les mises à jour des pilotes CUDA. Avec le calcul classique, votre équipe gère l’administration des nœuds, la configuration du cluster et la maintenance continue de l’infrastructure.

Expérience du développeur

AI Runtime offre une expérience développeur flexible pour les charges de travail en IA et en apprentissage profond :

• Connectivité : Travaillez dans des notebooks, connectez-vous depuis un IDE via un tunnel SSH (Beta), ou soumettez des charges de travail avec la Databricks CLI. Pour automatiser les exécutions, planifiez des tâches ou utilisez des bundles d’automatisation déclarative. Classic Compute n’a pas de CLI dédié pour soumettre les charges d’entraînement GPU.
• Exécution dédiée à l’apprentissage profond : L’exécution IA prend en charge nativement des frameworks tels que Ray et PyTorch. Choisissez l’environnement Standard pour un contrôle total de votre pile de dépendances, l’environnement IA Databricks avec des packages IA et ML courants, ou une image Docker personnalisée. Les environnements d’exécution classiques incluent un grand ensemble de bibliothèques préinstallées liées à la version de l’environnement d’exécution.
• Débogage et observabilité : Suivez les expériences, surveillez l’utilisation des ressources de calcul, gérez les modèles et dépannez les problèmes liés à l’intégration MLflow intégrée. Avec le compute classique, les logs et les métriques d’utilisation du compute ne sont pas automatiquement stockés dans le run MLflow.
• Accès sécurisé aux données :accédez aux données structurées et non structurées régies par Unity Catalog via Spark Connect, sans avoir à exécuter un cluster Apache Spark.

Échelle et niveau de performance

AI Runtime vous aide à faire évoluer efficacement les charges de travail en apprentissage profond :

• Chargement optimisé des données et sauvegarde par points de contrôle : Le chargement de données à haut débit et la sauvegarde distribuée asynchrone par points de contrôle accélèrent les pipelines d’entraînement et minimisent le temps d’inactivité du GPU. Le calcul classique ne dispose pas de chargeurs de données à haut débit ni de mécanismes de création de points de contrôle distribués natifs. Voir Améliorer la performance et la résilience de l’entraînement sur AI Runtime.
• Résilience intégrée du GPU : Les contrôles automatisés continus de santé aident à détecter et isoler les nœuds GPU défaillants, ce qui réduit les perturbations des longues sessions d’entraînement. Avec le calcul classique, vous maintenez vous-même la santé des nœuds GPU, et isoler un nœud défectueux nécessite d’interrompre les charges de travail actives. Découvrez comment nous gardons les GPU fiables via Databricks AI sur le blog d’ingénierie Databricks.
• Entraînement multinœud : Évoluez d’un seul GPU à un entraînement distribué multinœud avec réseau haute vitesse et configuration automatique de l’environnement. Pour les accélérateurs qui supportent l’entraînement multinœud, voir options matérielles.
• Inférence batch personnalisée : Exécutez une inférence batch personnalisée à grande échelle sur des GPU distribués sans gérer les clusters GPU.

Migrer depuis l’environnement de calcul classique avec Genie Code

Genie Code peut aider à automatiser la refactorisation du code et la configuration de l’environnement dans des notebooks connectés à AI Runtime lorsque vous déplacez une charge de travail depuis classic compute. Pour la liste complète des étapes de migration, voir Migrer les charges de travail GPU classiques vers un environnement serverless.

Ce que Genie Code automatise

Genie Code peut vous aider pour les tâches de migration suivantes :

• Refactorisation : Convertit les notebooks ML Databricks Runtime, tels que ceux utilisant TorchDistributor, en notebooks Runtime IA qui utilisent le décorateur @distributed de databricks.air.
• Résolution des dépendances : Évalue les importations de notebooks, identifie les paquets manquants ou incompatibles, et configure un environnement GPU serverless.
• Diagnostic des erreurs multi-rangs : Analyse les journaux de sortie sur tous les nœuds afin d’isoler les causes profondes telles que les erreurs de mémoire (OOM) du GPU ou les blocages de communication.

Exemples de requêtes de migration pour Genie Code

Voici des exemples d’invites que vous pouvez donner à Genie Code :

• Conversion de code : « Migre ce notebook de TorchDistributor vers le décorateur databricks.air@distributed. »
• Configuration de l’environnement : « Inspecter les paquets importés, recommander soit Databricks AI, soit l’environnement Standard, et générer les commandes d’installation %pip requises. »
• Débogage : « Analyse les journaux d’entraînement distribué de tous les rangs afin de déterminer pourquoi la tâche a échoué. »

Ressources additionnelles

• Migrer les charges de travail GPU classiques vers le calcul serverless
• Guide de démarrage rapide de AI Runtime
• Configuration requise et disponibilité du runtime de l’IA