Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Migrez les charges de travail existantes, améliorez les performances d’entraînement, suivez l’utilisation du GPU et dépannez les erreurs courantes.
| Guide | Description |
|---|---|
| Pourquoi utiliser AI Runtime | Comparez AI Runtime avec Databricks Runtime ML Classic Compute pour le coût, l’expérience développeur et la mise à l’échelle. |
| Migrer les charges de travail classiques sur GPU | Transférez une charge de travail d’apprentissage profond existante d’un cluster classique Databricks vers l’exécution IA. |
| Migrer depuis Slurm | Mappez vos scripts batch Slurm, lanceurs distribués et stockage partagé sur la interface de commande de Databricks. |
| Optimisez la performance de votre charge de travail | Améliorer le débit de formation et rendre les tâches de longue durée plus résilientes face aux échecs. |
Suivre l’utilisation et les coûts
Vous pouvez surveiller vos dépenses GPU d’IA Runtime en interrogeant la table du système de consommation facturable (system.billing.usage). La requête suivante renvoie l'utilisation totale des charges de travail GPU sans serveur :
SELECT
SUM(usage_quantity)
FROM
system.billing.usage
WHERE
product_features.serverless_gpu IS NOT NULL
Pour plus d’informations sur le schéma de la table d’utilisation facturable, consultez Référence de la table système d’utilisation facturable.
Pour connaître les tarifs actuels des GPU, consultez la page des tarifs d’AI Runtime.
Examples
Explorez des tutoriels de notebooks et des recettes de l’interface de ligne de commande (CLI) Databricks exécutables, organisées par tâche. Voir des exemples de AI Runtime.
Résolution des problèmes
Genie Code peut aider à résoudre les problèmes d’environnement et de dépendances et à enquêter sur les défaillances de GPU et de charges de travail distribuées dans les notebooks connectés à l’exécution IA. Voir Utiliser du code Genie avec l’exécution IA.
Pour déboguer de manière interactive sur le calcul, utilisez le terminal web pour exécuter des commandes shell, inspecter l’utilisation du GPU avec nvidia-smi, et gérer les fichiers. Le terminal web est disponible lorsqu’il est connecté à l’environnement d’exécution IA version 5 ou supérieure. Consultez les commandes Run shell dans Azure Databricks terminal web.
ValueError : la taille numpy.dtype a changé, peut indiquer une incompatibilité binaire. Attendu 96 à partir de l’en-tête C, a obtenu 88 de PyObject
L’erreur se produit généralement lorsqu’il existe une incompatibilité dans les versions NumPy utilisées lors de la compilation d’un package dépendant et de la version NumPy actuellement installée dans l’environnement d’exécution. Cette incompatibilité se produit souvent en raison des modifications apportées à l’API C de NumPy et est particulièrement notable de NumPy 1.x à 2.x. Cette erreur indique que le package Python installé dans le notebook a peut-être changé la version de NumPy.
Solution recommandée :
Vérifiez la version numPy dans le runtime et vérifiez qu’elle est compatible avec vos packages. Consultez les notes de version de l’environnement AI Runtime pour les environnements 6, 5 et 4 pour des informations sur les bibliothèques Python préinstallées. Si vous avez une dépendance sur une autre version de NumPy, ajoutez cette dépendance à votre environnement de calcul.
PyTorch ne peut pas trouver libcudnn lors de l’installation de torche
Lorsque vous installez une autre version de torch, vous pouvez voir l’erreur suivante : ImportError: libcudnn.so.9: cannot open shared object file: No such file or directory. Cela est dû au fait que torch recherche uniquement la bibliothèque cuDNN dans le répertoire local.
Solution recommandée :
Réinstallez les dépendances en ajoutant --force-reinstall lors de l’installation torch:
%pip install torch --force-reinstall