Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Configurez le calcul serverless ou classique pour les tâches dans un travail Lakeflow, puis choisissez le type approprié pour chaque tâche.
Important
Les limitations du calcul serverless pour les projets sont les suivantes :
-
La planification continue n’est prise en charge qu’avec des déclencheurs de streaming structuré bornés tels que
Trigger.AvailableNow. Consultez Exécuter des travaux en continu. - Aucune prise en charge des déclencheurs d’intervalle par défaut ou basés sur le temps dans Structured Streaming.
Pour plus de restrictions, voir Restrictions de l'informatique sans serveur.
Chaque projet peut comporter une ou plusieurs tâches. Définissez des ressources de calcul pour chaque tâche. Plusieurs tâches définies pour le même projet peuvent utiliser la même ressource de calcul.
Ressources de calcul recommandées pour chaque tâche
Le tableau suivant indique les types de capacité de calcul recommandés et pris en charge pour chaque type de tâche.
Remarque
Le calcul serverless pour les projets présente des limitations et ne prend pas en charge toutes les charges de travail. Consultez Limitations de l'informatique sans serveur.
| Tâche | Calcul recommandé | Ressources de calcul prises en charge |
|---|---|---|
| Notebooks | Travaux serverless | Jobs sans serveur, jobs classiques, tâches classiques à usage universel |
| Script en Python | Travaux serverless | Jobs sans serveur, jobs classiques, tâches classiques à usage universel |
| Roue Python | Travaux serverless | Jobs sans serveur, jobs classiques, tâches classiques à usage universel |
| SQL | Entrepôt SQL sans serveur | Entrepôt SQL sans serveur, entrepôt SQL pro |
| Pipelines de Lakeflow | Pipeline sans serveur | Pipeline serverless, pipeline classique |
| dbt | Entrepôt SQL sans serveur | Entrepôt SQL sans serveur, entrepôt SQL pro |
| Commandes CLI dbt | Travaux serverless | Jobs sans serveur, jobs classiques, tâches classiques à usage universel |
| JAR | Travaux serverless | Jobs sans serveur, jobs classiques, tâches classiques à usage universel |
| Soumission Spark | Projets classiques | Projets classiques |
La tarification des travaux Lakeflow est liée au calcul utilisé pour exécuter des tâches. Pour plus d’informations, consultez Tarification Databricks.
Configurer le calcul pour les tâches
Le calcul des travaux classiques est configuré directement à partir de l’interface utilisateur des travaux Lakeflow, et ces configurations font partie de la définition du travail. Tous les autres types de capacité de calcul disponibles stockent leurs configurations avec d’autres ressources d’espace de travail. Le tableau suivant fournit plus de détails :
| Type de capacité de calcul | Détails |
|---|---|
| Capacité de calcul de jobs Classic | Vous configurez la capacité de calcul pour les projets classiques à l’aide de la même IU et des mêmes paramètres que ceux disponibles pour le calcul à usage général. Consultez Informations de référence sur la configuration de calcul. |
| Calculs serverless pour les travaux | Si votre espace de travail est activé pour le catalogue Unity et le calcul serverless pour les jobs, le calcul serverless est la norme pour toutes les tâches qui le supportent. Azure Databricks gère les paramètres de calcul pour le calcul sans serveur. Consultez Exécuter vos travaux Lakeflow avec un calcul serverless pour les flux de travail. |
| Entrepôts de données SQL | Les entrepôts SQL serverless et pro sont configurés par les administrateurs de l’espace de travail ou les utilisateurs disposant de privilèges de création de groupement illimités. Vous configurez les tâches à exécuter sur des entrepôts SQL existants. Consultez Se connecter à un entrepôt SQL. |
| Calcul des pipelines Lakeflow | Vous configurez les paramètres de calcul pour les pipelines Lakeflow pendant la configuration du pipeline. Consultez Configurer le calcul classique pour les pipelines. Azure Databricks gère les ressources de calcul pour les pipelines serverless Lakeflow. Consultez Configurer un pipeline serverless. |
| Calcul à usage général | Vous pouvez éventuellement configurer des tâches à l’aide du calcul à usage général classique. Databricks ne recommande pas cette configuration pour les projets de production. Consultez les informations de référence sur la configuration de calcul et les exceptions limitées. |
Pour les tâches batch planifiées comprenant des tâches serverless prises en charge, évaluez le mode standard afin de réduire les coûts lorsque des exécutions représentatives répondent à vos exigences en matière de délai d’exécution et de fraîcheur des données. Utilisez le mode optimisé pour les performances pour un retour rapide ou lorsque le mode standard ne répond pas à vos exigences de timing. Voir Choisir un mode pour votre charge de travail.
Pour les tâches prises en charge qui s’exécutent sur une ressource de calcul classique utilisant le mode dépendance Environnements , gérez les dépendances avec les spécifications d’environnement de travail au lieu du paramètre de tâche des bibliothèques dépendantes . Voir Utiliser des environnements dans un emploi.
Partager la capacité de calcul entre les tâches
Configurez les tâches pour utiliser les mêmes ressources de calcul afin d'optimiser l'utilisation des ressources avec des tâches qui orchestrent plusieurs tâches. Le partage de la capacité de calcul entre les tâches peut réduire la latence associée aux temps de démarrage.
Vous pouvez utiliser une seule ressource de capacité de calcul pour exécuter toutes les tâches qui font partie du projet ou plusieurs ressources optimisées pour des charges de travail spécifiques. Toute capacité de calcul configurée dans le cadre d’un projet est disponible pour toutes les autres tâches du projet.
Le tableau suivant met en évidence les différences entre la capacité de calcul du projet configurée pour une seule tâche et la capacité de calcul du projet partagé entre plusieurs tâches :
| Une seule tâche | Partagée entre les tâches | |
|---|---|---|
| Start | Lorsque l’exécution de la tâche commence. | Lorsque la première exécution de tâche configurée pour utiliser la ressource de capacité de calcul commence. |
| Terminer | Une fois la tâche exécutée. | Après l’exécution de la dernière tâche configurée pour utiliser la ressource de calcul. |
| Nœud de calcul inactif | Non applicable. | La ressource de calcul reste activée et en veille pendant que les tâches qui n'utilisent pas cette ressource s'exécutent. |
Un cluster de travail partagé est limité à une seule exécution de travail et ne peut pas être utilisé par d’autres travaux ou d’autres exécutions du même travail.
Les bibliothèques ne peuvent pas être déclarées dans la configuration d’un cluster de travail partagé. Ajouter des dépendances au paramètre de tâche des bibliothèques dépendantes pour le calcul utilisant le mode Cluster libraries , ou à une spécification d’environnement de travail pour une ressource de calcul classique utilisant le mode dépendance Environnements .
État partagé du pilote entre les tâches
Lorsque plusieurs tâches partagent une ressource de calcul des tâches, les tâches s’exécutent sur la même JVM du pilote. L’état des classes ainsi que les singletons persistent d’une tâche à l’autre pendant toute la durée de l’exécution du travail. Pour la plupart des charges de travail, cela est transparent, mais tenez compte des implications suivantes :
- Les singletons Scala et les objets compagnons sont partagés à travers les tâches. L’état mutable dans un objet complémentaire Scala persiste entre les tâches qui s’exécutent sur le même cluster partagé. Si des tâches parallèles lisent ou écrivent dans la même variable d’objet complémentaire, la valeur d’une tâche peut remplacer celle d’une autre. Pour obtenir un exemple de travail, consultez l’article De la Base de connaissances sur les flux de travail multi-tâches utilisant des valeurs de paramètre incorrectes.
- Les bibliothèques chargées par une tâche restent disponibles pour les tâches suivantes pendant toute la durée de l’exécution du job.
Si votre code nécessite une isolation au niveau des tâches, utilisez l’une des approches suivantes :
- Configurez chaque tâche pour utiliser une ressource de calcul de travaux distincte.
- Ajoutez des dépendances de tâche explicites afin que les tâches s’exécutent de manière séquentielle plutôt qu’en parallèle.
- Refactorisez le code pour éviter de compter sur l’état mutable singleton ou partagé. Par exemple, transmettez explicitement des paramètres à chaque fonction au lieu de les lire à partir d’un objet complémentaire.
Réviser, configurer et échanger des ressources de calcul des travaux
La section Calcul du volet Détails du travail répertorie tous les calculs configurés pour les tâches du travail actuel.
Les tâches configurées pour utiliser une ressource de capacité de calcul sont mises en évidence dans le graphique de tâche lorsque vous passez sur la spécification de capacité de calcul.
Utilisez le bouton Échanger pour modifier la ressource de calcul pour toutes les tâches associées à une ressource de calcul.
Lorsque vous faites passer les tâches prises en charge au calcul sans serveur, choisissez également le mode performance du job. Les nouveaux jobs sans serveur sont par défaut en mode optimisé pour les performances. Pour utiliser le mode standard, désactivez Performance optimized dans le panneau Job details.
Les ressources de calcul des travaux classiques disposent d’une option Configurer. D’autres ressources de capacité de calcul vous permettent de consulter et de modifier les détails de configuration de la capacité de calcul.
Ressources additionnelles
Pour plus d’informations sur la configuration des travaux classiques Azure Databricks, consultez Configurer le calcul classique pour les travaux Lakeflow.