Sélectionner et configurer le calcul dans Azure Databricks
Intermédiaire
Ingénieur Data
Azure Databricks
Azure Databricks fournit plusieurs options de calcul optimisées pour différentes charges de travail. Ce module explore comment choisir le type de calcul approprié, configurer les paramètres de performances, gérer les autorisations d’accès et installer des bibliothèques. Vous allez apprendre à utiliser le calcul serverless par rapport au calcul classique, comment optimiser les clusters pour les coûts et les performances, ainsi que les meilleures pratiques pour sécuriser les ressources de calcul.
Objectifs d’apprentissage
À la fin de ce module, vous serez en mesure de :
- Choisir les types de calcul appropriés pour différentes charges de travail Azure Databricks
- Configurer les paramètres de performances de calcul, notamment les types de nœuds, la mise à l’échelle automatique et l’arrêt
- Activer les fonctionnalités de calcul telles que l’accélération Photon et sélectionner les versions de Databricks Runtime appropriées
- Configurer les autorisations d’accès au calcul et les modes d’accès de groupe dédié
- Installer et gérer des bibliothèques sur des ressources de calcul à l’aide de différentes méthodes
Prérequis
Les prérequis suivants doivent être remplis :
- Compréhension de base des concepts d’Azure Databricks
- Connaissance du catalogue Unity et de la gestion de l’espace de travail
- Connaissance des principes fondamentaux de Spark et de l’architecture de cluster