Configurer des pools de démarrage dans Microsoft Fabric

Les pools de démarrage fournissent un démarrage rapide de session Spark dans Fabric. Vous pouvez lancer votre travail Spark rapidement, plutôt que d'attendre le provisionnement complet du cluster à chaque exécution.

Les pools de démarrage utilisent des nœuds moyens et prennent en charge la mise à l’échelle automatique en fonction de la demande de charge de travail. Les limites par défaut et maximales dépendent de votre référence SKU de capacité Fabric.

Important

Les pools de démarrage sont une optimisation Microsoft gérée et optimale qui réduit le temps de démarrage Spark à l’aide de la capacité préchauffée. La capacité du pool de démarrage n’est pas garantie pour chaque exécution. Lorsque la capacité préchauffée est disponible, les sessions peuvent généralement démarrer en secondes. Quand ce n'est pas le cas, Fabric démarre la session à l'aide de la capacité standard à la demande, ce qui peut prendre plus de temps.

Conseil

Pour les charges de travail qui ont besoin d’un démarrage de session prévisible et cohérent, comme les définitions de travaux Spark planifiées ou d’autres travaux sensibles à la latence, utilisez un pool dynamique personnalisé. Les pools dynamiques personnalisés conservent les clusters dédiés au chaud selon une planification que vous contrôlez (la fenêtre active), de sorte que les sessions démarrent de manière cohérente en environ 5 secondes pendant cette fenêtre. Étant donné que les clusters sont hydratés à l’avance, vos bibliothèques d’environnement sont préinstallées sur le cluster, ce qui supprime le temps de personnalisation de la bibliothèque par session.

Prerequisites

Pour personnaliser un pool de démarrage, vous avez besoin du rôle Administrateur dans l’espace de travail.

Comprendre les paramètres du pool de démarrage

Dans les paramètres de l’espace de travail, vous pouvez configurer ces contrôles de pool de démarrage :

  • Mise à l’échelle automatique : si elle est activée, votre pool Apache Spark effectue automatiquement un scale-up et un scale-down en fonction de l’activité.
  • Allouer dynamiquement des exécuteurs : s’il est activé, Spark alloue et libère des exécuteurs en fonction de la demande de charge de travail.

Les deux options sont activées par défaut. Utilisez les curseurs pour augmenter ou diminuer les limites configurées pour votre charge de travail.

Configurer les paramètres du pool de démarrage

Pour gérer le pool de démarrage associé à votre espace de travail :

  1. Accédez à votre espace de travail, puis sélectionnez Paramètres de l’espace de travail.

    Capture d’écran montrant où sélectionner Ingénierie des données dans le menu des paramètres de l’espace de travail.

  2. Développez Data Engineering/Science dans le volet gauche, puis sélectionnez Paramètres Spark.

    Capture d’écran montrant les paramètres du pool de démarrage.

  3. Sélectionnez StarterPool dans la liste déroulante Par défaut du pool d’espaces de travail pour afficher une vue d’ensemble des paramètres du pool de démarrage.

  4. Sélectionnez l’icône de crayon dans la section Détails du pool pour modifier les paramètres du pool de démarrage.

  5. Dans la vue d’édition, configurez la mise à l’échelle automatique et l’allocation dynamique des exécuteurs.

    Utilisez les curseurs pour augmenter ou diminuer chaque paramètre en fonction des besoins de votre charge de travail.

    Capture d’écran montrant les réglages de mise à l’échelle automatique et d’allocation dynamique des exécuteurs avec des curseurs pour les pools de démarrage.

    Vous pouvez conserver les valeurs par défaut ou réduire les limites des charges de travail plus petites. Vous pouvez également augmenter les valeurs jusqu’à la valeur maximale autorisée pour votre référence SKU.

  6. Après avoir apporté vos modifications, sélectionnez Enregistrer pour appliquer les nouveaux paramètres du pool de démarrage ou sélectionnez Ignorer pour ignorer vos modifications. Sinon, vous pouvez sélectionner la flèche arrière pour quitter sans enregistrer ou annuler les modifications.

Le tableau suivant présente les limites de nœud de pool de démarrage par défaut et maximales par référence SKU.

Nom du SKU Unités de capacité Spark vCores Taille du nœud Nombre maximum de nœuds par défaut Nombre maximum de nœuds
F2 2 4 Moyenne 1 1
F4 4 8 Moyenne 1 1
F8 8 16 Moyenne 2 2
F16 16 32 Moyenne 3 4
F32 32 64 Moyenne 8 8
F64 64 128 Moyenne 10 16
(Capacité d'essai) 64 128 Moyenne 10 16
F128 128 256 Moyenne 10 32
F256 256 512 Moyenne 10 64
F512 512 1 024 Moyenne 10 128
F1024 1 024 2 048 Moyenne 10 200
F2048 2 048 4096 Moyenne 10 200
F4096 4096 8192 Moyenne 10 200
F8192 8192 16384 Moyenne 10 200

Contenu connexe

  • Last updated on