Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Dataflow Gen2 vous permet de mettre en forme et de transformer facilement des données. Il offre une interface à faible code et plus de 300 transformations intégrées de données et d'IA, toutes alimentées par l'expérience familière Power Query que vous trouverez dans Excel, Power BI, Power Platform et Dynamics 365. Dataflow Gen2 prend également en charge l’exécution de transformation soutenue par Spark via des transformations de flux de données de mappage (MDF) pour les charges de travail natives et migrées.
Cette tarification s’applique à toutes les références SKU de capacité Fabric (F2 et versions ultérieures). La tarification ne s'applique pas aux capacités d'essai Fabric. Pour des références sur la consommation réelle de CU dans des scénarios courants, voir Références de coût et de performances de Dataflow Gen2.
Lorsque vous publiez un dataflow, il crée une définition qui s’exécute pendant l’actualisation. Le moteur Dataflow Gen2 utilise cette définition pour planifier et gérer la façon dont les requêtes s’exécutent sur des sources de données, des passerelles et des moteurs de calcul. Il construit des tables dans le stockage intermédiaire ou les envoie vers la destination de votre choix, pour vous permettre d'obtenir des résultats fiables sans effort supplémentaire.
Le diagramme montre les composants de l’architecture Dataflow Gen2 de Data Factory, notamment le Lakehouse utilisé comme zone de transit pour les données en cours d’ingestion, ainsi que l’élément Warehouse utilisé comme moteur de calcul pour écrire plus rapidement les résultats dans la zone de transit ou de sortie. Lorsque vous ne pouvez pas utiliser la capacité de calcul de l’entrepôt de données, ou lorsque vous désactivez la zone de transit pour une requête, le moteur Mashup extrait, transforme ou charge les données vers la zone de transit ou vers les destinations de données. Pour en savoir plus sur le fonctionnement de Dataflow Gen2, consultez Data Factory à la une : Dataflow Gen2.
Dataflow Gen2 peut exécuter des charges de travail à l’aide du moteur Mashup ou du moteur Spark. Lorsque les transformations MDF sont utilisées dans Dataflow Gen2, le calcul soutenu par Spark est utilisé pour l’exécution de transformation et le traitement des données.
Lorsque vous actualisez ou publiez un élément Dataflow Gen2, les unités de capacité fabric sont consommées pour les moteurs suivants :
- Calcul standard : vous êtes facturé pour celui-ci en fonction du temps d’évaluation des requêtes sur toutes vos requêtes dataflow qui s’exécutent via le moteur Mashup.
- Calcul de flux de données à grande échelle : vous êtes facturé lorsque la mise en scène est activée, en fonction de la durée d'utilisation du moteur SQL du Lakehouse (stockage de mise en scène) et du Warehouse (calcul de traitement).
- Copie rapide : Vous êtes facturé lorsque les connecteurs de copie rapide sont activés et peuvent être utilisés dans le Dataflow, selon la durée du travail de copie. Fast Copy s’exécute en parallèle sur plusieurs cœurs, donc cette durée correspond au temps total passé sur tous les cœurs utilisés par le job de copie, et non au temps mural du rafraîchissement.
- Calcul Spark : la facturation est basée sur la durée d’exécution de Spark et sur l’utilisation des cœurs Spark lorsque les transformations MDF sont exécutées lors des exécutions du pipeline. Les charges de travail de transformation MDF de Dataflow Gen2 s’exécutent actuellement via l’activité Dataflow de Pipeline Fabric.
Modèle de tarification de Dataflow Gen2
Détermination des tarifs
La tarification dataflow Gen2 dépend de la façon dont chaque requête utilise le calcul. Pour le calcul standard, les requêtes s’exécutent sur le moteur mashup. Selon que votre flux de données est Dataflow Gen2 (CI/CD), l’évaluation varie.
Dans Dataflow Gen2 (CI/CD), un taux à deux niveaux est appliqué à la durée de la requête :
- Si une requête s’exécute en moins de 10 minutes, elle est évaluée à 12 CU
- S’il s’exécute plus longtemps, chaque seconde supplémentaire est facturée à 1,5 unité de calcul (CU).
Si votre Dataflow Gen2 n’est pas CI/CD, le taux est de 16 CU appliqué à toute la durée de la requête.
Note
Lorsque vous utilisez le calcul partitionné, Dataflow Gen2 évalue chaque partition comme une unité de travail à part entière. Les charges de calcul standard sont basées sur la somme de la durée de traitement de chaque partition. L’exécution des partitions en parallèle raccourcit le temps total (horloge murale) pour compléter la séquence, tandis que la consommation totale de CU reflète le calcul combiné de toutes les partitions.
Pour les scénarios à grande échelle — lorsque le staging est activé —, les requêtes s’exécutent sur le moteur SQL de Lakehouse ou de Warehouse. Chaque seconde de temps de calcul utilise 6 CU secondes, de sorte que les requêtes plus longues consomment plus.
Si vous activez la copie rapide, il existe un débit distinct pour le déplacement des données : 1,5 CU, en fonction de la durée d’exécution de l’activité. La copie rapide équilibre automatiquement chaque scénario pour décider combien de cœurs utiliser, et la durée facturée correspond au temps total passé sur tous ces cœurs plutôt que le temps de l’horloge murale que l’on voit dans l’historique des rafraîchissements. Répartir le travail sur plusieurs cœurs raccourcit le temps écoulé, tandis que la durée facturée prend en compte chaque cœur utilisé par le travail de copie.
À la fin de chaque exécution, Dataflow Gen2 additionne l'utilisation des UC de chaque moteur et la facture en fonction de la tarification de la capacité Fabric dans votre région.
Tableau des taux de CU
| Type de moteur Dataflow Gen2 | Compteurs de consommation | Taux de consommation de CU Fabric | Granularité des rapports de consommation |
|---|---|---|---|
| Ordinateur standard (Dataflow Gen2 (CI/CD)) | En fonction de la durée d’exécution, en secondes, de chaque requête du moteur mashup. Le calcul standard a deux niveaux de tarification en fonction de la durée de la requête. | - Pendant toutes les secondes jusqu’à 10 minutes, 12 CU - Pour chaque seconde au-delà de 10 minutes, 1,5 CU |
Par élément Dataflow Gen2 |
| Calcul informatique standard (hors CI/CD) | En fonction de la durée d’exécution, en secondes, de chaque requête du moteur mashup. | 16 unités de calcul | Par élément Dataflow Gen2 |
| Calcul des flux de données à grande échelle | Selon la durée d’exécution, en secondes, du moteur SQL Lakehouse/Warehouse (avec le staging activé). | 6 unités de calcul (UC) | Par espace de travail |
| Déplacement des données | En fonction de la durée d’exécution de Fast Copy, mesurée comme le temps processeur total cumulé en secondes sur l’ensemble des cœurs utilisés par la tâche de copie. Dataflow équilibre automatiquement le nombre de cœurs utilisés par chaque scénario de copie rapide. | 1.5 unité(s) CU | Par élément Dataflow Gen2 |
| Le flux de données de mappage calcule les transformations (préversion) | En fonction de la durée d’exécution de transformation MDF en secondes à l’aide du calcul soutenu par Spark dans Dataflow Gen2. | 1,5 CU par heure-cœur Spark Exemple : un cluster Spark de 8 cœurs consomme 12 CU pour chaque heure d’exécution (8 × 1,5 CU). |
Par élément Dataflow Gen2 |
Tarification de la passerelle de données de réseau virtuel avec Dataflow Gen2
La passerelle de données du réseau virtuel (VNET) est facturée sous la forme de frais d’infrastructure supplémentaires, associés à une capacité Fabric. Cela signifie qu'il dispose de son propre compteur et qu'il fait l'objet d'une facture cohérente et supplémentaire pour toutes les courses de Fabric item.
La facture totale pour l’exécution de Dataflow Gen2 via la passerelle de données Réseau virtuel est calculée comme suit : Frais de dataflow Gen2 + frais de passerelle de données Réseau virtuel.
Les frais de la passerelle de données Réseau virtuel sont proportionnels à votre utilisation de la passerelle de données Réseau virtuel, l’utilisation étant définie comme le temps de fonctionnement, c’est-à-dire toute période pendant laquelle la passerelle de données Réseau virtuel est active.
Taux de consommation de CU de la passerelle de données du réseau virtuel : 4 CU
Pour en savoir plus, consultez le site Prix et facturation des passerelles de données du réseau virtuel.
Modifications apportées au taux de consommation des charges de travail Microsoft Fabric
Les taux de consommation sont susceptibles de changer à tout moment. Microsoft utilise des efforts raisonnables pour fournir une notification par e-mail et dans le produit. Les modifications sont effectives à la date indiquée dans les notes de publication et le blog Microsoft Fabric. Si une modification apportée à un taux de consommation de charge de travail Microsoft Fabric augmente matériellement les unités de capacité (CU) requises pour utiliser une charge de travail particulière, les clients peuvent utiliser les options d’annulation disponibles pour le mode de paiement choisi.
Calculer les coûts estimés à l’aide de l’application Métriques Fabric et de l’historique d’actualisation des flux de données
L’application de métriques de capacité Microsoft Fabric offre une visibilité de l’utilisation de la capacité pour tous les espaces de travail Fabric liés à une capacité. Elle est principalement utilisée par les administrateurs de capacité pour surveiller les performances des charges de travail et leur utilisation, par rapport à la capacité achetée. L’utilisation de l’application de métriques est le moyen le plus précis d’estimer les coûts des exécutions d’actualisation de Dataflow Gen2. Pour comprendre comment la tarification hiérarchisé a affecté vos coûts de calcul standard, vous devez également utiliser l’historique d’actualisation du flux de données.
Ces exercices vous montrent comment valider les coûts des flux de données CI/CD et non CI/CD. Pour le flux de données CI/CD avec un calcul standard, un exemple de travail est fourni, suivi d’instructions pour tous les autres scénarios.
Exercice 1 : Calcul standard pour un flux de données CI/CD
Le flux de données suivant comporte deux requêtes impliquant la transformation et la mise en lots est désactivée.
Dataflow Gen2 utilise uniquement le calcul standard.
Pour chaque requête, accédez à la durée de la requête à partir de l’historique d’actualisation et appliquez la formule suivante pour calculer la consommation de CU par requête.
Pour la première requête, la durée est de 2 131 secondes.
De même, pour la deuxième requête, la durée est de 913 secondes
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Pour la requête 1, la consommation calculée est de 9497 CU secondes et pour la requête 2, la consommation calculée est de 7670 CU secondes.
Agréger la consommation de capacité en CU secondes et valider la consommation dans l'application Fabric dédiée aux métriques de capacité. Dans ce scénario, l'application de métriques affiche 17 180 secondes CU d'utilisation de calcul standard, ce qui se compare bien à la consommation calculée de 17 167 secondes CU. Les écarts peuvent résulter de l’arrondi dans les rapports périodiques d’utilisation.
Exercice 2 : Calcul standard pour un dataflow non-CI/CD
Lorsque votre flux de données comprend des transformations et que le staging est désactivé, Dataflow Gen2 utilise uniquement la capacité de calcul standard.
Pour chaque requête, accédez à la durée de la requête à partir de l’historique d’actualisation et appliquez la formule suivante pour calculer la consommation de CU par requête.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Agréger la consommation de capacité en CU secondes et valider la consommation dans l'application Fabric dédiée aux métriques de capacité.
Exercice 3 : Présentation de la consommation de calcul à grande échelle (flux de données CI/CD et non CI/CD)
Si votre dataflow utilise la mise en lots, pour déterminer la quantité de calcul à grande échelle que vous avez utilisée, ouvrez l'application Métriques de capacité Fabric et filtrez le nom de votre dataflow. Cliquez avec le bouton droit sur le nom, recherchez le calcul à grande échelle dans la liste des opérations, puis vérifiez la durée.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Exercice 4 : Comprendre la consommation des ressources de calcul pour la copie rapide (flux de données avec et sans CI/CD)
Si votre flux de données utilise la copie rapide, pour déterminer la quantité de calcul Data Movement que vous avez utilisée, ouvrez l’application Métriques de capacité Fabric et appliquez un filtre sur le nom de votre flux de données. Cliquez avec le bouton droit sur le nom, recherchez déplacement des données dans la liste des opérations, puis vérifiez la durée.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5