Mettre à niveau les pipelines Azure Data Factory avec les flux de données de mappage vers Fabric (Aperçu)

Utilisez l’expérience de mise à niveau intégrée Azure Data Factory pour mettre à niveau les pipelines éligibles contenant des flux de données de mappage vers Microsoft Fabric Data Factory. Lors de la mise à niveau, les flux de données de mappage pris en charge sont convertis en transformations de flux de données de mappage (MDF) dans Dataflow Gen2, et les pipelines associés sont mis à niveau vers des pipelines Fabric.

Cet article décrit les étapes supplémentaires de validation, d’exécution et de surveillance pour les transformations MDF mises à niveau. Pour un aperçu complet de l’expérience de mise à niveau d’Azure Data Factory, consultez Mettez à niveau vos pipelines Azure Data Factory vers Fabric Data Factory.

Prerequisites

Avant de commencer la mise à niveau, vérifiez que vous disposez des éléments suivants :

• Une instance d’Azure Data Factory avec au moins un pipeline contenant un Mapping Data Flow.
• Permission d’accéder à l’instance Azure Data Factory et à ses pipelines.
• Accès à un locataire avec Microsoft Fabric activé.
• Une licence Fabric. Si vous n'en avez pas, l'expérience d'intégration View in Fabric (Preview) vous invite à souscrire une licence gratuite, si l'inscription en libre-service est activée pour votre locataire.
• Accès à une capacité Fabric, comme une capacité d’évaluation.
• Autorisations de contributeur ou supérieures pour créer et mettre à jour des éléments dans l’espace de travail Fabric.
• Connexions Fabric pour les magasins de données source et de destination qui ne sont pas créées automatiquement lors de la mise à niveau.

L’expérience de mise à niveau crée automatiquement des connexions Fabric prises en charge lorsque leurs configurations d’authentification Azure Data Factory peuvent être mappées en toute sécurité. Pour d’autres connexions, sélectionnez une connexion Fabric existante ou créez-en une avant de commencer la mise à niveau.

Scénarios de mise à niveau pris en charge

L’expérience de mise à niveau intégrée prend en charge les pipelines Azure Data Factory éligibles qui contiennent des flux de données de mappage. Au cours du processus de mise à niveau :

• Les pipelines Azure Data Factory sélectionnés sont mis à niveau vers des pipelines Fabric.
• Les flux de données de mappage pris en charge sont convertis en transformations MDF dans Dataflow Gen2.
• Les pipelines et leurs flux de données de mappage référencés sont mis à jour ensemble.
• Les services liés pris en charge sont mappés vers des connexions Fabric nouvelles ou existantes.
• Les pipelines et flux de données de mappage originaux d’Azure Data Factory restent inchangés.

Avant de mettre à jour, examinez les limitations des transformations MDF, les connecteurs pris en charge, les transformations, les méthodes d’authentification et les exigences réseau.

Mettre à niveau les pipelines contenant des flux de données de mappage

Démarrez la mise à jour dans Azure Data Factory via View in Fabric (Preview). Voir votre usine dans Fabric ne met pas à niveau ni ne modifie vos pipelines. La mise à niveau ne commence qu’après avoir examiné la préparation, sélectionné les pipelines et sélectionné explicitement Démarrer la mise à niveau (Aperçu).

Étape 1 : Consultez votre Azure Data Factory dans Fabric

1. Ouvrez votre portail Azure Data Factory.

2. Sélectionner View in Fabric (Preview).

   

3. Si c’est la première fois que vous utilisez cette expérience, consultez et acceptez les conditions générales, puis sélectionnez Essayer Fabric Data Factory.

   

4. Suivez les étapes d’intégration pour :

   • Vérifiez ou obtenez une licence Fabric.
   • Sélectionnez une capacité Fabric.
   • Créez ou réutilisez l’espace de travail Fabric associé à votre Azure Data Factory.
   • Affichez Azure Data Factory en tant qu’élément dans l’espace de travail.
   • Si vous le souhaitez, partagez l’accès à l’espace de travail avec les utilisateurs et groupes existants d’Azure Data Factory.

   

Après la configuration, votre Azure Data Factory est visible dans Fabric. Rien n’est mis à jour, et l’exécution et la facturation du pipeline restent dans Azure Data Factory.

Pour tous les détails de la prise en main, voir Mettre à jour vos pipelines Azure Data Factory vers Fabric Data Factory.

Étape 2 : Préparation à la révision

1. Dans l’élément Azure Data Factory dans Fabric, sélectionnez Évaluer et mettre à niveau.

   

2. Examinez l’évaluation de l’état de préparation.

3. Identifiez les pipelines contenant des Mapping Data Flows que vous souhaitez mettre à niveau.

4. Examinez tout pipeline classé comme Review et abordez les capacités non supportées ou partiellement supportées avant de les mettre à jour.

5. Sélectionnez les pipelines éligibles que vous souhaitez mettre à niveau.

L’évaluation est en lecture seule et ne modifie ni ne met à niveau les pipelines sélectionnés.

Étape 3 : Examiner les connexions

1. Sélectionnez Vérifier les connexions.
2. Examinez les services liés Azure Data Factory utilisés par les pipelines sélectionnés et les flux de données de mappage sélectionnés.
3. Vérifiez les connexions qui ont été créées automatiquement.
4. Pour les connexions qui n'ont pas été créées automatiquement, sélectionnez une connexion Fabric existante ou créez-en une nouvelle.
5. Confirmez que chaque source et chaque destination requise est mappée à une connexion Fabric valide.

Étape 4 : Démarrez la mise à niveau

1. Examinez les pipelines et les correspondances de connexion sélectionnés.
2. Sélectionnez Démarrer la mise à jour (Aperçu).
3. Attendez que la mise à niveau se termine.
4. Examinez le statut de chaque élément mis à niveau.

Pendant la mise à niveau :

• Les pipelines Azure Data Factory sélectionnés sont mis à jour vers des pipelines Fabric.
• Les flux de données cartographiés pris en charge référencés par les pipelines sélectionnés sont convertis en transformations MDF dans Dataflow Gen2.
• Les pipelines et leurs flux de données de mappage sont mis à jour ensemble.
• Les éléments mis à jour sont placés dans un dossier dont le nom est préfixé par le nom de la source Azure Data Factory.
• Les pipelines source Azure Data Factory et les Mapping Data Flows restent inchangés.

Valider les transformations de flux de données de cartographie mises à niveau

Après la mise à jour, ouvrez les résultats de la mise à jour ou le dossier contenant les éléments mis à jour, et validez les transformations MDF avant d’exécuter les pipelines.

Ouvrez l’élément Dataflow Gen2 mis à niveau

1. Ouvrez l’objet Dataflow Gen2 mis à niveau.

2. Vérifiez la logique de transformation MDF mise à niveau.

3. Validez le graphe de transformation.

   

Sauvegarder la transformation de flux de données de mappage mise à niveau

1. Ouvrez le menu Enregistrer et exécuter .

2. Cliquez sur Enregistrer.

   

Exécuter les pipelines mis à niveau

Après validation, exécutez le pipeline Fabric mis à niveau.

Configurer l’exécution du pipeline

1. Ouvrez le pipeline Fabric amélioré.

2. Sélectionnez l’activité Dataflow.

3. Passez en revue la requête de transformation MDF sélectionnée.

4. Configurez les paramètres d’exécution Spark si nécessaire.

   

Exécutez le pipeline amélioré

1. Validez le pipeline.

2. Vérifiez que toutes les connexions requises sont associées et authentifiées.

3. Réactivez toutes les activités que vous avez désactivées à cause de connexions non cartographiées.

4. Faites fonctionner le pipeline manuellement.

5. Comparez ses résultats avec le pipeline original Azure Data Factory.

6. Après validation, exécutez ou configurez, et réactivez les plannings et déclencheurs selon les besoins.

   

Valider les résultats de la mise à niveau

Avant la coupure de production, validez la charge de travail mise à niveau dans un environnement non productif :

• Confirmez que vous avez mappé et authentifié toutes les connexions Fabric requises.
• Comparez les comptes de lignes source et récepteur avec l’exécution originale d’Azure Data Factory.
• Valider le schéma, les types de données, la gestion nulle et le comportement de dérive du schéma.
• Valider les expressions du flux de données de mappage et les résultats de transformation.
• Vérifiez le comportement de l’insertion, de la mise à jour, de l’upsert et de la suppression.
• Validez les paramètres et le contenu dynamique.
• Confirmez le comportement idempotent lors de la réexécution des pipelines.
• Examinez la gestion des erreurs et la surveillance.
• Comparez le comportement et les performances à l’exécution sans supposer une durée d’exécution identique.
• Réactivez et configurez les déclencheurs seulement après avoir complété la validation de bout en bout.

Les pipelines et flux de données de mappage d’origine d’Azure Data Factory restent disponibles pour une validation côte à côte.

Surveillez les exécutions mises à niveau de transformations de flux de données de cartographie

Vous pouvez surveiller les exécutions de pipelines mis à niveau et de transformations MDF via :

• Volet de sortie du pipeline
• Hub de surveillance
• Courses d’activités
• Détails de l’exécution de l’activité de flux de données

Pour passer en revue les détails de l’exécution :

1. Ouvrez les détails de l’exécution du pipeline.

2. Sélectionnez l’activité Dataflow dans Exécutions d’activité.

3. Consultez l’état de l’exécution et les détails du temps d’exécution.

   

   

Limitations

Les limitations générales de mise à niveau d’Azure Data Factory s’appliquent également aux pipelines contenant des Mapping Data Flows. Examinez les limitations connues avant de sélectionner les pipelines à mettre à jour.

Les limitations suivantes s’appliquent actuellement aux transformations MDF lors de la prévisualisation publique :

Contenu connexe

• Mettez à jour vos pipelines Azure Data Factory vers Fabric Data Factory
• Transformations dans les flux de données de mappage dans Dataflow Gen2 (préversion)
• Planification de mise à niveau pour Azure Data Factory vers Fabric Data Factory
• Meilleures pratiques pour passer d’Azure Data Factory à Fabric Data Factory
• Tarification de Dataflow Gen2