Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Ce guide couvre les stratégies de mise à niveau, les critères de décision et les approches étape par étape pour transférer les pipelines Azure Data Factory (ADF) vers Fabric Data Factory. Pour les meilleures pratiques au niveau de la mise en œuvre pour chaque composant de mise à niveau, voir Meilleures pratiques de mise à niveau.
Pourquoi procéder à une mise à niveau ?
Passer des pipelines ADF et Synapse à Fabric Data Factory est bien plus qu'un simple changement : c'est une opportunité de simplifier la gouvernance, standardiser les patterns et utiliser de nouvelles fonctionnalités pour améliorer votre stratégie d'intégration des données.
Fabric offre de nombreuses nouvelles fonctionnalités, notamment :
- Activités de pipeline intégrées telles que l’e-mail et Teams pour le routage des messages
- Ci/CD intégré (pipelines de déploiement) sans dépendances Git externes
- Intégration transparente de l’espace de travail à OneLake, Warehouse et Lakehouse pour l’analytique unifiée
- Le modèle de données sémantique simplifié actualise cette mise à l’échelle pour répondre aux besoins des données en libre-service et d’entreprise
- Fonctionnalités d’IA intégrées avec Copilot pour vous aider à créer et gérer des pipelines
Pour obtenir une comparaison détaillée, consultez le guide de comparaison Azure Data Factory et Fabric Data Factory.
Différences architecturales critiques
Avant de passer d’Azure Data Factory à Fabric Data Factory, considérez ces différences architecturales critiques qui ont tendance à avoir le plus grand impact sur la planification des mises à niveau :
| Catégorie | Azure Data Factory. | Fabric Data Factory | Impact de la mise à niveau |
|---|---|---|---|
| Code personnalisé | Activité personnalisée | Activité Azure Batch | Le nom de l’activité est différent, mais prend en charge les mêmes fonctionnalités. |
| Dataflows | Cartographie des flux de données avec exécution basée sur Spark | Dataflow Gen2 prend en compte les transformations de Mapping Data Flow (MDF) avec une exécution basée sur Spark. Les transformations MDF sont actuellement en aperçu. | Les flux de données éligibles Azure Data Factory et Azure Synapse Analytics Mapping peuvent être migrés vers des transformations MDF dans Dataflow Gen2 grâce à l’expérience de migration intégrée. Examinez les connecteurs supportés, les transformations, les méthodes d’authentification et les limitations de prévisualisation avant la migration. Pour les scénarios non pris en charge, repensez la transformation en utilisant Power Query dans Dataflow Gen2, Fabric Warehouse SQL, des notebooks ou une autre fonctionnalité Fabric. |
| Groupes de données | Objets de jeu de données distincts et réutilisables | Les propriétés sont définies en ligne au sein des activités | Lorsque vous convertissez de ADF en Fabric, les informations sur le « dataset » se trouvent dans chaque activité. |
| Connexions dynamiques | Les propriétés du service lié peuvent être dynamiques à l’aide de paramètres | Les propriétés de connexion ne prennent pas en charge les propriétés dynamiques, mais les activités de pipeline peuvent utiliser du contenu dynamique pour les objets de connexion | Pour les solutions basées sur l’architecture pilotée par les métadonnées qui s’appuient sur des connexions paramétrables, paramétrez l’objet de connexion dans Fabric. |
| Paramètres Globaux | Paramètres globaux | Bibliothèque de variables Fabric | Différents schémas d’implémentation et types de données, bien que nous ayons un guide de mise à niveau. |
| Activités HDInsight | Cinq activités distinctes (Hive, Pig, MapReduce, Spark, Streaming) | Activité HDInsight unique | Vous n’avez besoin que d’un seul type d’activité lors de la conversion, mais toutes les fonctionnalités sont prises en charge. |
| Identity | Identité gérée | Identité de l’espace de travail Fabric | Différents modèles d’identité, avec une certaine planification nécessaire pour changer d’identité. |
| Coffre-fort de clés | Intégration mature avec tous les types d’authentification | Intégration limitée via Fabric Key Vault Reference | Comparez les sources et l’authentification Key Vault actuellement prises en charge avec vos configurations existantes. |
| Exécution du pipeline | Exécuter une activité de pipeline | Appeler l’activité de pipeline avec le type de connexion FabricDataPipeline | Le nom de l’activité et les exigences de connexion changent lors de la conversion. |
| Scheduling | Un déclencheur pour de nombreux pipelines ou de nombreux déclencheurs par pipeline avec une gestion centralisée | Un programme par pipeline ou plusieurs programmes par pipeline sans réutilisation de programme ni hub central | Fabric nécessite actuellement une gestion de planification de chaque pipeline. |
Chemins de mise à niveau
Les chemins d’amélioration dépendent de vos ressources ADF et de leur parité de fonctionnalités. Les options sont les suivantes :
- Éléments Azure Data Factory dans Fabric pour assurer la continuité. - Une vue en direct de votre instance Azure Data Factory existante dans Fabric, permettant une mise à jour et des tests progressifs. Cette expérience est aussi une bonne première étape avant d’utiliser des outils de conversion ou de replatformer.
- Utilisez l’expérience de mise à niveau intégrée pour les pipelines Azure Data Factory - Évaluez directement la préparation du pipeline dans Azure Data Factory, examinez les résultats de compatibilité, et mettez à niveau les pipelines supportés vers un espace de travail Fabric via une UX guidée.
- Mise à jour manuelle pour environnements complexes - Reconstruire les pipelines dans Fabric pour exploiter de nouvelles fonctionnalités et optimiser les performances. Cette approche est nécessaire pour les pipelines à faible parité ou logique personnalisée, mais c’est aussi une opportunité de moderniser votre architecture.
Éléments Azure Data Factory dans votre espace de travail Fabric
Ajoutez un ADF existant à votre espace de travail Fabric pour obtenir une visibilité et une gouvernance immédiates tout en améliorant progressivement. Cette approche est idéale pour la découverte, l’attribution des responsabilités et les tests en parallèle, car les équipes peuvent voir les pipelines, les organiser dans des espaces de travail Fabric et planifier les basculements par domaine. Utilisez les éléments Azure Data Factory pour cataloguer ce qui existe, hiérarchiser d’abord les pipelines à valeur la plus élevée/à risque le plus faible et établir des conventions (nommage, dossiers, réutilisation de connexion) que vos scripts de conversion et outils partenaires peuvent suivre de manière cohérente.
Vous montez dans Fabric via le type d’élément Azure Data Factory : Apportez votre Azure Data Factory vers Fabric.
Mettez à jour les pipelines Azure Data Factory en utilisant l’expérience intégrée
Fabric offre une expérience de mise à jour intégrée, axée sur l’évaluation, que vous pouvez utiliser pour évaluer et mettre à jour les pipelines Azure Data Factory directement via les expériences utilisateur Azure Data Factory et Fabric – sans scripts ni outils personnalisés. Cette expérience vous aide à :
- Évaluez la préparation du pipeline et de l’activité directement dans Azure Data Factory.
- Comprenez les lacunes de compatibilité avant de faire une mise à niveau.
- Montez votre Azure Data Factory dans un espace de travail Fabric pour une révision côte à côte.
- Mettez à niveau progressivement les pipelines pris en charge dans Fabric à partir de votre Data Factory montée.
- Mettez à niveau les flux de données de mappage pris en charge dans certains pipelines vers des transformations MDF dans Dataflow Gen2.
- Prévoyez une correction ou une refonte pour les éléments nécessitant des mises à jour, utilisant des fonctionnalités non prises en charge ou qui arrivent prochainement.
Chaque pipeline et activité est clairement catégorisée (Prêt, Besoin d’examen, Bientôt disponible, ou Non compatible), aidant les équipes à planifier intentionnellement les mises à jour et à valider les résultats avant de changer de charge de production. Cette approche convient parfaitement aux clients qui souhaitent une voie de mise à niveau guidée, à faible risque et progressive, tout en maintenant une visibilité sur les fonctionnalités non prises en charge et les prochaines étapes. Pour obtenir des instructions pas à pas, consultez Mettre à niveau vos pipelines Azure Data Factory vers Fabric.
L’expérience de mise à niveau intégrée prend également en charge les pipelines éligibles contenant des flux de données de mappage. Les flux de données cartographiés pris en charge sont mis à niveau vers des transformations MDF dans Dataflow Gen2, préservant leur logique de transformation et leur modèle d’exécution basé sur Spark. Cette fonctionnalité est actuellement en préversion. Pour les exigences, les limitations et les instructions de mise à niveau, voir Mettre à niveau les pipelines Mapping Data Flow d’Azure Data Factory vers Fabric.
Mise à niveau manuelle
La mise à jour manuelle est nécessaire pour des pipelines complexes à faible parité, mais c'est aussi une occasion de moderniser votre architecture et d'adopter les fonctionnalités intégrées de Fabric. Cette voie nécessite une planification et un développement plus initials, mais peut générer des avantages à long terme en termes de facilité de maintenance, de performances et de coût.
Pour améliorer efficacement, suivez ces étapes :
- Évaluer et inventorier : cataloguer toutes les ressources ADF, notamment les pipelines, les jeux de données, les services liés et les runtimes d’intégration. Identifiez les dépendances et les modèles d’utilisation.
- Identifiez les doublons et les éléments inutilisés : Nettoyez les éléments inutilisés ou redondants dans ADF pour simplifier la mise à niveau et votre environnement d’intégration des données.
- Identifiez les lacunes : Utilisez l’outil d’évaluation des pipelines et examinez la parité des connecteurs et la parité d’activité pour identifier les écarts entre vos pipelines ADF et Fabric, et planifiez des alternatives.
- Passez en revue les nouvelles fonctionnalités : utilisez notre guide de décision de déplacement des données et le guide de décision d’intégration des données pour déterminer les outils Fabric qui conviennent le mieux à vos besoins.
- Planifier : Consultez les meilleures pratiques de mise à jour pour prendre en compte chacun de vos articles, ainsi que les consignes pour tirer le meilleur parti des capacités améliorées de Fabric.
- Si vous utilisez des paramètres globaux dans ADF, prévoyez de les mettre à niveau vers des bibliothèques de variables Fabric. Consultez Convertir les paramètres globaux ADF en bibliothèques de variables Fabric pour voir les étapes détaillées.
- Transition ADF : Envisagez d’ajouter un élément Azure Data Factory dans Microsoft Fabric comme première étape de mise à niveau, permettant une transition progressive sur une seule plateforme.
- Priorisez : classez vos pipelines en fonction de l’impact sur l’entreprise, de la complexité et de la facilité de mise à niveau.
- Automatisez autant que possible : Utilisez l’expérience de mise à niveau intégrée pour évaluer, mettre à jour et valider progressivement les pipelines avant de déplacer les charges de travail en production. Pour plus d’informations, consultez l’outil Mise à niveau.
-
Considérez les outils : Utilisez ces outils pour faciliter la récréation :
- Utilisez des modèles Fabric comme point de départ pour les pipelines avec des scénarios d’intégration de données courants.
- Utiliser le paramétrage pour créer des pipelines réutilisables
- Utiliser Copilot dans Fabric Data Factory pour faciliter la création de pipelines
- Utiliser des pipelines de déploiement pour CI/CD et contrôle de version
-
Mise à jour manuelle : Pour les scénarios non pris en charge par d’autres méthodes d’amélioration, reconstruisez-les dans Fabric :
- Recréer des connexions : configurer des connexions dans Fabric pour remplacer les services liés dans ADF
- Récréer les activités : configurez vos activités dans vos pipelines, en remplaçant les activités non prises en charge par des alternatives Fabric ou en utilisant l’activité de pipeline Invoke
- Planifier et définir des déclencheurs : reconstruire des planifications et des déclencheurs d’événements dans Fabric pour qu’ils correspondent à vos planifications ADF
- Testez en profondeur : Validez les pipelines améliorés par rapport aux résultats attendus, aux benchmarks de performance et aux exigences de conformité.
Exemples de scénarios de mise à niveau
Le passage d’ADF à Fabric peut impliquer différentes stratégies en fonction de votre cas d’usage. Cette section présente les chemins d’amélioration courants et les considérations pour vous aider à planifier efficacement.
- Scénario 1 : Pipelines ADF et flux de données
- Scénario 2 : ADF avec CDC, SSIS et Airflow
- Scénario 3 : Mise à niveau de pipeline à l’aide de l’expérience intégrée
- Scénario 4 : Éléments ADF dans un espace de travail Fabric
Scénario 1 : Pipelines ADF et flux de données
Modernisez votre environnement ETL en migrant les pipelines et les flux de données vers Fabric. Planifiez ces éléments :
- Recréer les services liés en tant que connexions Fabric, ou mapper les services liés vers les connexions Fabric existantes lors de l’expérience de mise à niveau intégrée.
- Recréez des paramètres globaux en tant que bibliothèques de variables.
- Définissez les propriétés du jeu de données en ligne au sein des activités du pipeline.
- Remplacer les SHIR (runtimes d’intégration auto-hébergés) par des OPDG (passerelles de données sur site) et les IR VNet par des passerelles de données réseau virtuelles.
- Pour les pipelines éligibles contenant des flux de données de mappage, utilisez l’expérience de mise à niveau intégrée pour mettre à niveau les flux de données de mappage pris en charge vers des transformations MDF dans Dataflow Gen2.
- Examinez les limitations des transformations MDF, les connecteurs supportés, les transformations, les méthodes d’authentification et les exigences réseau avant de mettre à jour.
- Pour la cartographie des flux de données utilisant des fonctionnalités non prises en charge dans l’aperçu actuel, corrigez les composants non pris en charge ou repensez la transformation en utilisant Power Query dans Dataflow Gen2, Fabric Warehouse SQL, notebooks Spark ou une autre capacité Fabric appropriée.
- Reconstruire les activités ADF non prises en charge en utilisant des alternatives Fabric ou l'activité de pipeline Invoke. Les activités non prises en charge sont les suivantes :
- Data Lake Analytics (U-SQL), un service Azure obsolète.
- Activité de validation, que vous pouvez reconstruire en utilisant Get Metadata, des boucles pipeline et des activités If.
- Power Query est entièrement intégré à Fabric sous forme de dataflows, où le code M peut être réutilisé.
- Notebook, Jar et activités Python, que vous pouvez remplacer par l’activité Databricks dans Fabric.
- Les activités Hive, Pig, MapReduce, Spark et Streaming, que vous pouvez remplacer par l’activité HDInsight dans Fabric.
Pour les exigences et les instructions étape par étape, voir Upgrade Azure Data Factory Mapping Data Flow pipelines to Fabric.
Par exemple, voici la page de configuration du jeu de données ADF, avec son chemin d’accès de fichier et ses paramètres de compression :
Voici une activité de copie pour Data Factory dans Fabric, où la compression et le chemin d’accès aux fichiers sont inclus dans l’activité :
Scénario 2 : ADF avec CDC, SSIS et Airflow
Recréez CDC en tant qu'éléments de copie de tâche. Pour Airflow, copiez vos DAGs dans l’offre Apache Airflow de Fabric. Exécutez des packages SSIS à l’aide de pipelines ADF et appelez-les à partir de Fabric.
Scénario 3 : Mise à niveau du pipeline grâce à l’expérience intégrée
Cette expérience guidée, axée sur l’évaluation, vous aide à évaluer votre préparation, à identifier les lacunes de compatibilité et à mettre à niveau progressivement les pipelines supportés vers un espace de travail Fabric—le tout sans scripts.
L’expérience de mise à niveau intégrée prend également en charge les pipelines éligibles contenant des Mapping Data Flows. Les flux de données cartographiés pris en charge sont mis à niveau vers des transformations MDF dans Dataflow Gen2, préservant leur logique de transformation et leur modèle d’exécution basé sur Spark. Cette fonctionnalité est actuellement en préversion.
Pour en savoir plus, consultez :
- Upgrader vos pipelines de Azure Data Factory vers Fabric
- Migrer les pipelines Mapping Data Flow d’Azure Data Factory vers Fabric
Scénario 4 : Éléments ADF dans un espace de travail Fabric
Vous pouvez ajouter une usine ADF entière en tant qu'élément natif dans un espace de travail Fabric. Cela vous permet de gérer les fabriques ADF en même temps que les artefacts Fabric au sein de la même interface. L’interface utilisateur ADF reste entièrement accessible, ce qui vous permet de surveiller, de gérer et de modifier vos éléments de fabrique ADF directement à partir de l’espace de travail Fabric. Toutefois, l’exécution des pipelines, des activités et des runtimes d’intégration se produit toujours dans vos ressources Azure.
Cette fonctionnalité est utile pour les organisations en transition vers Fabric, car elle offre une vue unifiée des ressources ADF et Fabric, simplifiant ainsi la gestion et la planification de la mise à niveau.
Pour plus d’informations, consultez Bring your Azure Data Factory into Fabric.