Meilleures pratiques de migration pour Azure Data Factory vers Fabric Data Factory

Cet article présente les bonnes pratiques de mise en œuvre pour chaque composant d’une migration d’Azure Data Factory (ADF) vers Fabric Data Factory : les connexions, les environnements d’exécution d’intégration, les activités, les flux de données, les paramètres globaux et les outils. Pour une planification générale de la migration, notamment en choisissant un chemin de migration et en hiérarchisant les pipelines, consultez Planifier votre migration de Azure Data Factory vers Fabric.

Considérations avant la migration

Avant de migrer, évaluez ce qu’il faut réutiliser, traduire ou reconcevoir. Procédez comme suit pour garantir une transition fluide :

1. Identifiez les modèles d’authentification, tels que l’identité managée ou l’authentification basée sur des clés.
2. Passez en revue les exigences réseau, notamment les points de terminaison privés et les passerelles.
3. Mapper la sémantique de planification et de déclencheur, et aligner les configurations de surveillance et d’alerte.
4. Comparez les fonctionnalités ADF avec leurs équivalents Fabric, notant les lacunes telles que SSIS ou les flux de données.
5. Définissez des cibles non fonctionnelles, telles que les contrats SLA, le débit, les limites de coût et l’observabilité.
6. Créez un scénario de test avec des exemples de jeux de données et des sorties attendues pour comparer objectivement ADF et Fabric exécutions.
7. Prévoyez la rotation des secrets, les conventions de nommage et la taxonomie des espaces de travail afin que votre migration améliore — et ne se contente pas de reproduire — votre stratégie actuelle d’intégration des données.

Une approche par phases avec des plans de validation côte à côte et de restauration réduit le risque tout en permettant une exécution plus rapide, une supervision centralisée et une intégration plus approfondie à Microsoft Fabric.

Pour les migrations volumineuses, envisagez d’utiliser des partenaires certifiés Microsoft ou votre équipe de compte Microsoft pour obtenir des conseils.

Bonnes pratiques pour la migration des services liés ADF et des jeux de données vers des connexions Fabric

Dans Azure Data Factory (ADF), les services liés et les jeux de données définissent des connexions et des structures de données. Dans Fabric, ces mappages correspondent aux connexions et aux paramètres d'activité, avec un accent plus marqué sur la réutilisation au niveau de l'espace de travail et l'identité managée. Voici comment adapter vos ressources ADF :

1. Passez en revue la continuité Connector entre Azure Data Factory et Fabric pour confirmer la prise en charge de vos sources de données et récepteurs.
2. Consolider les connexions redondantes pour simplifier la gestion.
3. Adoptez l’identité managée pour une authentification sécurisée et cohérente.
4. Normaliser le paramétrage des dossiers et des tables à l’aide de conventions d’affectation de noms claires, par exemple : conn-sql-warehouse-sales ou ds-lh-raw-orders.

Pour garantir la cohérence et la scalabilité, documentez entièrement chaque source et chaque destination avec :

• Propriétaires
• Niveaux de sensibilité
• Paramètres de nouvelle tentative

Cette documentation aide à modéliser les opérations à travers les pipelines et à améliorer la gouvernance.

Runtimes d’intégration et OPDG, passerelle de réseau virtuel

Azure Data Factory (ADF) utilise Integration Runtimes (IRs) pour définir des ressources de calcul pour le traitement des données. Voici quelques-uns des éléments suivants :

• Cloud IRs pour le calcul hébergé par Azure.
• IRs auto-hébergés (SHIR) pour les sources en réseau local ou privé.
• SSIS IRs pour SQL Server Integration Services.
• Environnements d'exécution activés pour VNet pour une connectivité réseau sécurisée.

Dans Fabric, ces options correspondent à cloud execution, ODG (On-premises Data Gateway) et Réseau virtuel Data Gateway. Voici comment planifier votre migration :

1. Identifiez les pipelines qui s’appuient sur des SHIR et planifient leur mappage de passerelle et leur dimensionnement de débit.
2. Validez dns, sortie, règles de pare-feu et authentification pour chaque connecteur.
3. Simulez les scénarios de basculement pour garantir la fiabilité.
4. Si possible, migrez vers des points de terminaison privés ou des passerelles de données de réseau virtuel pour simplifier les révisions de sécurité et réduire la surcharge opérationnelle.

Fabric simplifie la gestion du calcul à l’aide de ressources cloud au sein de vos capacités de Fabric. Les SSIS IR ne sont pas disponibles dans Fabric. Pour la connectivité locale, utilisez la passerelle de données locale (OPDG). Pour une connectivité réseau sécurisée, utilisez la passerelle de données Réseau virtuel.

Lors de la migration :

• Le réseau public Azure IR n’a pas besoin d’être déplacé.
• Recréer des SHIR en tant qu’OPDG.
• Remplacez les runtimes d'intégration Azure activés pour le réseau virtuel par des passerelles de données de réseau virtuel.

Bonnes pratiques pour la migration des activités de pipeline ADF vers Fabric

Toutes les activités principales dans Azure Data Factory (ADF), telles que la copie, la recherche, la procédure stockée/sql Script, le web et le flux de contrôle, ont des équivalents directs dans Fabric. Toutefois, il existe des différences dans les propriétés, la syntaxe d’expression et les limites. Lors de la migration, passez en revue les éléments suivants :

• Réessayez les stratégies et les délais d’expiration.
• Paramètres de pagination pour les sources REST.
• Configurations de copie binaire ou tabulaire.
• Modèles foreach et filtre.
• Variables système utilisées dans le contenu dynamique.

Fabric fournit souvent des options plus natives pour certaines tâches. Par exemple, utilisez un script SQL dans un entrepôt au lieu d’un appel générique de procédure stockée pour améliorer la traçabilité et la surveillance. Pour simplifier la migration, centralisez les expressions courantes telles que les chemins d’accès, les dates et les URI spécifiques au locataire dans les paramètres de pipeline. Cela réduit la dérive et accélère les tests.

Pour plus d’informations, consultez Continuité des activités entre Azure Data Factory et Fabric.

Différences de flux de données

Azure Data Factory (ADF) Mapping Data Flows ne se mappent pas directement sur Fabric. Au lieu de cela, vous allez généralement les retravailler à l’aide de l’une des options suivantes :

• Dataflow Gen2 pour les transformations d’ensemble de lignes et les transformations à faible code régies.
• Fabric Warehouse SQL pour les tâches ELT définies, telles que les opérations MERGE ou ELT proches des données.
• Notebooks Spark pour les transformations avancées , la logique complexe ou le traitement à grande échelle.

Lors de la migration, validez les éléments suivants :

• Types de données et gestion null.
• Touches de substitution et dimensions à variation lente.
• Modèles ELT idempotents, tels que le staging et MERGE, pour garantir des réexécutions prévisibles.

Pour les scénarios de migration, consultez Migrer de Dataflow Gen1 vers Dataflow Gen2.

Paramètres globaux dans Azure Data Factory

Fabric utilise des bibliothèques variables au niveau de l’espace de travail pour définir des constantes entre les éléments Fabric. Lors de la migration vers Microsoft Fabric Data Factory, vous devez convertir vos paramètres globaux Azure Data Factory en bibliothèques de variables.

Pour obtenir des conseils de conversion complets, consultez Convertir les paramètres globaux ADF en bibliothèques de variables Fabric.

offres partenaires Place de marché Azure

Les partenaires de migration approuvés, comme Bitwise Global, fournissent des outils pour faciliter votre migration. Ces outils peuvent :

• Analysez votre environnement Azure Data Factory (ADF).
• Générez des artefacts cibles de Fabric.
• Effectuez une analyse d’impact et un suivi de traçabilité.
• Créez des plans de test automatisés.

Ces solutions sont particulièrement utiles si vous avez :

• Centaines de pipelines.
• Connecteurs variés.
• Exigences strictes en matière de temps d’arrêt.

Les outils partenaires normalisent les règles de mappage, génèrent des rapports de conversion et exécutent des tests de validation parallèles. Cela vous permet de comparer le comptage des lignes, les valeurs de contrôle et la performance entre votre ancien et votre nouvel environnement. Même si vous n’utilisez pas de partenaire pour l’ensemble de la migration, leurs modules de découverte et d’évaluation peuvent vous aider à démarrer votre planification interne et à réduire les incertitudes.

Utiliser des outils Copilot et IA pour accélérer la migration DDF-à-Fabric

Les modèles de langage volumineux (LLMs) tels que Microsoft Copilot, ChatGPT et Claude peuvent accélérer les tâches de migration. Ces outils sont utiles pour :

• Refactorisation des expressions.
• Conversion de JSON Azure Data Factory (ADF) en syntaxe Fabric.
• Écriture d’instructions MERGE.
• Génération de modèles de connexion.
• Rédaction de scripts de validation.

Vous pouvez également les utiliser pour créer de la documentation, comme des runbooks, des dictionnaires de données et des listes de contrôle de migration, ce qui garantit que les ingénieurs et les opérateurs restent alignés. Toutefois, conservez ces outils dans la boucle, et non en charge :

• Évitez de coller des informations sensibles dans des outils IA.
• Validez tous les éléments dans un environnement de développement.
• Utilisez des tests automatisés tels que les nombres de lignes, les comparaisons de schémas et les vérifications de règle métier pour détecter des problèmes subtils, tels que les incompatibilités de type ou l’analyse de date spécifique aux paramètres régionaux.

Pour plus d’informations, consultez Utiliser Copilot dans Data Factory et AI dans Microsoft Fabric.

Chemins de migration

Pour obtenir des instructions détaillées sur les options de chemin de migration (y compris le montage d’éléments ADF pour la continuité, à l’aide de l’expérience de mise à niveau intégrée, de la conversion PowerShell et des stratégies de réplatformation), consultez les chemins de migration dans le guide de planification de la migration.

Contenu connexe

Compare Azure Data Factory à Data Factory dans Fabric