Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Leitfaden behandelt Upgrade-Strategien, Entscheidungskriterien und Schritt-für-Schritt-Ansätze für die Übertragung von Azure Data Factory (ADF)-Pipelines zur Fabric Data Factory. Für Implementierungs-Best Practices für jede Upgrade-Komponente siehe Upgrade Best Practices.
Gründe für ein Upgrade
Das Upgrade von ADF- und Synapse-Pipelines auf die Fabric Data Factory ist mehr als nur ein Lift-and-Shift: Es ist eine Chance, die Governance zu vereinfachen, Muster zu standardisieren und neue Funktionen zu nutzen, um Ihre Datenintegrationsstrategie zu verbessern.
Fabric bietet viele neue Features, darunter:
- Integrierte Pipelineaktivitäten wie E-Mail und Teams für das Nachrichtenrouting
- Integrierte CI/CD (Bereitstellungspipelinen) ohne externe Git-Abhängigkeiten
- Nahtlose Arbeitsbereichintegration mit OneLake, Warehouse und Lakehouse für einheitliche Analysen
- Optimierte semantische Datenmodell-Aktualisierungen, die skaliert werden, um sowohl den Anforderungen für Self-Service-Daten als auch Unternehmensdaten gerecht zu werden.
- Integrierte KI-Funktionen mit Copilot , die Ihnen beim Erstellen und Verwalten von Pipelines helfen
Einen detaillierten Vergleich finden Sie im Vergleichshandbuch zu Azure Data Factory und Fabric Data Factory.
Kritische Architekturunterschiede
Bevor Sie von der Azure Data Factory auf die Fabric Data Factory umsteigen, sollten Sie diese entscheidenden architektonischen Unterschiede berücksichtigen, die die Upgrade-Planung meist am stärksten beeinflussen:
| Kategorie | Azure Data Factory | Fabric Data Factory | Auswirkungen des Upgrades |
|---|---|---|---|
| Benutzerdefinierter Code | Benutzerdefinierte Aktivität | Azure Batch-Aktivität | Der Aktivitätsname ist anders, unterstützt jedoch die gleiche Funktionalität. |
| Dataflows | Abbildung von Datenflüssen mit Spark-basierter Ausführung | Dataflow Gen2 unterstützt Mapping Datenfluss (MDF)-Transformationen mit Spark-basierter Ausführung. MDF-Transformationen sind derzeit als Vorschau verfügbar. | Geeignete Azure Data Factory- und Azure Synapse Analytics-Mapping Data Flows können mithilfe der integrierten Migrationsfunktion zu MDF-Transformationen in Dataflow Gen2 migriert werden. Überprüfen Sie die unterstützten Connectors, Transformationen, Authentifizierungsmethoden und Vorschaubeschränkungen vor der Migration. Für nicht unterstützte Szenarien sollten Sie die Transformation neu gestalten, indem Sie Power Query in Dataflow Gen2, Fabric Warehouse SQL, Notebooks oder eine andere Fabric-Funktion verwenden. |
| Dateien | Separate, wiederverwendbare Datasetobjekte | Eigenschaften werden innerhalb von Aktivitäten inline definiert. | Wenn Sie von ADF in Fabric konvertieren, befinden sich "Dataset"-Informationen innerhalb jeder Aktivität. |
| Dynamische Verbindungen | Verknüpfte Diensteigenschaften können mithilfe von Parametern dynamisch sein | Verbindungseigenschaften unterstützen keine dynamischen Eigenschaften, aber Pipelineaktivitäten können dynamische Inhalte für Verbindungsobjekte verwenden. | Für metadatengesteuerte architekturbasierte Lösungen, die auf parametrisierten Verbindungen basieren, parametrisieren Sie das Verbindungsobjekt in Fabric. |
| globale Parameter | Globale Parameter | Fabric-Bibliothek für Variablen | Verschiedene Implementierungsmuster und Datentypen, aber wir haben einen Upgrade-Leitfaden. |
| HDInsight-Aktivitäten | Fünf separate Aktivitäten (Hive, Pig, MapReduce, Spark, Streaming) | Einzelne HDInsight-Aktivität | Sie benötigen nur einen Aktivitätstyp beim Konvertieren, aber alle Funktionen werden unterstützt. |
| Identity | Verwaltete Identität | Fabric Workspace Identity | Verschiedene Identitätsmodelle, wobei einige Planung erforderlich ist, um den Übergang zu vollziehen. |
| Schlüsseltresor | Reife Integration mit allen Authentifizierungstypen | Eingeschränkte Integration über Fabric Key Vault Reference | Vergleichen Sie derzeit unterstützte Key Vault-Quellen und -Authentifizierung mit Ihren vorhandenen Konfigurationen. |
| Pipelineausführung | Ausführen der Pipelineaktivität | Aufrufen der Pipelineaktivität mit FabricDataPipeline-Verbindungstyp | Der Aktivitätsname und die Verbindungsanforderungen ändern sich beim Konvertieren. |
| Zeitplanung | Ein Trigger für viele Pipelines oder viele Trigger pro Pipeline mit zentralisierter Verwaltung | Ein Zeitplan pro Pipeline oder viele Zeitpläne pro Pipeline, ohne dass Zeitpläne wiederverwendet oder ein zentraler Hub genutzt wird. | Fabric erfordert derzeit eine Verwaltung des Zeitplans pro Pipeline. |
Upgradepfade
Upgrade-Pfade hängen von deinen ADF-Assets und deren Feature-Parität ab. Zu den Optionen gehören:
- Azure Data Factory-Elemente in Fabric für Kontinuität. - Eine Live-Ansicht Ihrer bestehenden Azure Data Factory-Instanz innerhalb von Fabric, die schrittweise Upgrades und Tests ermöglicht. Diese Erfahrung ist auch ein guter erster Schritt, bevor man Umwandlungswerkzeuge oder Replatforming verwendet.
- Nutzen Sie das integrierte Upgrade-Erlebnis für Azure Data Factory-Pipelines – Bewerten Sie die Pipeline-Bereitschaft direkt in Azure Data Factory, überprüfen Sie Kompatibilitätsergebnisse und aktualisieren Sie unterstützte Pipelines auf einen Fabric-Arbeitsbereich mittels eines geführten UX.
- Manuelles Upgrade für komplexe Umgebungen – Pipelines in Fabric neu aufbauen, um neue Funktionen zu nutzen und die Leistung zu optimieren. Dieser Ansatz ist notwendig für Pipelines mit niedriger Parität oder benutzerdefinierter Logik, bietet aber auch die Möglichkeit, deine Architektur zu modernisieren.
Azure Data Factory-Elemente in Ihrem Fabric-Arbeitsbereich
Füge deinem Fabric-Arbeitsbereich ein bestehendes ADF hinzu, um sofortige Sichtbarkeit und Governance zu erhalten, während du schrittweise upgradest. Dieser Ansatz ist ideal für Discovery, Ownership-Assignment und Side-by-Side-Tests, da Teams Pipelines sehen, sie unter Fabric-Arbeitsbereichen organisieren und Cutovers pro Domain planen können. Verwenden Sie Azure Data Factory-Elemente, um zu katalogisieren, was vorhanden ist, priorisieren Sie zuerst die Pipelines mit dem höchsten/niedrigsten Risiko, und richten Sie Konventionen (Benennung, Ordner, Wiederverwendung von Verbindungen) ein, die Ihre Konvertierungsskripts und Partnertools konsistent befolgen können.
Du mountest in Fabric über den Azure Data Factory-Artikeltyp: Bring dein Azure Data Factory zu Fabric.
Aktualisieren von Azure Data Factory-Pipelines mit der integrierten Benutzeroberfläche
Fabric bietet ein integriertes, assessment-orientiertes Upgrade-Erlebnis, das Sie nutzen können, um Azure Data Factory-Pipelines direkt über die Azure Data Factory und Fabric-Benutzererfahrungen zu evaluieren und zu aktualisieren – ganz ohne Skripte oder benutzerdefinierte Werkzeuge. Diese Erfahrung hilft Ihnen bei:
- Bewerten Sie die Pipeline- und Aktivitätsbereitschaft direkt in Azure Data Factory.
- Verstehe Kompatibilitätslücken, bevor du aufrüstest.
- Stellen Sie Ihre Azure Data Factory zur parallelen Überprüfung in einen Fabric Arbeitsbereich ein.
- Migrieren Sie unterstützte Pipelines schrittweise aus Ihrer eingebundenen Data Factory zu Fabric.
- Aktualisieren Sie unterstützte Mapping Data Flows in ausgewählten Pipelines auf MDF-Transformationen in Dataflow Gen2.
- Plane Korrekturmaßnahmen oder eine Neugestaltung von Elementen, die Updates benötigen, nicht unterstützte Funktionen nutzen oder bald erscheinen.
Jede Pipeline und Aktivität ist klar kategorisiert (Bereit, Bedarfsprüfung, Bald verfügbar oder Nicht kompatibel), was Teams hilft, Upgrades gezielt zu planen und Ergebnisse vor dem Wechsel der Produktionslasten zu validieren. Dieser Ansatz eignet sich gut für Kunden, die einen geführten, risikoarmen und schrittweisen Upgrade-Weg wünschen, während sie gleichzeitig Transparenz über nicht unterstützte Funktionen und die nächsten Schritte behalten. Eine schrittweise Anleitung finden Sie unter Aktualisieren Ihrer Azure Data Factory Pipelines auf Fabric.
Das integrierte Upgrade-Erlebnis unterstützt außerdem berechtigte Pipelines mit Mapping Data Flows. Unterstützte Mapping Data Flows werden in Dataflow Gen2 auf MDF-Transformationen aufgerüstet, wobei ihre Transformationslogik und das Spark-basierte Ausführungsmodell erhalten bleiben. Diese Funktion befindet sich derzeit in der Vorschauphase. Für Anforderungen, Einschränkungen und Upgrade-Anweisungen siehe Upgrade Azure Data Factory Mapping Datenfluss pipelines to Fabric.
Manuelle Aktualisierung
Ein manuelles Upgrade ist für komplexe Pipelines mit niedriger Parität notwendig, bietet aber auch die Möglichkeit, die Architektur zu modernisieren und die integrierten Funktionen von Fabric zu übernehmen. Dieser Weg erfordert eine umfassendere Planung und Entwicklung, kann aber langfristige Vorteile bei der Wartung, Leistung und Kosten erzielen.
Um effektiv aufzurüsten, befolgen Sie diese Schritte:
- Bewerten und Inventarisieren: Katalogisieren sie alle ADF-Ressourcen, einschließlich Pipelines, Datasets, verknüpfter Dienste und Integrationslaufzeiten. Identifizieren von Abhängigkeiten und Verwendungsmustern.
- Identifikation von Duplikaten und ungenutzten Elementen: Bereinigen Sie ungenutzte oder redundante Items in ADF, um das Upgrade und Ihre Datenintegrationsumgebung zu optimieren.
- Identifizieren Sie Lücken: Verwenden Sie das Pipeline-Bewertungstool und überprüfen Sie die Parität der Verbinder und Aktivitäten zur Identifizierung von Lücken zwischen Ihren ADF-Pipelines und Fabric-Pipelines und planen Sie Alternativen.
- Überprüfen Sie neue Features: Verwenden Sie unser Entscheidungsleitfaden für die Datenverschiebung und den Entscheidungsleitfaden für die Datenintegration , um zu entscheiden, welche Fabric-Tools für Ihre Anforderungen am besten geeignet sind.
- Plan: Überprüfen Sie die bewährten Upgrade-Praktiken für die Überlegungen für jedes Ihrer Artikel und Richtlinien, um die verbesserten Fähigkeiten von Fabric optimal zu nutzen.
- Wenn du globale Parameter in ADF verwendest, plane, sie auf Fabric-Variablenbibliotheken aufzurüsten. Ausführliche Schritte finden Sie unter Konvertieren von globalen ADF-Parametern in Fabric-Variablenbibliotheken .
- ADF-Übergang: Erwägen Sie, als ersten Schritt ein Azure Data Factory-Element in Microsoft Fabric hinzuzufügen, um einen schrittweisen Übergang auf einer einzigen Plattform zu ermöglichen.
- Priorisieren: Bewerten Sie Ihre Pipelines nach geschäftlicher Auswirkung, Komplexität und Leichtigkeit des Upgrades.
- Automatisieren, wo möglich: Nutzen Sie das integrierte Upgrade-Erlebnis, um Pipelines schrittweise zu bewerten, zu aktualisieren und zu validieren, bevor Sie Produktionsworkloads verschieben. Weitere Informationen finden Sie im Upgradetool.
-
Berücksichtigen Sie Werkzeuge: Verwenden Sie diese Werkzeuge, um die Nutzung zu erleichtern:
- Verwenden Sie Fabric-Vorlagen als Ausgangspunkt für Pipelines mit allgemeinen Datenintegrationsszenarien.
- Verwenden Sie die Parametrisierung zur Erstellung von wiederverwendbaren Pipelines
- Verwenden von Copilot in Fabric Data Factory zur Unterstützung der Pipelineerstellung
- Verwenden Sie Bereitstellungspipelines für CI/CD und Versionskontrolle
-
Manuelles Upgrade: Für Szenarien, die von anderen Upgrade-Methoden nicht unterstützt werden, baue sie in Fabric neu auf:
- Neu erstellen von Verbindungen: Einrichten von Verbindungen in Fabric zum Ersetzen von verknüpften Diensten in ADF
- Aktivitäten neu erstellen: Richten Sie Ihre Aktivitäten in Ihren Pipelines ein, indem Sie nicht unterstützte Aktivitäten durch Fabric-Alternativen ersetzen oder die Invoke-Pipeline-Aktivität verwenden.
- Planen und Auslöser setzen: Pläne und Ereignisauslöser in Fabric neu erstellen, um sie an Ihre ADF-Zeitpläne anzupassen
- Testen Sie gründlich: Überprüfen Sie aufgerüstete Pipelines anhand erwarteter Ausgaben, Leistungsbenchmarks und Compliance-Anforderungen.
Beispiel-Upgrade-Szenarien
Der Wechsel von ADF zu Fabric kann je nach Anwendungsfall unterschiedliche Strategien umfassen. Dieser Abschnitt beschreibt gängige Upgrade-Pfade und Überlegungen, um Ihnen eine effektive Planung zu erleichtern.
- Szenario 1: ADF-Pipelines und Datenflüsse
- Szenario 2: ADF mit CDC, SSIS und Airflow
- Szenario 3: Pipeline-Upgrade mit eingebauter Erfahrung
- Scenario 4: ADF-Elemente in einem Fabric-Arbeitsbereich
Szenario 1: ADF-Pipelines und Datenflüsse
Modernisieren Sie Ihre ETL-Umgebung, indem Sie Pipelines und Datenströme auf Fabric aktualisieren. Planen Sie diese Elemente:
- Erstellen Sie verbundene Dienste als Fabric-Verbindungen neu oder mappen verknüpfte Dienste während des integrierten Upgrade-Erlebnisses auf bestehende Fabric-Verbindungen.
- Erstellen Sie globale Parameter als Variablenbibliotheken neu.
- Dataseteigenschaften inline in Aktivitäten in Pipelines definieren.
- Ersetzen Sie SHIRs (selbstgehostete Integrationsruntimes) durch OPDGs (lokale Datengateways) und VNet-IRs durch virtuelle Netzwerk-Datengateways.
- Für geeignete Pipelines, die Mapping Data Flows enthalten, nutzen Sie das integrierte Upgrade-Erlebnis, um unterstützte Mapping Data Flows auf MDF-Transformationen in Dataflow Gen2 umzurüsten.
- Überprüfen Sie die MDF-Transformationsbeschränkungen, unterstützte Connectors, Transformationen, Authentifizierungsmethoden und Netzwerkanforderungen vor dem Upgrade.
- Für Mapping Data Flows, die Funktionen verwenden, die in der aktuellen Vorschau nicht unterstützt werden, beheben Sie die nicht unterstützten Komponenten oder entwerfen Sie die Transformation neu, indem Sie Power Query in Dataflow Gen2, Fabric Warehouse SQL, Spark-Notebooks oder eine andere geeignete Fabric-Funktionalität verwenden.
- Erstellen Sie nicht unterstützte ADF-Aktivitäten mithilfe von Fabric-Alternativen oder der Invoke-Pipelineaktivität neu. Nicht unterstützte Aktivitäten umfassen:
- Data Lake Analytics (U-SQL), ein veralteter Azure-Dienst.
- Validierungsaktivität, die man mit Get Metadata, Pipeline-Schleifen und If-Aktivitäten neu aufbauen kann.
- Power Query ist vollständig in Fabric als Datenflüsse integriert, in denen M-Code wiederverwendet werden kann.
- Notebook-, Jar- und Python-Aktivitäten, die du durch die Databricks-Aktivität in Fabric ersetzen kannst.
- Hive-, Pig-, MapReduce-, Spark- und Streaming-Aktivitäten, die du durch die HDInsight-Aktivität in Fabric ersetzen kannst.
Für Anforderungen und Schritt-für-Schritt-Anweisungen siehe Upgrade Azure Data Factory Mapping Datenfluss pipelines to Fabric.
Als Beispiel sehen Sie hier die Konfigurationsseite des ADF-Datasets mit den Dateipfad- und Komprimierungseinstellungen:
Und hier ist eine Kopieraktivität für Data Factory in Fabric, bei der komprimierung und Dateipfad inline in der Aktivität sind:
Szenario 2: ADF mit CDC, SSIS und Airflow
Rekonstruieren Sie CDC als Elemente von Kopieauftrag. Kopieren Sie für Airflow Ihre DAGs in das Apache-Airflow-Angebot von Fabric. Führen Sie SSIS-Pakete mithilfe von ADF-Pipelines aus, und rufen Sie sie aus Fabric auf.
Szenario 3: Pipeline-Upgrade mit dem integrierten Erlebnis
Diese geführte, assessment-orientierte Erfahrung hilft Ihnen, die Bereitschaft zu bewerten, Kompatibilitätslücken zu erkennen und unterstützte Pipelines schrittweise auf einen Fabric-Arbeitsbereich aufzurüsten – und das alles ohne Skripte.
Der integrierte Upgradevorgang unterstützt außerdem berechtigte Pipelines, die Mapping Data Flows enthalten. Unterstützte Mapping Data Flows werden in Dataflow Gen2 auf MDF-Transformationen aufgerüstet, wobei ihre Transformationslogik und das Spark-basierte Ausführungsmodell erhalten bleiben. Diese Funktion befindet sich derzeit in der Vorschauphase.
Weitere Informationen findest du unter:
- Upgrade Ihrer Azure Data Factory Pipelines auf Fabric
- Azure Data Factory Mapping Datenfluss-Pipelines auf Fabric aktualisieren
Szenario 4: ADF-Elemente in einem Fabric-Arbeitsbereich
Sie können eine gesamte ADF-Factory in einem Fabric-Arbeitsbereich als systemeigenes Element hinzufügen. Auf diese Weise können Sie ADF-Fabriken zusammen mit Fabric-Artefakten innerhalb derselben Schnittstelle verwalten. Auf die ADF-Benutzeroberfläche kann weiterhin vollständig zugegriffen werden, sodass Sie Ihre ADF-Factoryelemente direkt aus dem Fabric-Arbeitsbereich überwachen, verwalten und bearbeiten können. Die Ausführung von Pipelines, Aktivitäten und Integrationslaufzeiten erfolgt jedoch weiterhin in Ihren Azure-Ressourcen.
Diese Funktion ist nützlich für Organisationen, die auf Fabric umsteigen, da sie einen einheitlichen Überblick über ADF- und Fabric-Ressourcen bietet und so das Management und die Planung des Upgrades vereinfacht.
Weitere Informationen finden Sie unter Bring your Azure Data Factory into Fabric.