Aktualisieren Sie Azure Data Factory pipelines mit Mapping Data Flows to Fabric (Preview)

Nutzen Sie die integrierte Upgrade-Erfahrung von Azure Data Factory, um berechtigte Pipelines mit Mapping Data Flows auf die Microsoft Fabric Data Factory zu aktualisieren. Während des Upgrades werden unterstützte Mapping Data Flows in Dataflow Gen2 in Mapping Data Flow (MDF)-Transformationen umgewandelt, und die zugehörigen Pipelines werden zu Fabric-Pipelines aufgerüstet.

Dieser Artikel beschreibt die zusätzlichen Validierungs-, Ausführungs- und Überwachungsschritte für aufgerüstete MDF-Transformationen. Für einen Überblick über den vollständigen Upgradevorgang für Azure Data Factory siehe Ihre Azure Data Factory-Pipelines auf Fabric Data Factory aktualisieren.

Voraussetzungen

Bevor Sie das Upgrade starten, stellen Sie sicher, dass Sie folgendes haben:

• Eine Azure Data Factory-Instanz mit mindestens einer Pipeline, die einen Mapping Datenfluss enthält.
• Berechtigung zum Zugriff auf die Azure Data Factory-Instanz und deren Pipelines.
• Zugriff auf einen Microsoft Fabric-aktivierten Mandanten.
• Eine Fabric-Lizenz. Wenn Sie keine haben, fordert Sie das View in Fabric (Vorschau)-Onboarding auf, sich für eine kostenlose Lizenz anzumelden, sofern die Self-Service-Anmeldung für Ihren Mandanten aktiviert ist.
• Zugang zu einer Fabric-Kapazität, wie zum Beispiel einer Trial-Kapazität.
• Sie benötigen die Berechtigung „Beitragender“ oder höher, um Elemente im Fabric-Arbeitsbereich zu erstellen und zu aktualisieren.
• Fabric-Verbindungen für Quell- und Zieldatenspeicher, die während des Upgrades nicht automatisch erstellt wurden.

Das Upgrade-Erlebnis erzeugt automatisch unterstützte Fabric-Verbindungen, wenn deren Azure Data Factory-Authentifizierungskonfigurationen sicher zugeordnet werden können. Für andere Verbindungen wählen Sie eine bestehende Fabric-Verbindung aus oder erstellen Sie eine vor Beginn des Upgrades.

Unterstützte Upgradeszenarien

Das integrierte Upgrade-Erlebnis unterstützt berechtigte Azure Data Factory-Pipelines, die Mapping Data Flows enthalten. Während des Upgradeprozesses:

• Die ausgewählten Azure Data Factory-Pipelines werden auf Fabric-Pipelines aufgerüstet.
• Unterstützte Mapping Data Flows werden in Dataflow Gen2 in MDF-Transformationen umgewandelt.
• Pipelines und ihre referenzierten Mapping Data Flows werden gemeinsam aufgerüstet.
• Unterstützte verknüpfte Dienste werden neuen oder bestehenden Fabric-Verbindungen zugeordnet.
• Die ursprünglichen Azure Data Factory-Pipelines und Mapping Data Flows bleiben unverändert.

Überprüfen Sie vor dem Upgrade die MDF-Transformationsbeschränkungen, unterstützte Connectors, Transformationen, Authentifizierungsmethoden und Netzwerkanforderungen.

Aktualisieren Sie Pipelines, die Mapping Data Flows enthalten,

Starten Sie das Upgrade in Azure Data Factory über In Fabric anzeigen (Vorschau). Die Inspektion Ihrer Factory in Fabric verbessert oder verändert Ihre Pipelines nicht. Das Upgrade startet erst, nachdem du die Bereitschaft überprüft, Pipelines ausgewählt und explizit Start Upgrade (Vorschau) ausgewählt hast.

Schritt 1: Zeigen Sie Ihre Azure Data Factory in Fabric an

1. Öffnen Sie Ihr Azure Data Factory-Portal.

2. Wählen Sie View in Fabric (Vorschau).

   

3. Wenn Sie diese Umgebung zum ersten Mal nutzen, überprüfen und akzeptieren Sie die Geschäftsbedingungen, und wählen Sie dann Try Fabric Data Factory.

   

4. Folgen Sie den Onboarding-Schritten:

   • Fabric-Lizenz überprüfen oder erwerben.
   • Wählen Sie eine Fabric-Kapazität aus.
   • Erstellen oder wiederverwenden Sie den Fabric-Arbeitsbereich, der mit Ihrer Azure Data Factory verknüpft ist.
   • Zeigen Sie die Azure Data Factory als Element im Arbeitsbereich an.
   • Optional können Sie den Arbeitsbereichszugriff mit bestehenden Azure Data Factory-Benutzern und -Gruppen teilen.

   

Nach der Einrichtung ist Ihre Azure Data Factory in Fabric sichtbar. Nichts wird aktualisiert, und Pipeline-Ausführung und Abrechnung bleiben in Azure Data Factory.

Ausführliche Details zum Onboarding finden Sie unter Aktualisieren Sie Ihre Azure Data Factory-Pipelines auf Fabric Data Factory.

Schritt 2: Überprüfe die Bereitschaft

1. Im Azure Data Factory-Element in Fabric wählen Sie Bewerten und aktualisieren.

   

2. Überprüfen Sie die Bereitschaftsbewertung.

3. Identifizieren Sie die Pipelines, die Mapping Data Flows enthalten und die Sie aktualisieren möchten.

4. Überprüfen Sie alle als Review kategorisierten Pipelines und behandeln Sie nicht unterstützte oder teilweise unterstützte Funktionen, bevor Sie ein Upgrade durchführen.

5. Wählen Sie die geeigneten Pipelines aus, die Sie aufrüsten möchten.

Die Bewertung ist schreibgeschützt und verändert oder aktualisiert die ausgewählten Pipelines nicht.

Schritt 3: Überprüfe die Verbindungen

1. Wählen Sie " Verbindungen überprüfen" aus.
2. Überprüfen Sie die von Azure Data Factory Verknüpften Dienste, die von den ausgewählten Pipelines und Mapping Data Flows verwendet werden.
3. Überprüfen Sie Verbindungen, die automatisch erstellt wurden.
4. Für Verbindungen, die nicht automatisch erstellt wurden, wählen Sie eine bestehende Fabric-Verbindung oder erstellen Sie eine neue Verbindung.
5. Bestätigen Sie, dass jede benötigte Quelle und jedes Ziel einer gültigen Fabric-Verbindung zugeordnet ist.

Schritt 4: Starte das Upgrade

1. Überprüfen Sie die ausgewählten Pipelines und Verbindungszuordnungen.
2. Wählen Sie „Upgrade starten (Vorschau)“ aus.
3. Warten Sie, bis die Aktualisierung beendet ist.
4. Überprüfen Sie den Status jedes aktualisierten Elements.

Während des Upgrades:

• Ausgewählte Azure Data Factory-Pipelines werden auf Fabric-Pipelines aufgerüstet.
• Unterstützte Mapping Data Flows, die von den ausgewählten Pipelines referenziert werden, werden in Dataflow Gen2 in MDF-Transformationen umgewandelt.
• Pipelines und ihre Mapping Data Flows werden gemeinsam aktualisiert.
• Aktualisierte Elemente werden in einem Ordner mit dem Präfix des Azure Data Factory-Quellnamens platziert.
• Die Quell-Azure Data Factory-Pipelines und Mapping Data Flows bleiben unverändert.

Validiere aktualisierte Mapping-Datenfluss-Transformationen

Nach Abschluss des Upgrades öffnen Sie die Upgrade-Ergebnisse oder den Ordner mit den per Upgrade aktualisierten Elementen und überprüfen Sie die MDF-Transformationen, bevor Sie die Pipelines ausführen.

Öffne das aktualisierte Dataflow Gen2-Element

1. Öffne das aufgerüstete Dataflow Gen2-Element.

2. Überprüfen Sie die verbesserte MDF-Transformationslogik.

3. Validiere das Transformationsdiagramm.

   

Speichere die aktualisierte Mapping Data Flow Transform

1. Öffnen Sie das Menü "Speichern und Ausführen" .

2. Klicken Sie auf Speichern.

   

Aktualisierte Pipelines ausführen

Nach der Validierung führen Sie die aktualisierte Fabric-Pipeline aus.

Konfigurieren Sie den Pipelinelauf

1. Öffnen Sie die aktualisierte Fabric-Pipeline.

2. Wählen Sie die Dataflow-Aktivität aus.

3. Überprüfen Sie die ausgewählte MDF-Transformationsabfrage.

4. Konfigurieren Sie bei Bedarf Spark-Laufzeiteinstellungen.

   

Die aktualisierte Pipeline ausführen

1. Überprüfen Sie die Pipeline.

2. Überprüfen Sie, dass alle erforderlichen Verbindungen zugeordnet und authentifiziert sind.

3. Aktiviere alle Aktivitäten, die du wegen nicht zugeordneter Verbindungen deaktiviert hast, erneut.

4. Führe die Pipeline manuell aus.

5. Vergleichen Sie deren Ergebnisse mit der ursprünglichen Azure Data Factory-Pipeline.

6. Nach der Validierung Pläne und Trigger nach Bedarf ausführen oder konfigurieren sowie wieder aktivieren.

   

Upgrade-Ergebnisse validieren

Vor dem Produktionswechsel validieren Sie den aufgerüsteten Workload in einer nicht-produktiven Umgebung:

• Bestätigen Sie, dass Sie alle erforderlichen Fabric-Verbindungen zugeordnet und authentifiziert haben.
• Vergleiche Quell- und Sink-Zeilenzahlen mit dem ursprünglichen Azure Data Factory-Lauf.
• Validiere Schema, Datentypen, Null-Behandlung und Schema-Drift-Verhalten.
• Validiere Mapping Datenfluss-Ausdrücke und Transformationsergebnisse.
• Überprüfen Sie das Verhalten von Einfügen, Aktualisieren, Upsert und Löschen.
• Validiere Parameter und dynamische Inhalte.
• Bestätigen Sie das idempotente Verhalten, wenn Pipelines erneut ausgeführt werden.
• Überprüfen Sie die Fehlerbehandlung und -überwachung.
• Vergleichen Sie das Laufzeitverhalten und die Leistung, ohne die identische Ausführungsdauer anzunehmen.
• Aktivieren und konfigurieren Sie Trigger erst nach Abschluss der End-to-End-Validierung wieder.

Die ursprünglichen Azure Data Factory-Pipelines und Mapping Data Flows sind weiterhin für eine parallele Validierung verfügbar.

Überwachen Sie die Ausführung von hochgestuften Mapping-Datenfluss-Transformationen

Sie können die Ausführungen aktualisierter Pipelines und von MDF-Transformationen überwachen über:

• Pipelineausgabebereich
• Monitoring-Hub
• Aktivitätsläufe
• Ausführungsdetails der Datenflussaktivität

So überprüfen Sie die Ausführungsdetails:

1. Öffnen Sie die Details zur Pipelineausführung.

2. Wählen Sie die Dataflow-Aktivität aus "Aktivitätsausführungen" aus.

3. Überprüfen Sie den Ausführungsstatus und die Laufzeitdetails.

   

   

Einschränkungen

Die allgemeinen Einschränkungen des Azure Data Factory-Upgrades gelten auch für Pipelines, die Mapping Data Flows enthalten. Lesen Sie die bekannten Einschränkungen, bevor Sie Pipelines zum Upgrade auswählen.

Die folgenden Einschränkungen gelten derzeit für MDF-Transformationen während der öffentlichen Vorschau:

Verwandte Inhalte

• Aktualisieren Sie Ihre Azure Data Factory-Pipelines auf Fabric Data Factory
• Zuordnen von Datenflusstransformationen in Dataflow Gen2 (Vorschau)
• Upgrade-Planung für Azure Data Factory zu Fabric Data Factory
• Bewährte Methoden für das Upgrade von Azure Data Factory auf Fabric Data Factory
• Preise für Dataflow Gen2