Verschieben Sie Daten von Azure SQL-Datenbank zu Lakehouse über eine Pipeline

In diesem Lernprogramm erstellen Sie eine Pipeline zum Verschieben von Daten in der Azure SQL-Datenbank nach Lakehouse. Diese Erfahrung zeigt Ihnen eine kurze Demo, wie man eine Pipelinekopieaktivität verwendet und Daten in ein Lakehouse lädt.

Voraussetzungen

Um zu beginnen, müssen die folgenden Voraussetzungen erfüllt sein:

  • Ein Microsoft Fabric-Mandantenkonto mit einem aktiven Abonnement. Sie können kostenlos ein Konto erstellen.
  • Stellen Sie sicher, dass Sie über einen für Microsoft Fabric aktivierten Arbeitsbereich verfügen: Erstellen eines Arbeitsbereichs.

Erstellen einer Pipeline

  1. Navigieren Sie zu Power BI.

  2. Wählen Sie unten links auf dem Bildschirm das Power BI-Symbol aus, und wählen Sie dann Fabric aus, um die Startseite von Data Factory zu öffnen.

  3. Navigieren Sie zu Ihrem Microsoft Fabric-Arbeitsbereich. Wenn Sie im vorherigen Abschnitt „Voraussetzungen“ einen neuen Arbeitsbereich erstellt haben, verwenden Sie diesen Arbeitsbereich.

    Screenshot: Fenster „Arbeitsbereiche“, in dem Sie zu Ihrem Arbeitsbereich navigieren.

  4. Wählen Sie + Neues Element aus.

  5. Suchen Und wählen Sie "Pipeline" aus, und geben Sie dann einen Pipelinenamen ein, um eine neue Pipeline zu erstellen. um eine neue Pipeline zu erstellen.

    Screenshot der Schaltfläche

    Screenshot: Der Name der neu erstellten Pipeline.

Kopieren von Daten mithilfe einer Pipeline

In dieser Sitzung beginnen Sie mit der Erstellung Ihrer Pipeline, indem Sie die folgenden Schritte zum Kopieren von Daten aus der Azure SQL-Datenbank nach Lakehouse ausführen.

Hinzufügen einer Copy-Aktivität

  1. Öffnen Sie eine vorhandene Pipeline, oder erstellen Sie eine neue Pipeline.

  2. Fügen Sie eine Copy-Aktivität hinzu, indem Sie entweder Pipelineaktivität hinzufügen>Copy-Aktivität oder Daten kopieren>Zu Canvas hinzufügen unter der Registerkarte Aktivitäten auswählen.

    Screenshot: Zwei Möglichkeiten zum Hinzufügen einer Copy-Aktivität.

Konfigurieren der Quelle auf der Registerkarte „Quelle“

  1. Wählen Sie in "Verbindung" eine vorhandene Verbindung aus, oder wählen Sie "Mehr " aus, um eine neue Verbindung zu erstellen.

    1. Wählen Sie im Popupfenster den Datenquellentyp aus. Sie verwenden Azure SQL-Datenbank als Beispiel. Wählen Sie Azure SQL-Datenbank und dann Weiter aus.

      Screenshot: Auswählen der Datenquelle.

    2. Die Navigation erfolgt zur Verbindungserstellungsseite. Geben Sie die erforderlichen Verbindungsinformationen in den Bereich ein, und wählen Sie dann Erstellen aus. Ausführliche Informationen zur Verbindungserstellung für jeden Datenquellentyp finden Sie im Artikel zum jeweiligen Connector.

    3. Sobald die Verbindung erfolgreich erstellt wurde, gelangen Sie zurück zur Pipelineseite. Wählen Sie dann Aktualisieren aus, um die Verbindung abzurufen, die Sie aus der Dropdownliste erstellt haben. Sie können auch eine vorhandene Verbindung von Azure SQL-Datenbank direkt aus der Dropdownliste auswählen, wenn Sie diese bereits erstellt haben. Die Funktionen Verbindung testen und Bearbeiten stehen für jede ausgewählte Verbindung zur Verfügung. Wählen Sie dann unter Verbindungstyp die Option Azure SQL-Datenbank aus.

  2. Geben Sie eine zu kopierende Tabelle an. Wählen Sie Vorschau der Daten aus, um eine Vorschau Ihrer Quelltabelle anzuzeigen. Sie können auch Abfrage und Gespeicherte Prozedur verwenden, um Daten aus Ihrer Quelle zu lesen.

  3. Erweitern Sie Erweitert, um erweiterte Einstellungen anzuzeigen.

    Screenshot: „Erweiterte Einstellungen“.

Konfigurieren Ihres Ziels auf der Registerkarte „Ziel“

  1. Wählen Sie in "Verbindung " eine vorhandene Verbindung aus, oder wählen Sie "Mehr " aus, und suchen Sie dann nach Ihrem Seehaus.

  2. Sobald die Verbindung erfolgreich erstellt wurde, gelangen Sie zurück zur Pipelineseite. Wählen Sie dann Aktualisieren aus, um die Verbindung abzurufen, die Sie aus der Dropdownliste erstellt haben. Sie können auch eine vorhandene Lakehouse-Verbindung direkt aus der Dropdownliste auswählen, wenn Sie diese bereits erstellt haben.

  3. Geben Sie eine Tabelle an, oder richten Sie den Dateipfad ein, um die Datei oder den Ordner als Ziel zu definieren. Wählen Sie hier Tabellen aus, und geben Sie eine Tabelle zum Schreiben von Daten an.

  4. Erweitern Sie Erweitert, um erweiterte Einstellungen anzuzeigen.

Jetzt können Sie Ihre Pipeline entweder mit dieser einzelnen Kopieraktivität speichern oder ihre Pipeline weiter entwerfen.

Führen Sie Ihre Pipeline aus und planen Sie sie

Führen Sie nach der Konfiguration Ihrer Pipeline diese aus, um die Kopieraktivität auszulösen. Sie können bei Bedarf auch den Pipeline-Lauf planen.

  1. Wechseln Sie zur Registerkarte Home, und wählen Sie Ausführen aus. Ein Bestätigungsdialogfeld wird angezeigt. Wählen Sie dann Speichern und ausführen aus, um die Aktivität zu starten.

    Screenshot des Speicherns und Ausführens von Aktivitäten.

  2. Sie können den laufenden Prozess überwachen und die Ergebnisse auf der Registerkarte "Ausgabe" unterhalb der Pipeline-Arbeitsfläche überprüfen. Wählen Sie die Schaltfläche „Ausführungsdetails“ (mit hervorgehobenem Brillensymbol) aus, um die Ausführungsdetails anzuzeigen.

    Screenshot der Ausgabe der Pipeline.

  3. Die Ausführungsdetails zeigen, wie viele Daten gelesen und geschrieben wurden, sowie verschiedene andere Details zur Ausführung.

    Screenshot: Details der Copy-Aktivität.

  4. Sie können die Pipeline auch so planen, dass sie nach Bedarf mit einer bestimmten Häufigkeit ausgeführt wird. Nachfolgend sehen Sie ein Beispiel für die Planung einer Pipeline, die alle 15 Minuten ausgeführt wird. Sie können auch die Start- und Endzeit für Ihren Zeitplan angeben. Wenn Sie keine Startzeit angeben, ist die Startzeit der Zeitpunkt, ab dem Ihr Zeitplan gilt. Wenn Sie keine Endzeit angeben, wiederholt sich die Pipelineausführung alle 15 Minuten.

    Screenshot der Pipelineplanung.