Erstellen einer visuellen Datenvorbereitung in Lakeflow Designer

Mit Lakeflow Designer können Sie Datentransformationsworkflows auf einem visuellen, drag-and-drop-Canvas erstellen. Auf dieser Seite wird erläutert, wie Sie eine visuelle Datenvorbereitung erstellen – vom Hinzufügen einer Datenquelle und dem Verketten von Operatoren bis hin zur Vorschau von Ergebnissen und dem Schreiben in den Unity Catalog.

Anforderungen

Um Lakeflow Designer zu verwenden, müssen Sie folgendes haben:

• Ein Azure Databricks-Arbeitsbereich mit aktiviertem Unity-Katalog.
• CAN USE Berechtigung für mindestens eine universelle Compute-Ressource (serverlos oder Allzweck).

Wählen Sie im Compute-Auswahlmenü oben rechts im Designer neben der Schaltfläche Zeitplan aus, welches Compute verwendet werden soll.

Erstellen einer neuen visuellen Datenvorbereitung

Um eine neue visuelle Datenvorbereitung zu erstellen, klicken Sie auf Neu in der Randleiste, und wählen Sie visual data prep aus.

Der Designer wird mit einer Willkommensseite geöffnet, auf der Sie eine Datenquelle hinzufügen oder eine Beispielvorbereitung für visuelle Daten erkunden können.

Öffnen Sie die Seite "Visuelle Datenvorbereitung " auf der Randleiste, um die vorhandenen dateien für visuelle Daten zu finden. Auf dieser Seite sind alle Ihre visuellen Datenvorbereitungsdateien aufgeführt, und es enthält ein Video mit den ersten Schritten, das Ihnen bei der Verwendung von Lakeflow Designer hilft.

Hinzufügen einer Datenquelle

Jede visuelle Datenvorbereitung beginnt mit einer oder mehreren Datenquellen. Der Source-Operator stellt eine Datenquelle auf dem Zeichenbereich dar.

So fügen Sie eine Datenquelle hinzu:

1. Fügen Sie einen Source-Operator hinzu. Klicken Sie auf der Willkommensseite auf den Quelloperator auswählen. Öffnen Sie in der Arbeitsfläche das Operatormenü und wählen Sie "Quelle" aus.
2. Wählen Sie im Bereich " Quellkonfiguration " aus, wie Ihre Daten angezeigt werden sollen:
   • Eine vorhandene Tabelle auswählen
   • Laden Sie eine lokale CSV- oder Excel Datei hoch.
   • Erstellen Sie eine Tabelle aus einer Datei.
   • Import von Google Drive oder SharePoint.
3. Wählen Sie Ihre Datenquelle aus, oder konfigurieren Sie sie. Der Source-Operator erscheint auf der Leinwand.

Sie können auch eine CSV- oder Excel-Datei direkt auf den Zeichenbereich ziehen und ablegen, um schnell einen Quelloperator zu erstellen.

Um die Quelle später zu ändern, öffnen Sie den Source-Operator, und klicken Sie auf "Neue Datenquelle auswählen". Durch Das Ändern der Quelle wird der Ausgabecache für alle downstream-Operatoren ungültig.

Ausführliche Informationen zu den einzelnen Aufnahmeoptionen finden Sie unter "Daten aufnehmen" in Lakeflow Designer.

Hinzufügen und Konfigurieren von Operatoren

Um einen Operator hinzuzufügen, öffnen Sie das Operatormenü in der linken Seitenleiste der Canvas. Klicken Sie auf einen Operator, um ihn dem Zeichenbereich hinzuzufügen, oder ziehen Sie einen Operator aus dem Menü auf den Zeichenbereich. Sie können auch auf die + Schaltfläche neben einem beliebigen vorhandenen Operator klicken, um einen neuen Operator mit einer automatischen Verbindung hinzuzufügen.

Um einen Operator zu konfigurieren, doppelklicken Sie darauf, oder zeigen Sie darauf, und klicken Sie auf (Operator bearbeiten), um den Konfigurationsbereich zu öffnen. Legen Sie die Optionen für diesen Operatortyp fest und gehen Sie dann auf Anwenden.

Ausführliche Informationen zu jedem verfügbaren Operator finden Sie unter integrierten Operatoren in Lakeflow Designer. Ausführliche Informationen zum Erstellen eigener benutzerdefinierter Operatoren finden Sie unter User-defined operators in Lakeflow Designer.

Verbinden von Operatoren

Um zwei Operatoren zu verbinden, klicken und ziehen Sie vom Ausgabepunkt (dem kleinen Kreis am rechten Rand eines Operators) zum Eingabepunkt (dem kleinen Kreis am linken Rand des nächsten Operators). Dies gibt an, dass Daten vom ersten Operator in die zweite fließen. Daten fließen von links nach rechts durch die visuelle Datenvorbereitung.

Einige Operatoren, z. B. Join und Combine, akzeptieren mehrere Eingaben.

Um eine Verbindung zu entfernen, bewegen Sie den Mauszeiger darüber und gehen Sie in der Symbolleiste, die über der Verbindung angezeigt wird, auf .

Verwenden von Genie Code

Sie können jederzeit während der Bearbeitung im Lakeflow-Designer Aufforderungen zu Genie Code erstellen, um Hilfe zu erhalten. Siehe Genie Code.

Bei Verwendung von Genie Code bieten die folgenden Schaltflächen zusätzliche Funktionen:

• : Fügt eine Datei an, die als Teil des Prompt verwendet werden soll.
• : Verwenden, um Objekte wie Tabellen oder Dateien zu erwähnen, die als Teil des Prompts verwendet werden sollen.
• : Startet einen neuen Chatthread mit neuem Agentkontext.
• : Öffnet den Seitenbereich für den Unterhaltungsverlauf und eine detailliertere Ansicht der Aktionen des Agents.

Genie Code zeigt eine einzeilige Zusammenfassung seiner letzten Bearbeitung über dem Eingabefeld.

Vorschau der Ergebnisse

Wählen Sie einen beliebigen Operator aus, um die Ergebnisse im Ausgabebereich am unteren Rand des Bildschirms anzuzeigen. Bei den meisten Operatortypen befindet sich die Eingabedaten auf der linken Seite, und die Ausgabedaten sind rechts. Operatoren, die Nichttabellenergebnisse erzeugen, z. B. Plots, HTML oder Bilder, rendern diese Ausgaben direkt im Ausgabebereich.

Verwenden Sie die Ansichtssteuerung im Ausgabefenster, um zwischen Eingabe und Ausgabe (Standard), nur Eingabe oder nur Ausgabe zu wechseln. Ziehen Sie in der kombinierten Ansicht die Trennlinie, um die Größe der Eingabe- und Ausgabebereiche zu ändern.

Standardmäßig verarbeiten Operatoren eine begrenzte Stichprobe von Daten für Vorschauen. Verwenden Sie das Dropdownmenü "Zeilen gescannt" im Ausgabebereich, um zu steuern, wie viele Zeilen verarbeitet werden sollen:

• Gescannte Zeilen: Limit: Verarbeitet die ersten N-Eingabezeilen. Geben Sie die Anzahl der Zeilen im Feld neben dem Dropdownmenü an.
• Gescannte Zeilen: Max: Verarbeitet alle Eingabezeilen. Im Max-Modus zeigt der Operator auch seine exakte Ausgabezeilenzahl unter dem Bediener auf der Leinwand an.

Die Einstellung „Gescannte Zeilen“ steuert nur die Verarbeitung der Vorschau. Geplante Ausführungen und Auftragsausführungen verarbeiten immer das vollständige Dataset.

Führe die vollständige visuelle Datenvorbereitung durch

Klicken Sie auf Alle ausführen, um jeden Operator auf der Arbeitsfläche in einem einzigen Schritt für den gesamten Datensatz auszuführen, ohne für jeden Operator einzeln eine Vorschau anzuzeigen. Der Designer führt die gesamte Visual Data Prep-Datei aus und aktualisiert die Ergebnisse für jeden Operator, dann zeigt er die genaue Anzahl der Ausgabezeilen jedes Operators darunter auf der Leinwand.

Transformieren Sie die Daten direkt in der Ergebnistabelle

Filtere und transformiere deine Daten direkt in der Ausgabetabelle. Nachdem Sie eine Spalte oder einen Filter umbenannt oder eine Spalte in die Ergebnistabelle eingefügt haben, klicken Sie auf Auf Canvas anwenden, um die Operatoren zu erstellen, die genau das reproduzieren, was Sie in der Tabelle durchgeführt haben.

Sie können die folgenden Operationen aus der Ergebnistabelle anwenden:

• Spalten umbenennen
• Entfernen von Spalten
• Hinzufügen von Spalten
• Neu anordnen von Spalten
• Datentyp ändern
• Filter
• Entfernen von Duplikaten
• NULL-Werte entfernen

Schreiben von Ergebnissen

Fügen Sie einen Output-Operator hinzu, um Ihre Ergebnisse auszugeben. Der Ausgabeoperator kann in eine Unity-Katalogtabelle schreiben, Ergebnisse als materialisierte Ansicht veröffentlichen oder eine CSV-, Excel- oder JSON-Datei in ein Unity Catalog-Volume schreiben.

1. Öffnen Sie das Operatormenü, wählen Sie "Ausgabe" aus, oder klicken Sie neben + dem letzten Operator, und wählen Sie "Ausgabe" aus.
2. Verbinden Sie den Ausgabehandle Ihrer letzten Transformation mit dem Eingabehandle des Ausgabeoperators , wenn dies noch nicht verbunden ist.
3. Doppelklicken Sie auf den Ausgabeoperator , um den Konfigurationsbereich zu öffnen.
4. Wählen Sie einen Ausgabetyp aus, und konfigurieren Sie das Ziel. Geben Sie für eine Tabelle einen Tabellennamen ein, wählen Sie den Ausgabespeicherort (Katalog und Schema) aus, und wählen Sie einen Schreibmodus aus.
5. Klicken Sie auf Ausführen.

Den vollständigen Satz von Ausgabetypen und Schreibmodi finden Sie unter "Output".

Planen oder in Produktion ausführen

Sie können Ihre Workflows automatisieren, indem Sie sie als Aufträge planen. Klicken Sie im oberen Menü auf die Schaltfläche Zeitplan, um einen geplanten Auftrag für Ihre visuelle Datenaufbereitung zu erstellen, oder fügen Sie die visuelle Datenaufbereitung als Aufgabe zu einem größeren Azure Databricks-Auftrag hinzu.

Informationen zum Verschieben einer visuellen Datenvorbereitung in die Produktion, einschließlich des Speicherns in Git, der Bereitstellung mit deklarativen Automatisierungsbündeln und der Parametrisierung über Umgebungen hinweg finden Sie unter Verschieben einer visuellen Datenvorbereitungsdatei in die Produktion.

Exportieren und Importieren einer visuellen Datenvorbereitungsdatei

Visuelle Datenvorbereitungsdateien werden nativ im Arbeitsbereich gespeichert. Sie können sie exportieren und importieren, um sie zwischen Arbeitsbereichen zu verschieben oder zu teilen.

So exportieren Sie eine visuelle Datenvorbereitungsdatei:

1. Klicken Sie auf In der oberen rechten Ecke.
2. Wählen Sie Dateiexport>aus.
3. Die Datei wird als <file_name>.designer.ipynbexportiert.

So importieren Sie eine visuelle Datenvorbereitungsdatei:

1. Klicken Sie im Arbeitsbereichsdateisystem auf
2. Klicken Sie auf Importieren.
3. Wählen Sie die zu importierende visuelle Datenvorbereitungsdatei aus.

Informationen zum Versionieren einer visuellen Datenvorbereitungsdatei mit Git und zum Verschieben in die Produktion finden Sie unter Verschieben einer visuellen Datenvorbereitungsdatei in die Produktion.

Umbenennen einer visuellen Datenvorbereitungsdatei

Wenn Sie eine visuelle Datenvorbereitungsdatei umbenennen möchten, klicken Sie oben im Editor auf die Registerkarte mit dem Namen, und geben Sie dann einen neuen Namen ein.

Löschen einer visuellen Datenvorbereitungsdatei

Um eine visuelle Datenaufbereitungsdatei zu löschen, öffnen Sie das Kebab-Menü für die Datei und wählen Sie In den Papierkorb verschieben aus.

Wenn Sie mehrere Visual-Data-Prep-Dateien gleichzeitig löschen möchten, öffnen Sie Arbeitsbereich in der linken Navigation, wählen Sie die Dateien aus, die Sie entfernen möchten, und wählen Sie oben über der Liste In den Papierkorb verschieben aus.

Weitere Tipps beim Arbeiten im Zeichenbereich

Die folgenden Aktionen stehen auf der Arbeitsfläche zur Verfügung, um Sie beim Bearbeiten Ihrer visuellen Datenaufbereitung zu unterstützen.

• Benennen Sie einen Operator um: Klicken Sie oben im Konfigurationsbereich auf das Feld, um den Operator umzubenennen. Beschreibende Namen erleichtern das Verständnis Ihrer visuellen Datenaufbereitung auf einen Blick. Einige Operatoren, z. B. der SQL-Operator, können anhand des Namens auf die Ausgabe anderer Operatoren verweisen.
• Einen Operator kopieren: Bewegen Sie den Mauszeiger über einen Operator und klicken Sie auf , oder wählen Sie einen Operator aus und drücken Sie Cmd/Strg+C und dann Cmd/Strg+V.
• Einen Operator löschen: Bewegen Sie den Mauszeiger über einen Operator und wählen Sie in der darüber angezeigten Symbolleiste oder den Operator aus und drücken Sie Löschen.
• Einen Operator aktivieren oder deaktivieren: Rechtsklick auf einen Operator oder eine Gruppe und wähle Deaktivieren , um ihn von Läufen auszuschließen, oder Aktivieren , um ihn wieder einzuschließen. Ein deaktivierter Operator erzeugt keine Ausgabezeilen, daher erhalten nachgelagerte Operatoren ein leeres Ergebnis, bis du es aktiviert hast.
• Automatisches Layout: Klicken Sie auf In der Kopfzeilensymbolleiste werden alle Operatoren automatisch in einem kompakten Layout angeordnet.
• Ansicht anpassen: Klicken Sie auf In der Kopfzeilensymbolleiste werden alle Operatoren im aktuellen Viewport angezeigt.
• Rückgängig machen und wiederholen: Drücken Sie Cmd/Strg+Z und Cmd/Strg+Umschalt+Z oder verwenden Sie die Schaltflächen zum Rückgängigmachen und Wiederholen in der Symbolleiste der Kopfzeile.
• Öffnen Sie die Befehlspalette: Drücken Sie CMD+UMSCHALT+P unter macOS oder STRG+UMSCHALT+P auf Windows, um schnell auf Editoraktionen zuzugreifen.
• Generierten Code anzeigen: Öffnen Sie im linken Menü den Tab „Inhaltsverzeichnis“, wählen Sie einen Operator aus und erweitern Sie anschließend den Abschnitt „Generierter Code“, um den Code anzuzeigen, den Designer dafür generiert. Weitere Informationen finden Sie im Inhaltsverzeichnis.
• Versionsverlauf anzeigen: Klicken Sie im rechten Bereich auf das ", um den Versionsverlauf der visuellen Daten zu öffnen, in dem die Änderungen aufgelistet sind. Wählen Sie eine Version aus, um ein visuelles Differenzial auf der Leinwand zu sehen, das es mit der folgenden Version vergleicht, wobei hinzugefügte, entfernte und geänderte Operatoren hervorgehoben sind. Wenn Sie den Mauszeiger im Inhaltsverzeichnis über einen Operator bewegen, wird der entsprechende Operator in beiden Versionen des Diff hervorgehoben.

Zusätzliche Ressourcen

• Aufnehmen von Daten in Lakeflow Designer
• Integrierte Operatoren in Lakeflow Designer