Integrierte Operatoren in Lakeflow Designer

Lakeflow Designer enthält integrierte Operatoren für allgemeine Datenvorbereitungs- und Transformationsaufgaben. Öffnen Sie das Operatormenü im Seitenbereich auf der linken Seite, um Operatoren nach Kategorie zu durchsuchen, oder verwenden Sie " Suchen nach einem Operator" am oberen Rand des Bereichs. Die Operatorsuche schlägt Operatoren basierend auf Ihrer Absicht vor. Die Eingabe average by month gibt z. B. den Aggregatoperator zurück. Wenn Sie einen Operator konfigurieren möchten, nachdem Sie ihn dem Zeichenbereich hinzugefügt haben, doppelklicken Sie darauf, oder zeigen Sie darauf, und klicken Sie auf (Operator bearbeiten), um den Konfigurationsbereich zu öffnen.

Jeder Operator zeigt eine KI-generierte Beschreibung dessen an, was er tut. Die Beschreibung fungiert auch als Editor für den Operator: Durch die Bearbeitung der Beschreibung wird der Operator so konfiguriert, dass er ihrer Beschreibung entspricht.

Informationen zum Erstellen eigener benutzerdefinierter Operatoren finden Sie unter User-defined operators in Lakeflow Designer.

Quelle und Ausgabe

Source

Importiert Daten aus einer Unity-Katalogtabelle oder einer anderen unterstützten Quelle in Designer. Um eine Quelle auszuwählen, suchen Sie nach einer Tabelle oder Datei nach Name, oder durchsuchen Sie nach Katalog und Schema. Sie können auch eine neue Tabelle aus diesem Bereich erstellen.

Nachdem Sie eine Tabelle ausgewählt haben, zeigt der Bereich den Namen, den Besitzer und die uhrzeit der letzten Aktualisierung der Tabelle an. Klicken Sie auf " Neue Datenquelle auswählen ", um die Quelle zu ändern. Durch Das Ändern der Quelle wird der Ausgabecache für alle downstream-Operatoren ungültig.

Sie können auch eine Metrikansicht des Unity-Katalogs als Quelle verwenden. Wenn Sie eine Metrikansicht auswählen, wählen Sie die einzuschließden Dimensionen und Measures aus, und Designer generiert die aggregierte Abfrage für Sie.

Die vollständigen Datenaufnahmeoptionen, einschließlich der Ausrichtung auf ein gesamtes Unity-Katalogvolume oder einen gesamten Ordner, finden Sie unter "Erfassungsdaten in Lakeflow Designer".

Daten eingeben

Erstellt eine Tabelle durch Eingeben von Werten in einen Kalkulationstabellen-Editor. Verwenden Sie diesen Operator, um kleine Mengen von Referenzdaten hinzuzufügen, z. B. Nachschlagewerte oder Testdaten, ohne eine separate Quelltabelle zu erstellen.

Output

Exportiert Daten aus Designer. Der Ausgabeoperator kann Ergebnisse in eine Unity-Katalogtabelle schreiben, sie als materialisierte Ansicht veröffentlichen oder in eine Datei in einem Unity-Katalogvolume schreiben. Wählen Sie das Ziel mit Ausgabetyp aus.

Wählen Sie für eine Tabellen - oder Dateiausgabe aus, wie jede Ausführung mit dem Schreibmodus auf das Ziel schreibt:

Klicken Sie auf "Ausführen ", um die visuelle Datenvorbereitung auszuführen und die Ergebnisse zu schreiben. Wenn die Tabelle für eine Tabellenausgabe nicht vorhanden ist, erstellt der Operator sie. Geplante Ausführungsvorgänge werden mit demselben Schreibmodus an das Ziel gesendet.

AI-Funktion

Führt einen integrierten KI-Vorgang für Ihre Daten aus. Öffnen Sie im Konfigurationsbereich die Option "Funktion auswählen", und wählen Sie eine der Funktionen in der folgenden Tabelle aus. Jede Funktion stellt Optionen im Bereich für Eingaben (z. B. Spalten, Eingabeaufforderungen, Bezeichnungen oder Sprachen) und Ausgaben zur Verfügung.

Ausführliche Informationen zu den einzelnen Funktionen finden Sie unter Anreichern von Daten mithilfe von KI-Funktionen.

Transformations

Die folgenden Operatoren führen Transformationen für Ihre Daten durch.

Aggregat

Fasst Zeilen zusammen, indem Daten und Aggregatwerte gruppiert werden.

Kombinieren

Führt Daten aus mehreren Tabellen mit übereinstimmenden Schemas in einer einzelnen Ausgabe zusammen.

Unique

Entfernt doppelte Zeilen aus den Eingabedaten. Standardmäßig dedupliziert der Operator über alle Spalten hinweg. Sie können stattdessen eine Teilmenge von Spalten als Schlüssel wählen und die Zeilen so anordnen, dass sie steuern, welche Kopie erhalten bleibt.

Filter

Teilt Zeilen basierend darauf, ob sie eine oder mehrere Bedingungen erfüllen, mithilfe eines grafischen Bedingungs-Generators.

Der Filteroperator verfügt über zwei Ausgaben, sodass Sie Verzweigungsdaten basierend darauf ausführen können, ob er die Bedingungen erfüllt:

Join

Verknüpft zwei Tabellen mit einem Schlüssel, indem zwei Eingabedatensätze basierend auf übereinstimmenden Spaltenwerten kombiniert werden.

Standardmäßig verfügt der Verknüpfungsoperator über drei Ausgaben, sodass Sie einen Workflow basierend auf den Verknüpfungsergebnissen verzweigen können:

Wenn Sie einen bestimmten Verknüpfungstyp (vollständig, inner, links oder rechts) auswählen, erzeugt der Operator eine einzelne verknüpfte Ausgabe anstelle der drei geteilten Ausgaben.

Limit

Schränkt die Zeilenanzahl ein, indem nur bis zur maximalen Anzahl von zeilen, die Sie angeben, durchlaufen werden.

Pivot

Formt tabellarische Daten in zwei Richtungen um. Verwenden Sie die Registerkarten oben im Konfigurationsbereich, um den Modus auszuwählen.

Zeilen → Spalten (Pivot)

Wandelt unterschiedliche Werte in einer Spalte in neue Spaltenüberschriften um, gefüllt mit aggregierten Werten aus einer anderen Spalte.

Spalten → Zeilen (Unpivot)

Faltet eine oder mehrere Spalten in Zeilen.

Spalten einschließen

Wählen Sie in beiden Modus aus, welche Spalten zusammen mit den pivotierten oder nicht pivotierten Werten in der Ausgabe verbleiben, und legen Sie Spalten ab, die Sie vor der Transformation nicht benötigen. Designer leitet feste Spalten (Gruppierung) aus den Spalten ab, die Sie nicht Pivot-, Wert- oder Unpivot-Rollen zuweisen.

Sortieren

Sortiert Zeilen in einer oder mehreren Spalten.

SQL

Schreibt benutzerdefinierten SQL-Code für eine Transformation, die nicht von den anderen Operatoren abgedeckt wird.

Feld	Beschreibung
SQL-Editor	Geben Sie eine SQL-Anweisung SELECT ein. Um auf die Ausgabe eines Eingabeoperators zu verweisen, verwenden Sie den Namen dieses Operators als Tabellennamen in Ihrer Abfrage. Beispiel: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Klicken Sie auf das Schaltfläche, um den vollständigen SQL-Codebereich zu öffnen und zu sehen, wie Ihre Anweisung in den vollständigen Workflow passt.
Parameters	Verwenden Sie zum Verweisen auf einen visuellen Datenpräpparameter benannte Parametermarkierungssyntax, z :environment. B. . Designer zeigt ein Beispiel über dem Editor, wenn Sie den Operator zur Bearbeitung öffnen. Siehe Parameter.

Auswählen

Wählt Spalten aus den Eingabedaten aus, benennt sie um und neu an.

Vorbereiten

Bereinigt und leitet Spalten ab, indem eine oder mehrere Aktionen für die Eingabedaten verkettet werden. Klicken Sie auf +Aktion hinzufügen , und wählen Sie eine Aktion aus. Fügen Sie beliebig viele Aktionen hinzu. Sie gelten in der Reihenfolge.

Um eine Aktion zu entfernen, zeigen Sie mit der Maus auf die Zeile, und klicken Sie auf das

Benutzerdefinierte Spalten

Die Formelaktion öffnet den Ausdrucks-Editor, in dem Sie eine neue Spalte erstellen oder eine vorhandene Spalte mit natürlicher Sprache oder SQL-Code überschreiben können. Der Editor verfügt über zwei Eingabefelder und ist bidirektional:

• Beschreibung: Geben Sie eine Beschreibung der natürlichen Sprache ein, was die Spalte tun soll. Designer verwendet Genie, um den entsprechenden Codeausdruck unten zu generieren.
• Ausdruck: Wenn Sie Code lieber direkt schreiben oder bearbeiten möchten, klicken Sie auf die Schaltfläche "Ausdruck bearbeiten". Durch das Bearbeiten des Ausdrucks wird automatisch eine Beschreibung der natürlichen Sprache generiert.

Geben @ Sie im Ausdruckseditor ein Menü mit den Eingabespalten des Operators und den integrierten SQL-Funktionen ein. Geben Sie nach @ ein, um die Liste zu filtern, und wählen Sie dann einen Eintrag zum Einfügen: Eine Spalte fügt ihren Namen ein, und eine Funktion fügt ihren Aufruf mit dem Cursor in die Klammern ein. Das gleiche @ Menü ist in den Ausdruckseditoren anderer Operatoren verfügbar, wie z. B. benutzerdefinierte Filter- und Join-Bedingungen.

Python

Führt benutzerdefinierte Python (PySpark) für die Eingabedaten aus.

Ein minimales Muster besteht darin, die erste Eingabe zu verwenden, wenn vorhanden oder ein leeres DataFrame andernfalls:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Von dort aus können Sie DataFrame-Vorgänge (z select. B. , , filter, withColumnoder Verknüpfungen) result vor dem Ende der Aufgabe verketten oder durch einen neuen DataFrame ersetzen result , der aus inputs["data"].

Während einer Vorschau strömt die Ausgabe des Bedieners in den Ausgabebereich, während sie produziert wird, einschließlich allem, womit display() Sie rendern, und dem Text, den Sie drucken, sodass Sie Ergebnisse sehen können, bevor der Lauf abgeschlossen ist.

Python Vorschaumodus

Während Sie eine visuelle Datenvorbereitung erstellen, schaut der Designer kontinuierlich die Ausgabe jedes Operators auf einer Auswahl Ihrer Daten vor. Diese Vorschauen führen deinen Python-Code genauso aus wie ein vollständiger Lauf. Das ist ein Problem, wenn dein Code Nebenwirkungen hat, wie zum Beispiel das Aufrufen einer externen API, das Senden einer Benachrichtigung oder das Schreiben in ein System außerhalb des Unity Catalog. Normalerweise möchte man nicht, dass diese Nebenwirkungen bei jeder Vorschau auftreten.

Damit Ihr Code die beiden unterscheiden kann, lesen config["is_preview"]Sie , ein boolescher Designer setzt für Sie:

• True Während eines Vorschau-Laufs, sodass du Nebenwirkungen überspringen kannst.
• False während eines vollständigen Durchlaufs, zum Beispiel wenn du auf Ausführen klickst oder bei einem geplanten Durchlauf.

Zum Beispiel schützen Sie Nebenwirkungen, sodass sie nur außerhalb der Vorschauen laufen:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organisation

Note

Fügt eine Notiz auf der Canvas hinzu, damit Sie den Workflow selbst dokumentieren können: Zweck, Annahmen, Vorbehalte oder Übergabekontext für alle Benutzer, die die visuellen Daten später öffnen.

Group

Gruppiert Operatoren auf der Canvas visuell, ohne zu ändern, wie Daten zwischen ihnen fließen, was hilfreich ist, wenn eine visuelle Datenvorbereitung groß wird oder Sie logische Phasen widerspiegeln möchten.

Visualization

Erstellt eine Visualisierung aus den Eingabedaten und rendert sie direkt auf der Canvas. Verbinden Sie einen Visualisierungsoperator mit einem beliebigen Operator, der tabellarische Daten erzeugt, um die Ergebnisse zu diagrammen, ohne Designer zu verlassen.

Um die Visualisierung zu konfigurieren, öffnen Sie den Operator, und wählen Sie einen Visualisierungstyp aus, und ordnen Sie die Spalten dem Diagramm zu.

Zusätzliche Ressourcen

• Erstellen einer visuellen Datenvorbereitung in Lakeflow Designer
• Aufnehmen von Daten in Lakeflow Designer