Integrierte Operatoren in Lakeflow Designer

Lakeflow Designer enthält integrierte Operatoren für allgemeine Datenvorbereitungs- und Transformationsaufgaben. Öffnen Sie das Operatormenü im Seitenbereich auf der linken Seite, um Operatoren nach Kategorie zu durchsuchen, oder verwenden Sie " Suchen nach einem Operator" am oberen Rand des Bereichs. Die Operatorsuche schlägt Operatoren basierend auf Ihrer Absicht vor. Die Eingabe average by month gibt z. B. den Aggregatoperator zurück. Wenn Sie einen Operator konfigurieren möchten, nachdem Sie ihn dem Zeichenbereich hinzugefügt haben, doppelklicken Sie darauf, oder zeigen Sie darauf, und klicken Sie auf (Operator bearbeiten), um den Konfigurationsbereich zu öffnen.

Jeder Operator zeigt eine KI-generierte Beschreibung dessen an, was er tut. Die Beschreibung fungiert auch als Editor für den Operator: Durch die Bearbeitung der Beschreibung wird der Operator so konfiguriert, dass er ihrer Beschreibung entspricht.

Informationen zum Erstellen eigener benutzerdefinierter Operatoren finden Sie unter User-defined operators in Lakeflow Designer.

Quelle und Ausgabe

Source

Importiert Daten aus einer Unity-Katalogtabelle oder einer anderen unterstützten Quelle in Designer. Um eine Quelle auszuwählen, suchen Sie nach einer Tabelle oder Datei nach Name, oder durchsuchen Sie nach Katalog und Schema. Sie können auch eine neue Tabelle aus diesem Bereich erstellen.

Nachdem Sie eine Tabelle ausgewählt haben, zeigt der Bereich den Namen, den Besitzer und die uhrzeit der letzten Aktualisierung der Tabelle an. Klicken Sie auf " Neue Datenquelle auswählen ", um die Quelle zu ändern. Durch Das Ändern der Quelle wird der Ausgabecache für alle downstream-Operatoren ungültig.

Sie können auch eine Metrikansicht des Unity-Katalogs als Quelle verwenden. Wenn Sie eine Metrikansicht auswählen, wählen Sie die einzuschließden Dimensionen und Measures aus, und Designer generiert die aggregierte Abfrage für Sie.

Die vollständigen Datenaufnahmeoptionen, einschließlich der Ausrichtung auf ein gesamtes Unity-Katalogvolume oder einen gesamten Ordner, finden Sie unter "Erfassungsdaten in Lakeflow Designer".

Daten eingeben

Erstellt eine Tabelle durch Eingeben von Werten in einen Kalkulationstabellen-Editor. Verwenden Sie diesen Operator, um kleine Mengen von Referenzdaten hinzuzufügen, z. B. Nachschlagewerte oder Testdaten, ohne eine separate Quelltabelle zu erstellen.

Output

Exportiert Daten aus Designer. Der Ausgabeoperator kann Ergebnisse in eine Unity-Katalogtabelle schreiben, sie als materialisierte Ansicht veröffentlichen oder in eine Datei in einem Unity-Katalogvolume schreiben. Wählen Sie das Ziel mit Ausgabetyp aus.

Wählen Sie für eine Tabellen - oder Dateiausgabe aus, wie jede Ausführung mit dem Schreibmodus auf das Ziel schreibt:

Klicken Sie auf "Ausführen ", um die visuelle Datenvorbereitung auszuführen und die Ergebnisse zu schreiben. Wenn die Tabelle für eine Tabellenausgabe nicht vorhanden ist, erstellt der Operator sie. Geplante Ausführungsvorgänge werden mit demselben Schreibmodus an das Ziel gesendet.

Nachdem ein Ausgabeoperator eine Tabelle, eine materialisierte Ansicht oder Datei geschrieben hat, verbinden Sie seinen ausgehenden Port, um den Workflow fortzusetzen. Für Tabellen, materialisierte Ansichten und einfache Einzeldatei-Ausgaben liest der ausgehende Port direkt vom persistenten Asset, das der Ausgabeoperator gerade geschrieben hat. Für geteilte Ausgaben, Excel-Range-Writes und Dateien ohne Header führt der ausgehende Port durch die Eingabezeilen.

Für Dateiausgaben erweitern Sie Erweitert , um die folgenden Optionen zu konfigurieren:

• Aufgeteilt nach verschiedenen Werten: Wähle eine Spalte aus, um für jeden einzelnen Wert eine Datei zu schreiben. Für Excel-Ausgaben kannst du stattdessen jeden Wert in ein separates Arbeitsblatt in einem Arbeitsheft schreiben. Ein Durchlauf kann bis zu 50 Dateien oder Arbeitsblätter erstellen.
• Blattname: Für die Excel-Ausgabe setzen Sie das Ziel-Arbeitsblatt.
• Kopfzeile einfügen: Spaltennamen in CSV- oder Excel-Ausgaben einfügen.
• Zellbereich: Für Excel-Ausgabe im Überschreibmodus setzen Sie die Startstelle und eine optionale End-Spalte. Der Designer bewahrt die Formatierung außerhalb des Bereichs und scheitert beim Ausführen, wenn die Daten nicht in einen festen Bereich passen. Man kann einen Zellbereich mit Split nicht durch verschiedene Werte kombinieren.

AI-Funktion

Führt einen integrierten KI-Vorgang für Ihre Daten aus. Öffnen Sie im Konfigurationsbereich die Option "Funktion auswählen", und wählen Sie eine der Funktionen in der folgenden Tabelle aus. Jede Funktion stellt Optionen im Bereich für Eingaben (z. B. Spalten, Eingabeaufforderungen, Bezeichnungen oder Sprachen) und Ausgaben zur Verfügung.

Details zu jeder Funktion finden Sie unter Transformieren unstrukturierter Daten mit KI-Funktionen.

Transformations

Die folgenden Operatoren führen Transformationen für Ihre Daten durch.

Aggregat

Fasst Zeilen zusammen, indem Daten und Aggregatwerte gruppiert werden.

Kombinieren

Kombiniert Daten aus mehreren Tabellen zu einer einzigen Ausgabe, indem eine Set-Operation verwendet wird.

Unique

Entfernt doppelte Zeilen aus den Eingabedaten. Standardmäßig dedupliziert der Operator über alle Spalten hinweg. Sie können stattdessen eine Teilmenge von Spalten als Schlüssel wählen und die Zeilen so anordnen, dass sie steuern, welche Kopie erhalten bleibt.

Filter

Teilt Zeilen basierend darauf, ob sie eine oder mehrere Bedingungen erfüllen, mithilfe eines grafischen Bedingungs-Generators.

Der Filteroperator verfügt über zwei Ausgaben, sodass Sie Verzweigungsdaten basierend darauf ausführen können, ob er die Bedingungen erfüllt:

Leitplanken

Validiert eingehende Daten anhand einer geordneten Liste von Prüfungen und trennt Zeilen, die passieren, von Zeilen, die fehlschlagen.

• Warnen Sie und fahren Sie mit den durchgelaufenen Reihen fort:
  • Die nachgelagerte Ausführung geht weiter.
  • Zeilen, die jede aktivierte Prüfung bestehen, werden an Passed gesendet.
  • Zeilen, die mindestens eine aktivierte Prüfung nicht bestehen, werden an Fehlgeschlagen weitergeleitet.
  • Errors enthält eine Zeile für jede fehlgeschlagene Prüfung, einschließlich Typ, Schweregrad und Meldung.
• Warnen und Ausgaben blockieren:
  • Wenn eine Prüfung fehlschlägt, wird die nachgeschaltete Ausführung fortgesetzt, aber Passed enthält keine Zeilen .
  • Failed enthält weiterhin die Failed Zeilen, und Errors enthält weiterhin die Fehlerdetails.
  • Verwenden Sie diese Option, um die nachgelagerte Verarbeitung von passierenden Zeilen zu verhindern und gleichzeitig die nachgeschaltete Behandlung von Fehlgeschlagenen undFehlern zu ermöglichen.
• Fehlern Sie im Workflow:
  • Wenn eine Überprüfung fehlschlägt, stoppt die Ausführung, bevor nachgelagerte Operatoren ausgeführt werden.
  • Sie erhalten nicht die Ausgaben Bestanden, Nicht bestanden oder Fehler.
  • In einem geplanten Job wird der Lauf als fehlgeschlagen markiert, was konfigurierte Fehlerbehandlungen wie Jobbenachrichtigungen auslösen kann.

Wenn du den Guardrails-Operator selbst vorschaust, kannst du trotzdem alle drei Ausgänge im Fehler-the-Workflow-Modus inspizieren.

Um Zeilen eines Outputs in einem der beiden Warnmodi zu erhalten, verbinden Sie ihn mit einem Output-Operator.

Join

Verknüpft Tabellen, indem Eingabedatensätze basierend auf übereinstimmenden Spaltenwerten kombiniert werden.

Mit zwei Eingaben hat der Join-Operator standardmäßig drei Ausgaben, sodass man einen Workflow basierend auf Join-Ergebnissen verzweigen kann:

Bei zwei Eingängen erzeugt die Auswahl eines bestimmten Join-Typs (voll, inner, links oder rechts) eine einzelne Join-Ausgabe statt der drei geteilten Ausgänge.

Limit

Schränkt die Zeilenanzahl ein, indem nur bis zur maximalen Anzahl von zeilen, die Sie angeben, durchlaufen werden.

Pivot

Formt tabellarische Daten in zwei Richtungen um. Verwenden Sie die Registerkarten oben im Konfigurationsbereich, um den Modus auszuwählen.

Zeilen → Spalten (Pivot)

Wandelt unterschiedliche Werte in einer Spalte in neue Spaltenüberschriften um, gefüllt mit aggregierten Werten aus einer anderen Spalte.

Spalten → Zeilen (Unpivot)

Faltet eine oder mehrere Spalten in Zeilen.

Spalten einschließen

Wählen Sie in beiden Modus aus, welche Spalten zusammen mit den pivotierten oder nicht pivotierten Werten in der Ausgabe verbleiben, und legen Sie Spalten ab, die Sie vor der Transformation nicht benötigen. Designer leitet feste Spalten (Gruppierung) aus den Spalten ab, die Sie nicht Pivot-, Wert- oder Unpivot-Rollen zuweisen.

Sortieren

Sortiert Zeilen in einer oder mehreren Spalten.

SQL

Schreibt benutzerdefinierten SQL-Code für eine Transformation, die nicht von den anderen Operatoren abgedeckt wird.

Feld	Beschreibung
SQL-Editor	Geben Sie eine SQL-Anweisung SELECT ein. Um auf die Ausgabe eines Eingabeoperators zu verweisen, verwenden Sie den Namen dieses Operators als Tabellennamen in Ihrer Abfrage. Beispiel: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Klicken Sie auf das Schaltfläche, um den vollständigen SQL-Codebereich zu öffnen und zu sehen, wie Ihre Anweisung in den vollständigen Workflow passt.
Parameters	Verwenden Sie zum Verweisen auf einen visuellen Datenpräpparameter benannte Parametermarkierungssyntax, z :environment. B. . Designer zeigt ein Beispiel über dem Editor, wenn Sie den Operator zur Bearbeitung öffnen. Siehe Parameter.

Auswählen

Wählt Spalten aus den Eingabedaten aus, benennt sie um und neu an.

Vorbereiten

Bereinigt und leitet Spalten ab, indem eine oder mehrere Aktionen für die Eingabedaten verkettet werden. Klicken Sie auf +Aktion hinzufügen , und wählen Sie eine Aktion aus. Fügen Sie beliebig viele Aktionen hinzu. Sie gelten in der Reihenfolge.

Um eine Aktion zu entfernen, zeigen Sie mit der Maus auf die Zeile, und klicken Sie auf das

Benutzerdefinierte Spalten

Die Formelaktion öffnet den Ausdrucks-Editor, in dem Sie eine neue Spalte erstellen oder eine vorhandene Spalte mit natürlicher Sprache oder SQL-Code überschreiben können. Der Editor verfügt über zwei Eingabefelder und ist bidirektional:

• Beschreibung: Geben Sie eine Beschreibung der natürlichen Sprache ein, was die Spalte tun soll. Designer verwendet Genie, um den entsprechenden Codeausdruck unten zu generieren.
• Ausdruck: Wenn Sie Code lieber direkt schreiben oder bearbeiten möchten, klicken Sie auf die Schaltfläche "Ausdruck bearbeiten". Durch das Bearbeiten des Ausdrucks wird automatisch eine Beschreibung der natürlichen Sprache generiert.

Geben @ Sie im Ausdruckseditor ein Menü mit den Eingabespalten des Operators und den integrierten SQL-Funktionen ein. Geben Sie nach @ ein, um die Liste zu filtern, und wählen Sie dann einen Eintrag zum Einfügen: Eine Spalte fügt ihren Namen ein, und eine Funktion fügt ihren Aufruf mit dem Cursor in die Klammern ein. Das gleiche @ Menü ist in den Ausdruckseditoren anderer Operatoren verfügbar, wie z. B. benutzerdefinierte Filter- und Join-Bedingungen.

Python

Führt benutzerdefinierte Python (PySpark) für die Eingabedaten aus.

Ein minimales Muster besteht darin, die erste Eingabe zu verwenden, wenn vorhanden oder ein leeres DataFrame andernfalls:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Von dort aus können Sie DataFrame-Vorgänge (z select. B. , , filter, withColumnoder Verknüpfungen) result vor dem Ende der Aufgabe verketten oder durch einen neuen DataFrame ersetzen result , der aus inputs["data"].

Während einer Vorschau strömt die Ausgabe des Bedieners in den Ausgabebereich, während sie produziert wird, einschließlich allem, womit display() Sie rendern, und dem Text, den Sie drucken, sodass Sie Ergebnisse sehen können, bevor der Lauf abgeschlossen ist.

Python Vorschaumodus

Während Sie eine visuelle Datenvorbereitung erstellen, schaut der Designer kontinuierlich die Ausgabe jedes Operators auf einer Auswahl Ihrer Daten vor. Diese Vorschauen führen deinen Python-Code genauso aus wie ein vollständiger Lauf. Das ist ein Problem, wenn dein Code Nebenwirkungen hat, wie zum Beispiel das Aufrufen einer externen API, das Senden einer Benachrichtigung oder das Schreiben in ein System außerhalb des Unity Catalog. Normalerweise möchte man nicht, dass diese Nebenwirkungen bei jeder Vorschau auftreten.

Damit Ihr Code die beiden voneinander unterscheiden kann, lesen config["is_preview"]Sie , einen Boolesche Wert, den der Designer für Sie setzt:

• True Während eines Vorschau-Laufs, sodass du Nebenwirkungen überspringen kannst.
• False während eines vollständigen Durchlaufs, zum Beispiel wenn du auf Ausführen klickst oder bei einem geplanten Durchlauf.

Zum Beispiel schützen Sie Nebenwirkungen, sodass sie nur außerhalb der Vorschauen laufen:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organisation

Note

Fügt eine Notiz auf der Canvas hinzu, damit Sie den Workflow selbst dokumentieren können: Zweck, Annahmen, Vorbehalte oder Übergabekontext für alle Benutzer, die die visuellen Daten später öffnen.

Group

Gruppiert Operatoren auf der Canvas visuell, ohne zu ändern, wie Daten zwischen ihnen fließen, was hilfreich ist, wenn eine visuelle Datenvorbereitung groß wird oder Sie logische Phasen widerspiegeln möchten.

Visualization

Erstellt eine Visualisierung aus den Eingabedaten und rendert sie direkt auf der Canvas. Verbinden Sie einen Visualisierungsoperator mit einem beliebigen Operator, der tabellarische Daten erzeugt, um die Ergebnisse zu diagrammen, ohne Designer zu verlassen.

Um die Visualisierung zu konfigurieren, öffnen Sie den Operator, und wählen Sie einen Visualisierungstyp aus, und ordnen Sie die Spalten dem Diagramm zu.

Zusätzliche Ressourcen

• Erstellen einer visuellen Datenvorbereitung in Lakeflow Designer
• Aufnehmen von Daten in Lakeflow Designer