Ausdrückereferenz für Datenflüsse und Datenflussgraphen

Diese Referenz gilt sowohl für Datenflüsse als auch für Datenflussdiagramme. Beide verwenden dieselbe Ausdruckssprache für Karten-, Filter- und Anreicherungstransformationen. Datenflussdiagramme unterstützen auch Verzweigungs- und Fenstertransformationen (Akkumulation), die gegebenenfalls angegeben werden.

Positionsvariablen

Jedes Regelarray inputs bestimmt die variablen, die in der expression. Die erste Eingabe wird $1, die zweite wird $2usw.

Wenn nur eine Eingabe angegeben ist und kein Ausdruck angegeben wird, wird der Wert an dieser Eingabe direkt in die Ausgabe kopiert.

Betriebspersonal

Ausdrücke unterstützen die folgenden Operatoren, die von der höchsten bis zur niedrigsten Rangfolge aufgelistet werden:

Der + Operator verkettet Zeichenfolgen, wenn mindestens ein Operand eine Zeichenfolge ist. Verwenden Sie Klammern, um die Standardrangfolge außer Kraft zu setzen.

Beispiele:

Integrierte Funktionen

Einheitenkonvertierungsfunktionen

Diese Funktionen akzeptieren einen einzelnen numerischen Wert und geben einen Float-Wert zurück.

Skalierungs- und Rundungsfunktionen

Mathematische Funktionen

Diese Funktionen stammen aus der integrierten mathematischen Bibliothek.

Zeichenfolgenfunktionen

Datums- und Uhrzeitfunktionen

Datums- und Uhrzeitfunktionen sind nur in Datenflussgraphen verfügbar. Mit Ausnahme von parse_timestampbenötigen Funktionen, die einen Zeitstempel akzeptieren, eine RFC-3339-Zeichenkette . Die Zeichenkette muss einen expliziten Offset von der koordinierten Universalzeit (UTC) enthalten, wie zum Beispiel 2026-06-17T12:00:00Z oder 2026-06-17T12:00:00-08:00. Die Spalte Returns listet den konzeptionellen Ergebnistyp auf, der typeof in Kleinbuchstaben als "float", "int", oder "string"angegeben wird.

now() liest bei jeder Ausführung der Funktion die Systemuhr des Kubernetes-Knotens aus, der die Datenfluss-Workload hostet. Aufrufe im selben Ausdruck können unterschiedliche Werte zurückgeben. Bei einer Akkumulationsregel wird die Zeit zurückgegeben, now() in der das Fenster verarbeitet wird, nicht wann eine Eingabenachricht eintrifft. Um die Taktverschiebung zwischen Cluster-Knoten zu verringern, synchronisieren Sie jede Knotenuhr mit einer zuverlässigen Zeitquelle, wie etwa einem Network Time Protocol-Server.

Kalender- und Uhrfunktionen wie day_of_week, hour_of_day, und year_of, verwenden den Offset im Eingabezeitstempel. Sie wandeln den Wert nicht zuerst in UTC um. Die folgenden Beispiele zeigen dieses Verhalten.

Format und Parse-Zeitstempel

Die format_timestamp und-Funktionen parse_timestamp verwenden strftime Muster. Die folgende Tabelle listet gängige Spezifikatoren auf.

Für alle unterstützten Spezifikationen siehe die Chrono strftime-Dokumentation.

format_timestamp bewahrt den Offset des Eingabezeitstempels. format_timestamp("2026-06-09T14:00:00+02:00", "%Y-%m-%d %H:%M %:z") gibt beispielsweise "2026-06-09 14:00 +02:00" zurück.

parse_timestamp Verarbeitet Eingaben in folgender Reihenfolge:

1. Ein Datum und eine Uhrzeit mit numerischer Abstelle. Die Funktion berücksichtigt den Offset und normalisiert das Ergebnis auf UTC.
2. Ein Datum und eine Uhrzeit ohne Offset. Die Funktion nimmt UTC an.
3. Ein Date ohne Uhrzeit. Die Funktion geht von Mitternacht UTC aus.

Die folgenden Beispiele zeigen, wie parse_timestamp jeder Eingabetyp gehandhabt wird.

Konvertiere Unix-Epochenwerte

Verwenden from_epoch Sie und to_epoch um zwischen Unix-Epochenwerten und RFC 3339-Zeitstempeln umzuwandeln.

from_epoch akzeptiert negative Werte für Daten vor dem 1. Januar 1970. Seine Ausgabe hat eine Millisekundenpräzision, sodass die Umwandlung von Epochenmikrosekunden in einen Zeitstempel eine Genauigkeit unter einer Millisekunde verwirft. to_epoch berücksichtigt den UTC-Offset des Zeitstempels und rundet die Werte vor 1970 bis zur nächstniedrigeren ganzen Zahl für die ausgewählte Einheit ab.

Datums- und Uhrzeitfunktionen können zusammengestellt werden. Zum Beispiel berechnet er das Alter in Tagen eines RFC 3339-Zeitstempels, duration_between($1, now(), "days") der als erste Regeleingabe angegeben wird. Um die Stunde eines Zeitstempels nach der Umwandlung in UTC zu lesen, verwenden hour_of_day(from_epoch(to_epoch($1, "micros"), "micros"))Sie .

Funktionen für bedingte und Sammlung

Aggregationsfunktionen (nur Fenstertransformationen)

Diese Funktionen sind nur in Akkumulationsregeln innerhalb von Fenstertransformationen verfügbar. Jede akzeptiert eine einzelne Positionsvariable.

Ausführliche Informationen zur Verwendung von Aggregationsfunktionen finden Sie unter "Aggregierte Daten im Laufe der Zeit".

Bedingte Logik

Verwenden Sie die if Funktion, um die Logik innerhalb eines Ausdrucks zu verzweigen:

Verwenden Sie () (den leeren Wert) im Vergleich, um fehlende Felder zu erkennen.

Metadatenfelder

Lesen und Schreiben in Nachrichtenmetadaten mithilfe des $metadata. Präfixes in den inputsoutput Feldern einer Regel. Metadatenverweise werden in den Feldpfad verschoben, nicht im Ausdruck selbst.

Metadateneigenschaften

• Thema: Funktioniert sowohl für MQTT als auch für Kafka. Es enthält die Zeichenfolge, wo die Nachricht veröffentlicht wurde. Beispiel: $metadata.topic.
• Benutzereigenschaft: In MQTT bezieht sich dies auf die Freiform-Schlüssel-Wert-Paare, die eine MQTT-Nachricht tragen kann. Wenn beispielsweise die MQTT-Nachricht mit einer Benutzereigenschaft mit der Schlüsselpriorität und dem Wert "high" veröffentlicht wurde, enthält der $metadata.user_property.priority Verweis den Wert "high". Benutzereigenschaftsschlüssel können beliebige Zeichenfolgen sein und erfordern möglicherweise Escape-Sequenzen: $metadata.user_property."weird key" verwendet den Schlüssel „weird key“ (mit einem Leerzeichen).
• Systemeigenschaft: Dieser Ausdruck wird für jede Eigenschaft verwendet, die keine Benutzereigenschaft ist. Derzeit wird nur eine einzelne Systemeigenschaft unterstützt: $metadata.system_property.content_type, die die Inhaltstypeigenschaft der MQTT-Nachricht liest (sofern festgelegt).
• Kopfzeile: Dies ist das Kafka-Äquivalent der MQTT-Benutzereigenschaft. Kafka kann einen beliebigen binären Wert für einen Schlüssel verwenden, der Datenfluss unterstützt jedoch nur UTF-8-Zeichenfolgenschlüssel. Beispiel: $metadata.header.priority. Diese Funktionalität ähnelt den Benutzereigenschaften.

Aus Metadaten lesen

Um auf das Quellthema und eine Benutzereigenschaft in einem Ausdruck zu verweisen, listen Sie sie als Eingaben auf:

Ausdruck: $1 + "/" + $2

Im folgenden Beispiel wird die MQTT-Eigenschaft topic dem Feld origin_topic in der Ausgabe zugeordnet:

Wenn die Benutzereigenschaft priority in der MQTT-Nachricht vorhanden ist, veranschaulicht das folgende Beispiel, wie sie einem Ausgabefeld zugeordnet wird:

In Metadaten schreiben

Verwenden Sie $metadata.user_property.<key> zum Festlegen einer Benutzereigenschaft für die Ausgabemeldung als Ausgabefeld.

Wenn Sie ein Metadatenfeld auf einen leeren Wert (()) festlegen, wird es entfernt. Für Benutzereigenschaften sind doppelte Schlüssel zulässig.

Sie können Metadateneigenschaften auch einem Ausgabeheader oder einer Benutzereigenschaft zuordnen. Im folgenden Beispiel wird die MQTT-Eigenschaft topic dem Feld origin_topic in der Benutzereigenschaft der Ausgabe zugeordnet:

Wenn die eingehende Nutzlast ein priority-Feld enthält, veranschaulicht das folgende Beispiel, wie sie einer MQTT-Benutzereigenschaft zugeordnet wird:

Das gleiche Beispiel für Kafka:

Metadatenfelder werden in Zuordnungs-, Filter- und Verzweigungsregeln unterstützt. Sie sind in Fensterregeln (akkumuliert) nicht verfügbar.

Letzter bekannter Wert

Verwenden Sie das ? $last Suffix für eine Eingabe, um die Laufzeit anweisen, den letzten Wert für dieses Feld zu merken. Wenn das Feld in der aktuellen Nachricht fehlt, wird stattdessen der letzte bekannte Wert verwendet.

Bei der ? $last Direktive wird zwischen Groß- und Kleinschreibung unterschieden und flexible Leerzeichen unterstützt.

Der letzte bekannte Wert wird in Zuordnungs-, Filter- und Verzweigungsregeln unterstützt. Es ist in Fensterregeln (kumuliert) nicht verfügbar.

Standardwerte

Verwenden Sie das ?? <default> Suffix für eine Eingabe, um einen Fallbackwert bereitzustellen, wenn das Feld fehlt. Unterstützte Standardtypen: integer, float, boolean, string, and null.

Letzten bekannten Wert und Standardwert kombinieren

Sie können kombinieren ? $last und ?? <default>. Die Laufzeit überprüft zuerst die aktuelle Nachricht, dann den letzten bekannten Wert und dann den Standardwert. Wenn Sie ohne ?? <default>Diese Verwenden verwenden? $last, überprüft die Laufzeit die aktuelle Nachricht und dann die Standardeinstellung direkt.

Standardwerte werden in Zuordnungs-, Filter- und Verzweigungsregeln unterstützt. Sie sind in Fensterregeln (akkumuliert) nicht verfügbar.

Datentypen

JSON-Objekte und Arrays werden as-is beibehalten, wenn Felder ohne Ausdruck kopiert werden, aber sie können nicht als Eingaben für die Ausdrucksauswertung verwendet werden.

Featureunterstützung nach Transformationstyp

Die gleiche Ausdruckssprache funktioniert über Transformationen hinweg, aber das Ergebnis eines Ausdrucks bedeutet in jeder Transformation etwas anderes:

¹ Nur in Datenflussdiagrammen verfügbar. In Datenflusseingaben builtInTransformation nicht unterstützt.

Punktnotation und Escapezeichen

Punktnotation wird häufig verwendet, um auf geschachtelte Felder zu verweisen. Ein standardmäßiger Punktnotationspfad sieht wie Person.Address.Street.Numberfolgt aus.

In einem Datenfluss kann ein durch Punkt notation beschriebener Pfad Zeichenfolgen und einige Sonderzeichen enthalten, ohne dass es escapeing erforderlich ist, z Person.Date of Birth. B. .

In anderen Fällen ist die Flucht erforderlich, z. B.: nsu=http://opcfoundation.org/UA/Plc/Applications;s=RandomSignedInt32. Dieser Pfad enthält unter anderem Sonderzeichen Punkte innerhalb des Feldnamens. Ohne Escape-Sequenz würde der Feldname selbst als Trennzeichen in der Punktnotation dienen.

Beim Parsen eines Pfads behandelt der Datenfluss lediglich zwei Zeichen als Sonderzeichen:

• Punkte (.) fungieren als Feldtrennzeichen.
• Doppelte Anführungszeichen, wenn sie am Anfang oder Ende eines Segments platziert werden, beginnen einen entweichten Abschnitt, in dem Punkte nicht als Feldtrenner behandelt werden.

Alle weiteren Zeichen werden als Teil des Feldnamens behandelt. Diese Flexibilität ist in Formaten wie JSON hilfreich, bei denen Feldnamen beliebige Zeichenfolgen sein können.

Die Pfaddefinition muss auch den Regeln des Konfigurationsformats entsprechen. Wenn ein Zeichen mit besonderer Bedeutung im Pfad enthalten ist, ist eine ordnungsgemäße Anführung erforderlich. Feldnamen, die mit einem Doppelpunkt (wie :Person:.:name:) beginnen oder mit einer Zahl beginnen, gefolgt von Text (wie 100 celsius.hot) müssen in der Konfiguration richtig als Zeichenfolgen interpretiert werden.

Escaping

Die hauptfunktion der Escapefunktion in einem punktierten Pfad besteht darin, die Verwendung von Punkten, die Teil von Feldnamen sind, anstelle von Trennzeichen zu berücksichtigen. Der Pfad Payload."Tag.10".Value besteht beispielsweise aus drei Segmenten: Payload, , Tag.10und Value. Durch die doppelten Anführungszeichen Tag.10 wird verhindert, dass der Punkt als Trennzeichen fungiert.

Escape-Regeln in der Punktnotation

• Escapefunktion für einzelne Segmente: Wenn mehrere Segmente Punkte enthalten, müssen diese Segmente in doppelte Anführungszeichen eingeschlossen werden. Andere Segmente können auch zitiert werden, wirken sich jedoch nicht auf die Pfadinterpretation aus. Beispiel: Payload."Tag.10".Measurements."Vibration.$12".Value

• Zitieren Sie einen Abschnitt nur, wenn er entkommen muss. Fügen Sie nur dann doppelte Anführungszeichen um ein Segment hinzu, wenn es einen Punkt enthält (oder ein anderes Zeichen, das sonst als Trennzeichen gelesen würde). Zitiere keinen gewöhnlichen Feldnamen.

  Zum Beispiel, für ein Feld namens in TagNameRecords:

  Mach das	Nicht das hier
  Records.TagName	Records."TagName"

  Die zusätzlichen Anführungszeichen helfen nicht weiter, und in manchen Tools, wie dem Operations Experience Data Flow Editor, werden sie Teil des Feldnamens. Die Abbildung sucht dann nach einem Feld mit "TagName" dem Namen (Anführungszeichen eingeschlossen), das aber nicht existiert, sodass nichts übereinstimmt. Das erkennt man in der Definition des exportierten Datenflusses, wo der Name mit entweichten Anführungszeichen erscheint, wie zum Beispiel \"TagName\". Um das zu beheben, entferne die Anführungszeichen, sodass der Name einfach TagName.

• Ordnungsgemäße Verwendung von doppelten Anführungszeichen: Doppelte Anführungszeichen müssen ein Escape-Segment öffnen und schließen. Alle Anführungszeichen in der Mitte des Abschnitts werden als Teil des Feldnamens betrachtet. Der Pfad Payload.He said: "Hello", and waved definiert beispielsweise zwei Felder: Payload und He said: "Hello", and waved. Wenn unter diesen Umständen ein Punkt angezeigt wird, dient er weiterhin als Trennzeichen. Beispielsweise wird der Pfad Payload.He said: "No. It is done" in die Segmente Payloadaufgeteilt, He said: "Nound It is done" (beginnend mit einem Leerzeichen).

Segmentierungsalgorithmus

• Wenn das erste Zeichen eines Segments ein Anführungszeichen ist, sucht der Parser nach dem nächsten Anführungszeichen. Die zwischen diesen Anführungszeichen eingeschlossene Zeichenfolge wird als einzelnes Segment interpretiert.
• Wenn das Segment nicht mit einem Anführungszeichen beginnt, identifiziert der Parser Segmente, indem er nach dem nächsten Punkt oder nach dem Ende des Pfads sucht.

Platzhalter

Verwenden Sie einen Wildcard (*) in Eingabe- und Ausgabepfaden, um mehrere Felder gleichzeitig abzugleichen. Dies ist nützlich, wenn die Ausgabe genau der Eingabe ähnelt oder wenn Sie dieselbe Transformation auf viele Felder anwenden müssen, ohne jede listet.

Alle Felder kopieren

So übergeben Sie jedes Feld unverändert:

Die * Übereinstimmung mit jedem Feldpfad in der Eingabe und platziert ihn an demselben Pfad in der Ausgabe. Der Teil des Pfads, der übereinstimmt, * wird als erfasstes Segment bezeichnet. In der Ausgabe ersetzt das erfasste Segment das *.

Geschachtelte Felder flachten

Um Felder aus einem geschachtelten Objekt auf die Stammebene zu verschieben, platzieren Sie das Präfix in der Eingabe und * in der Ausgabe:

Aufgrund dieser Eingabe:

{
  "Sensors": { "Temperature": 72.5, "Pressure": 14.7 },
  "Metadata": { "LineId": "Line-3", "Shift": "A" }
}

Die Ausgabe flacht beide Objekte ab:

{
  "Temperature": 72.5,
  "Pressure": 14.7,
  "LineId": "Line-3",
  "Shift": "A"
}

Neustrukturieren von Feldern

Wenn Sie Felder unter einem neuen übergeordneten Element verschieben möchten, fügen * Sie die Eingabe ein, und fügen Sie der Ausgabe ein Präfix hinzu:

Dadurch werden alle Felder der obersten Ebene innerhalb eines Telemetry Objekts umbrochen.

Platzhalterplatzierungsregeln

• Pro Eingabe- oder Ausgabepfad ist nur ein Wert* zulässig.
• Das * Muss mit einem vollständigen Segment übereinstimmen (kein Teilsegment wie Sensor*).
• Dies * kann am Anfang (*.Value), der Mitte (Sensors.*.Reading) oder dem Ende (Sensors.*) eines Pfads angezeigt werden.

Platzhalter für mehrere Eingaben

Wenn eine Regel über mehrere Eingaben mit Wildcards verfügt, muss * Segment für alle Eingaben erfasst werden. Die Laufzeit löst die * erste Eingabe auf und sucht dann nach übereinstimmenden Pfaden in den anderen Eingaben.

Um beispielsweise die Maximalen- und Min.-Werte für jeden Sensor zu mittelieren:

Aufgrund dieser Eingabe:

{
  "Temperature": { "Max": 85.3, "Min": 62.1 },
  "Pressure": { "Max": 15.2, "Min": 14.1 }
}

Die * Erfassungen Temperature werden zuerst erfasst, sodass die Regel nach beiden Temperature.Max und Temperature.Min. Anschließend wird er erfasst Pressure und sucht und suchtPressure.Max.Pressure.Min Die Ausgabe lautet wie folgt:

{
  "Averaged": { "Temperature": 73.7, "Pressure": 14.65 }
}

Wenn eine Eingabe für ein erfasstes Segment nicht aufgelöst werden kann (z *.Mid.Avg . B. wenn das Feld anders geschachtelt ist), wird dieses Segment übersprungen. Stellen Sie sicher, dass die Pfade in allen Eingaben die tatsächliche Struktur der Daten widerspiegeln.

Überschreiben eines Wildcards für bestimmte Felder

Sie können eine Wildcardregel mit bestimmten Regeln kombinieren. Bestimmte Regeln haben Vorrang, wenn sie eine niedrigere Abdeckung haben (weniger Segmente übereinstimmend).* Dies wird als Spezialisierung bezeichnet.

Die erste Regel gilt für alle Felder. Die zweite Regel setzt sie Pressure nur außer Kraft, da Pressure.Max sie spezifischer ist als *.Max (Abdeckung 0 vs. Abdeckung 1).

Um ein Feld vollständig auszuschließen, verwenden Sie eine leere Ausgabe:

Eine leere Ausgabe legt das Feld aus dem Ergebnis ab. Dadurch werden alle Wildcardregel außer Kraft gesetzt, die sie andernfalls enthalten würde.

Mehrere Regeln für dieselben Eingaben

Wenn zwei Regeln die gleiche oder höhere Abdeckung aufweisen, gelten beide. Auf diese Weise können Sie mehrere abgeleitete Werte aus denselben Eingaben berechnen:

Beide Regeln werden für jedes erfasste Segment ausgeführt und erzeugen zwei Ausgabefelder pro Sensor.

Platzhalter in den Kontextualisierungsdatensätzen

Sie können Wildcards mit $context Verweisen verwenden, um alle Felder aus einem Dataset zu kopieren:

Dadurch wird jedes Feld aus dem assetMeta Dataset in den Asset Abschnitt der Ausgabe kopiert.

Kontextbezogene Datasets

Kontextbezogene Datasets ermöglichen zuordnungen die Integration zusätzlicher Daten aus externen Datenbanken. Verwenden Sie das $context(datasetName) Präfix, um felder aus einem Dataset zu referenzieren. Liest z. B $context(position).BaseSalary . das BaseSalary Feld aus einem Dataset mit dem Namen position.

Ausführliche Informationen zum Konfigurieren von Kontextisierungsdatensätzen finden Sie unter "Anreichern von Daten mithilfe von Datenflüssen und Anreichern mit externen Daten in Datenflussdiagrammen".

Verwandte Inhalte

Wenn Sie hierher gekommen sind, um nach der Syntax einer bestimmten Transformation zu suchen, zeigen diese Artikel Ausdrücke im Kontext:

Für Datenflüsse siehe Map data by using data flows and Filter data in a data flow.