Uitdrukkingsreferentie voor datastromen en datastroomgrafieken

Deze verwijzing is van toepassing op zowel gegevensstromen als gegevensstroomgrafieken. Beide gebruiken dezelfde expressietaal voor transformaties voor kaart-, filter- en verrijkingstransformaties. Gegevensstroomgrafieken ondersteunen ook vertakkings- en venstertransformaties (cumulatief), die waar van toepassing worden vermeld.

Positionele variabelen

De matrix van inputs elke regel bepaalt de variabelen die beschikbaar zijn in de expression. De eerste invoer wordt $1, de tweede wordt $2, enzovoort.

Als er slechts één invoer is opgegeven en er geen expressie wordt opgegeven, wordt de waarde bij die invoer rechtstreeks naar de uitvoer gekopieerd.

Bedieners

Expressies bieden ondersteuning voor de volgende operators, die worden weergegeven van hoogste naar laagste prioriteit:

De + operator voegt tekenreeksen samen wanneer ten minste één operand een tekenreeks is. Gebruik haakjes om de standaardprioriteit te overschrijven.

Voorbeelden:

Ingebouwde functies

Functies voor eenheidsconversie

Deze functies accepteren één numerieke waarde en retourneren een float.

Functies schalen en afronden

Wiskundige functies

Deze functies zijn afkomstig uit de ingebouwde wiskundige bibliotheek.

Stringfuncties

Datum- en tijdfuncties

Datum- en tijdfuncties zijn alleen beschikbaar in datastroomgrafieken. Behalve voor parse_timestampvereisen functies die een tijdstempel accepteren een RFC 3339-string . De string moet een expliciete offset bevatten ten opzichte van de gecoördineerde universele tijd (UTC), zoals 2026-06-17T12:00:00Z of 2026-06-17T12:00:00-08:00. De Returns kolom vermeldt het conceptuele resultaattype, dat typeof in kleine letters "float"als , "int", of "string"wordt gerapporteerd.

now() leest de systeemklok van de Kubernetes-node die de dataflow-werklast host elke keer dat de functie wordt uitgevoerd. Aanroepen in dezelfde expressie kunnen verschillende waarden teruggeven. In een accumulatieregel now() wordt de tijd teruggegeven waarop het venster wordt verwerkt, niet wanneer een invoerbericht arriveert. Om klokverschuiving tussen clusterknopen te verminderen, synchroniseer elke knoopklok met een betrouwbare tijdbron, zoals een Network Time Protocol-server.

Kalender- en klokfuncties, zoals day_of_week, hour_of_day, en year_of, gebruiken de offset in de invoertijdstempel. Ze zetten de waarde niet eerst om naar UTC. De volgende voorbeelden tonen dit gedrag.

Formaat en parse tijdstempels

De format_timestamp en parse_timestamp functies gebruiken strftime patronen. De volgende tabel geeft een overzicht van veelvoorkomende specificaties.

Voor alle ondersteunde specificaties, zie de Chrono strftime-documentatie.

format_timestamp behoudt de offset van de invoertijdstempel. Bijvoorbeeld, format_timestamp("2026-06-09T14:00:00+02:00", "%Y-%m-%d %H:%M %:z") retourneert "2026-06-09 14:00 +02:00".

parse_timestamp Verwerkt de invoer in de volgende volgorde:

1. Een datum en tijd met een numerieke verschuiving. De functie respecteert de offset en normaliseert het resultaat naar UTC.
2. Een datum en tijd zonder afstemming. De functie gaat uit van UTC.
3. Een date zonder tijd. De functie gaat uit van middernacht UTC.

De volgende voorbeelden laten zien hoe parse_timestamp elk type invoer wordt behandeld.

Converteer Unix-epochwaarden

Gebruik from_epoch en to_epoch om te converteren tussen Unix-epochwaarden en RFC 3339-tijdstempels.

from_epoch accepteert negatieve waarden voor data vóór 1 januari 1970. De output heeft millisecondenprecisie, dus het omzetten van epoch-microseconden naar een tijdstempel betekent dat de precisie onder één milliseconde blijft. to_epoch houdt rekening met de UTC-offset van de tijdstempel en rondt waarden vóór 1970 af naar het volgende lagere geheel getal voor de geselecteerde eenheid.

Datum- en tijdsfuncties kunnen worden samengesteld. Berekent duration_between($1, now(), "days") bijvoorbeeld de leeftijd in dagen van een RFC 3339-tijdstempel die als eerste regelinvoer wordt opgegeven. Om het uur van een tijdstempel na het omzetten naar UTC te lezen, gebruik hour_of_day(from_epoch(to_epoch($1, "micros"), "micros")).

Functies voor voorwaardelijke en verzameling

Aggregatiefuncties (alleen venstertransformaties)

Deze functies zijn alleen beschikbaar in accumulatieregels binnen venstertransformaties. Elke variabele heeft één positionele variabele.

Zie Statistische gegevens in de loop van de tijd voor meer informatie over het gebruik van aggregatiefuncties.

Voorwaardelijke logica

Gebruik de if functie om logica te vertakken binnen een expressie:

Gebruik () (de lege waarde) in vergelijkingen om ontbrekende velden te detecteren.

Metagegevensvelden

Lees van en schrijf naar berichtmetagegevens met behulp van het $metadata. voorvoegsel in de inputs of output velden van een regel. Metagegevensverwijzingen gaan naar het veldpad, niet in de expressie zelf.

Eigenschappen van metagegevens

• Onderwerp: Werkt voor zowel MQTT als Kafka. Het bevat de tekenreeks waarin het bericht is gepubliceerd. Voorbeeld: $metadata.topic.
• Gebruikerseigenschap: In MQTT verwijst dit naar de vrije sleutel/waardeparen die een MQTT-bericht kan bevatten. Als het MQTT-bericht bijvoorbeeld is gepubliceerd met een gebruikerseigenschap met de sleutel 'prioriteit' en de waarde 'hoog', bevat de $metadata.user_property.priority verwijzing de waarde 'hoog'. Gebruikerseigenschapssleutels kunnen willekeurige tekenreeksen zijn en er kunnen escape-tekens nodig zijn: $metadata.user_property."weird key" maakt gebruik van de sleutel 'rare sleutel' (met een spatie).
• Systeemeigenschap: Deze term wordt gebruikt voor elke eigenschap die geen gebruikerseigenschap is. Op dit moment wordt slechts één systeemeigenschap ondersteund: $metadata.system_property.content_type, waarmee de eigenschap van het inhoudstype van het MQTT-bericht wordt gelezen (indien ingesteld).
• Header: Dit is het Kafka-equivalent van de MQTT-gebruikerseigenschap. Kafka kan elke binaire waarde voor een sleutel gebruiken, maar gegevensstromen ondersteunen alleen UTF-8-tekenreekssleutels. Voorbeeld: $metadata.header.priority. Deze functionaliteit is vergelijkbaar met gebruikerseigenschappen.

Lezen uit metagegevens

Als u wilt verwijzen naar het brononderwerp en een gebruikerseigenschap in een expressie, vermeldt u deze als invoer:

Uitdrukking: $1 + "/" + $2

In het volgende voorbeeld wordt de eigenschap MQTT topic toegewezen aan het origin_topic veld in de uitvoer:

Als de gebruikerseigenschap priority aanwezig is in het MQTT-bericht, ziet u in het volgende voorbeeld hoe u deze kunt toewijzen aan een uitvoerveld:

Schrijven naar metagegevens

Als u een gebruikerseigenschap wilt instellen voor het uitvoerbericht, gebruikt $metadata.user_property.<key> u deze als uitvoerveld.

Als u een metagegevensveld instelt op een lege waarde (()) wordt dit verwijderd. Voor gebruikerseigenschappen zijn dubbele sleutels toegestaan.

U kunt metagegevenseigenschappen ook toewijzen aan een uitvoerheader of gebruikerseigenschap. In het volgende voorbeeld wordt de MQTT topic toegewezen aan het origin_topic veld in de gebruikerseigenschap van de uitvoer:

Als de binnenkomende nettolading een priority veld bevat, ziet u in het volgende voorbeeld hoe u deze kunt toewijzen aan een MQTT-gebruikerseigenschap:

Hetzelfde voorbeeld voor Kafka:

Metagegevensvelden worden ondersteund in kaart-, filter- en vertakkingsregels. Ze zijn niet beschikbaar in regels voor vensters (accumulatie).

Laatst bekende waarde

Gebruik het ? $last achtervoegsel op een invoer om de runtime te vertellen dat de meest recente waarde voor dat veld moet worden onthouden. Als het veld ontbreekt in het huidige bericht, wordt in plaats daarvan de laatst bekende waarde gebruikt.

De ? $last richtlijn is niet hoofdlettergevoelig en ondersteunt flexibele witruimte.

Laatst bekende waarde wordt ondersteund in kaart-, filter- en vertakkingsregels. Deze is niet beschikbaar in regels voor vensters (cumulatie).

Standaardwaarden

Gebruik het ?? <default> achtervoegsel op een invoer om een terugvalwaarde op te geven wanneer het veld ontbreekt. Ondersteunde standaardtypen: geheel getal, float, booleaanse waarde, tekenreeks en null.

Laatst bekende waarde en standaardwaarde combineren

U kunt combineren ? $last en ?? <default>. De runtime controleert eerst het huidige bericht, vervolgens de laatst bekende waarde en vervolgens de standaardwaarde. Als u ?? <default> zonder ? $lastgebruikt, controleert de runtime het huidige bericht en vervolgens de standaardwaarde rechtstreeks.

Standaardwaarden worden ondersteund in kaart-, filter- en vertakkingsregels. Ze zijn niet beschikbaar in regels voor vensters (accumulatie).

Gegevenstypen

JSON-objecten en matrices blijven behouden as-is wanneer velden zonder expressie worden gekopieerd, maar ze kunnen niet worden gebruikt als invoer voor expressie-evaluatie.

Functieondersteuning per transformatietype

Dezelfde expressietaal werkt over transformaties, maar het resultaat van een uitdrukking betekent in elke transformatie iets anders:

¹ Alleen beschikbaar in gegevensstroomgrafieken. Niet ondersteund in invoer van gegevensstromen builtInTransformation .

Punt notatie en escape

Punt notatie wordt veel gebruikt om te verwijzen naar geneste velden. Een standaardpad naar een punt-notatie ziet er als Person.Address.Street.Numbervolgt uit.

In een gegevensstroom kan een pad dat wordt beschreven door punt notatie tekenreeksen en een aantal speciale tekens bevatten zonder escapen te hoeven uitvoeren, zoals Person.Date of Birth.

In andere gevallen is ontsnappen nodig, bijvoorbeeld: nsu=http://opcfoundation.org/UA/Plc/Applications;s=RandomSignedInt32. Dit pad bevat onder andere speciale tekens puntjes in de veldnaam. Zonder het gebruik van escape-karakters zou de veldnaam fungeren als scheidingsteken in de puntnotatie zelf.

Hoewel een gegevensstroom een pad parseert, worden er slechts twee tekens als speciaal behandeld:

• Puntjes (.) fungeren als veldscheidingstekens.
• Dubbele aanhalingstekens, wanneer ze aan het begin of einde van een segment worden geplaatst, beginnen een ontsnapt gedeelte waarbij stippen niet als veldverdeelers worden behandeld.

Alle andere tekens worden behandeld als onderdeel van de veldnaam. Deze flexibiliteit is handig in indelingen zoals JSON, waarbij veldnamen willekeurige tekenreeksen kunnen zijn.

De paddefinitie moet ook voldoen aan de regels van de configuratie-indeling. Wanneer een teken met speciale betekenis wordt opgenomen in het pad, is de juiste aanhaling vereist. Veldnamen die beginnen met een dubbele punt (zoals :Person:.:name:) of die beginnen met een getal gevolgd door tekst (zoals 100 celsius.hot) moeten bijvoorbeeld correct worden geïnterpreteerd als tekenreeksen in de configuratie.

Ontsnappen

De primaire functie van ontsnappen in een punt-noterend pad is om plaats te bieden aan het gebruik van puntjes die deel uitmaken van veldnamen in plaats van scheidingstekens. Het pad Payload."Tag.10".Value bestaat bijvoorbeeld uit drie segmenten: Payload, Tag.10en Value. De dubbele aanhalingstekens rond Tag.10 verhinderen dat de punt fungeert als scheidingsteken.

Regels ontsnappen in punt notatie

• Ontsnap elk segment afzonderlijk: Als meerdere segmenten puntjes bevatten, moeten deze segmenten tussen dubbele aanhalingstekens worden geplaatst. Andere segmenten kunnen ook worden geciteerd, maar dit heeft geen invloed op de interpretatie van het pad. Bijvoorbeeld: Payload."Tag.10".Measurements."Vibration.$12".Value

• Citeer een segment alleen als het uit moet komen. Voeg dubbele aanhalingstekens toe rond een segment alleen wanneer het een punt bevat (of een ander teken dat anders als scheidingsteken zou worden gelezen). Citeer geen gewone veldnaam.

  Bijvoorbeeld, voor een veld genaamd TagName binnen Records:

  Doe u het volgende	Niet dit
  Records.TagName	Records."TagName"

  De extra aanhalingstekens helpen niet, en in sommige tools, zoals de data flow editor voor operations experience, worden ze onderdeel van de veldnaam. De mapping zoekt vervolgens naar een veld met de naam "TagName" (citaten inbegrepen), dat niet bestaat, dus niets komt overeen. Je kunt dit zien in de definitie van de geëxporteerde datastroom, waar de naam verschijnt met ontsnapte aanhalingstekens, zoals \"TagName\". Om het op te lossen, verwijder je de aanhalingstekens zodat de naam gewoon TagName.

• Correct gebruik van dubbele aanhalingstekens: Dubbele aanhalingstekens moeten een ontsnapt segment openen en sluiten. Alle aanhalingstekens in het midden van het segment worden beschouwd als onderdeel van de veldnaam. Het pad Payload.He said: "Hello", and waved definieert bijvoorbeeld twee velden: Payload en He said: "Hello", and waved. Wanneer onder deze omstandigheden een punt wordt weergegeven, blijft deze fungeren als scheidingsteken. Het pad Payload.He said: "No. It is done" wordt bijvoorbeeld gesplitst in de segmenten PayloadHe said: "Noen It is done" (beginnend met een spatie).

Segmentatie-algoritme

• Als het eerste teken van een segment een aanhalingsteken is, zoekt de parser naar het volgende aanhalingsteken. De tekenreeks tussen deze aanhalingstekens wordt beschouwd als één segment.
• Als het segment niet begint met een aanhalingsteken, identificeert de parser segmenten door te zoeken naar de volgende punt of het einde van het pad.

Jokertekens

Gebruik een jokerteken (*) in invoer- en uitvoerpaden om meerdere velden tegelijk te vinden. Dit is handig wanneer de uitvoer lijkt op de invoer, of wanneer u dezelfde transformatie moet toepassen op veel velden zonder dat u elke transformatie hoeft weer te geven.

Alle velden kopiëren

Als u elk veld ongewijzigd wilt doorgeven:

Het * komt overeen met elk veldpad in de invoer en plaatst het op hetzelfde pad in de uitvoer. Het gedeelte van het pad dat * overeenkomt, wordt het vastgelegde segment genoemd. In de uitvoer vervangt het vastgelegde segment het *.

Geneste velden plat maken

Als u velden uit een genest object naar het hoofdniveau wilt verplaatsen, plaatst u het voorvoegsel in de invoer en * in de uitvoer:

Op basis van deze invoer:

{
  "Sensors": { "Temperature": 72.5, "Pressure": 14.7 },
  "Metadata": { "LineId": "Line-3", "Shift": "A" }
}

Met de uitvoer worden beide objecten platgemaakt:

{
  "Temperature": 72.5,
  "Pressure": 14.7,
  "LineId": "Line-3",
  "Shift": "A"
}

Velden opnieuw structureren

Als u velden onder een nieuw bovenliggend item wilt verplaatsen, plaatst * u de invoer en voegt u een voorvoegsel toe aan de uitvoer:

Hiermee worden alle velden op het hoogste niveau in een Telemetry object verpakt.

Regels voor plaatsing van jokertekens

• Er is slechts één* toegestaan per invoer- of uitvoerpad.
• Het * moet overeenkomen met een volledig segment (niet een gedeeltelijk segment zoals Sensor*).
• De * naam kan worden weergegeven aan het begin (*.Value), het midden (Sensors.*.Reading) of het einde (Sensors.*) van een pad.

Jokertekens voor meervoudige invoer

Wanneer een regel meerdere invoer met jokertekens heeft, moet het *hetzelfde segment voor alle invoergegevens vastleggen. De runtime lost de * eerste invoer op en zoekt vervolgens naar overeenkomende paden in de andere invoer.

Als u bijvoorbeeld de maximale en minimale metingen voor elke sensor wilt berekenen:

Op basis van deze invoer:

{
  "Temperature": { "Max": 85.3, "Min": 62.1 },
  "Pressure": { "Max": 15.2, "Min": 14.1 }
}

De * opnamen Temperature eerst, dus de regel zoekt naar zowel als Temperature.MaxTemperature.Min. Vervolgens wordt er vastgelegd Pressure en gezocht Pressure.Max naar en Pressure.Min. De uitvoer is:

{
  "Averaged": { "Temperature": 73.7, "Pressure": 14.65 }
}

Als invoer niet kan worden omgezet voor een vastgelegd segment (bijvoorbeeld *.Mid.Avg wanneer het veld anders is genest), wordt dat segment overgeslagen. Zorg ervoor dat de paden in alle invoer de werkelijke structuur van de gegevens weerspiegelen.

Een jokerteken overschrijven voor specifieke velden

U kunt een jokertekenregel combineren met specifieke regels. Specifieke regels hebben voorrang wanneer ze een lagere dekking hebben (minder segmenten die overeenkomen met *). Dit wordt specialisatie genoemd.

De eerste regel is van toepassing op alle velden. De tweede regel overschrijft deze alleen voor Pressure , omdat Pressure.Max deze specifieker is dan *.Max (dekking 0 versus dekking 1).

Als u een veld volledig wilt uitsluiten, gebruikt u een lege uitvoer:

Bij een lege uitvoer wordt het veld uit het resultaat verwijderd. Hiermee wordt een jokertekenregel overschreven die anders zou worden opgenomen.

Meerdere regels op dezelfde invoer

Als twee regels dezelfde of hogere dekking hebben, zijn beide van toepassing. Hiermee kunt u meerdere afgeleide waarden berekenen op basis van dezelfde invoer:

Beide regels worden uitgevoerd voor elk vastgelegd segment, waardoor twee uitvoervelden per sensor worden geproduceerd.

Jokertekens in contextuele gegevenssets

U kunt jokertekens gebruiken met $context verwijzingen om alle velden uit een gegevensset te kopiëren:

Hiermee kopieert u elk veld uit de assetMeta gegevensset naar de Asset sectie van de uitvoer.

Contextuele gegevenssets

Met contextuele gegevenssets kunnen toewijzingen extra gegevens uit externe databases integreren. Gebruik het $context(datasetName) voorvoegsel om te verwijzen naar velden uit een gegevensset. Leest bijvoorbeeld $context(position).BaseSalary het veld uit een gegevensset met de BaseSalary naam position.

Zie Gegevens verrijken met behulp van gegevensstromen en Verrijken met externe gegevens in gegevensstroomgrafieken voor meer informatie over het configureren van contextualisatiegegevenssets.

Verwante inhoud

Als je hier bent gekomen op zoek naar de syntaxis die in een specifieke transformatie wordt gebruikt, tonen deze artikelen expressies in context:

Voor datastromen, zie Map data door data flows en filterdata in een dataflow te gebruiken.