Data flow graphs in Azure IoT-bewerkingen

Een dataflowgrafiek is een configureerbare pijplijn die data verwerkt terwijl deze door Azure IoT-bewerkingen gaat. Een standaard datastroom volgt een vaste verrijking, filter en map-sequentie, maar een datastroomgrafiek laat je transformaties in willekeurige volgorde samenstellen, parallelle paden vertakken en data aggregeren over tijdsvensters.

De DataflowGraph aangepaste Kubernetes-resource definieert een datastroomgrafiek. Binnen de bron verbind je bronnen, transformaties en bestemmingen om verwerkingspijplijnen te bouwen die aansluiten bij jouw situatie.

Gegevensstromen versus gegevensstroomgrafieken

Azure IoT-bewerkingen biedt twee manieren om gegevens in een pijplijn te verwerken:

Voor nieuwe projecten die gebruikmaken van ondersteunde eindpunttypen raden we gegevensstroomgrafieken aan. Gegevensstromen blijven volledig ondersteund voor alle scenario's en ondersteunen het volledige scala aan eindpunttypen.

Beschikbare transformaties

Elke transformatie is een vooraf gebouwde verwerkingsstap die je configureert met regels en een keten met andere transformaties binnen een DataflowGraph resource.

Alle transformaties delen een expressietaal voor operators, functies en veldverwijzingen. U kunt berichten ook verrijken met externe gegevens uit een statusarchief in kaart-, filter- en vertakkingstransformaties.

Hoe transformaties samengesteld worden in een datastroomgrafiek

Transformaties verbinden in volgorde binnen een DataflowGraph resource: Bron > Transformatie A > Transformatie B > ... > Bestemming.

Vertakkings-transformaties splitsen de stroom in parallelle paden, en verbindings-transformaties voegen ze weer samen.

U kunt elk willekeurig aantal transformaties in elke volgorde koppelen. Een pijplijn met één enkele mapping is net zo geldig als een pijplijn die filtert, vertakt, elk pad anders toewijst, samenvoegt en vervolgens aggregeert in een tijdvenster.

Hoe de configuratie van datastroomgrafieken werkt

Elke transformatie in een dataflowgrafiek verwijst naar een vooraf gebouwd artefact dat uit een containerregister is gehaald. U configureert de transformatie door regels door te geven als JSON via de configuration sectie van de grafiekresource.

Wanneer je Azure IoT-bewerkingen uitrolt, maakt het automatisch een standaard register-endpoint aan dat default wijst naar mcr.microsoft.com. De ingebouwde transformaties gebruiken dit eindpunt om artefacten op te halen uit Microsoft Container Registry. Je hebt geen extra registerinstallatie nodig.

Een datastroomgrafiekresource definieert drie soorten elementen—een bron, één of meer transformaties (elk met nodeType: Graph), en een bestemming—en een set die nodeConnections beschrijft hoe data tussen deze elementen stroomt. Elke transformatie configuration geeft zijn regels door als een JSON-string onder de rules sleutel.

Voor een volledig, uitvoerbaar voorbeeld dat temperatuurgegevens leest, Celsius omzet naar Fahrenheit met een maptransformatie en het resultaat publiceert—in de Operations-ervaring, Azure CLI, Bicep en Kubernetes—zie Create a data flow graph. In de artikelen die volgen, richten voorbeelden zich op de transformatieregels zelf.

Configureer schema's op knooppuntverbindingen

Dataflowgrafieken behandelen schema's anders dan datastromen. In plaats van het schema in te stellen op de bron of transformatie, configureert u schema's op de knooppuntverbindingen tussen knooppunten in de grafiek. Branch- en filtertransformaties kunnen optioneel runtime-data valideren tegen schema's die aan knooppuntverbindingen zijn gekoppeld.

Elke invoer in de nodeConnections array kan een schema aan de from zijkant van een verbinding bevatten. Dit schema beschrijft het verwachte formaat van de data die tussen die twee knooppunten stroomt:

nodeConnections: [
  {
    from: {
      name: 'source'
      schema: {
        schemaRef: 'aio-sr://my-namespace/sensor-data:1'
        serializationFormat: 'Json'
      }
    }
    to: {
      name: 'transform'
    }
  }
]

nodeConnections:
  - from:
      name: source
      schema:
        schemaRef: "aio-sr://my-namespace/sensor-data:1"
        serializationFormat: Json
    to:
      name: transform

De schemaRef waarde gebruikt het formaat aio-sr://<namespace>/<name>:<version> en wijst naar een schema dat is opgeslagen in het schemaregister. Omdat datastroomgrafieken alleen MQTT-, Kafka- en OpenTelemetrie-eindpunten ondersteunen, is Jsonhet ondersteunde serialisatieformaat .

De volgende tabel vat samen hoe schemaconfiguratie verschilt tussen datastromen en datastroomgrafieken:

Voor definities van berichtschema's, formaten en hoe je schema's uploadt, zie Understand message schemas.

Ingebouwde transformaties versus WASM-transformaties

Gegevensstroomgrafieken ondersteunen twee soorten transformaties:

• Ingebouwde transformaties worden vooraf gebouwd door Microsoft (map, filter, branch, concatenate, window, throttle). U configureert ze met regels. Er is geen codering vereist.
• WASM-transformaties zijn aangepaste WebAssembly-modules die ontwikkelaars bouwen en implementeren. Gebruik deze wanneer u logica nodig hebt die niet door de ingebouwde transformaties wordt behandeld.

Beide soorten transformaties draaien binnen dezelfde DataflowGraph bron, en je kunt ze in één enkele pijplijn mengen. Zie WASM-transformaties gebruiken in gegevensstroomgrafieken voor meer informatie over het bouwen en implementeren van aangepaste transformaties.

Foutafhandeling in datastroomgrafieken

Wanneer een transformatie een fout tegenkomt tijdens het verwerken van een bericht (bijvoorbeeld een ontbrekend veld of een ongeldige expressie), laat de transformatie het bericht vallen en registreert een foutmelding. De pijplijn blijft de volgende berichten verwerken.

Veelvoorkomende oorzaken van verwerkingsfouten:

• Een veld waarnaar in een regel inputs wordt verwezen, bestaat niet in het bericht.
• Een filter- of vertakkingsexpressie retourneert een niet-Booleaanse waarde.
• Een expressie verwijst naar een incompatibel datatype (bijvoorbeeld een JSON-object in de rekenkunde).
• Een staatsarchief dat wordt gebruikt voor verrijking is onbereikbaar.

Als u wilt controleren op verwerkingsfouten, controleert u de podlogboeken voor de gegevensstroomgrafiek of gebruikt u de eindpunten voor metrische gegevens. Zie Waarneembaarheid en bewaking configureren voor meer informatie.

Schaalbaarheidsbeperking voor statusbehoudende grafen

Prestatierichtlijnen voor datastroomgrafieken

Elke transformatie in de pijplijn voegt verwerkingsoverhead toe. Houd rekening met deze richtlijnen:

• Geef de voorkeur aan minder transformaties met meer regels. Als u veel transformatieregels hebt die op dezelfde structuur werken, voegt u deze samen in één verzameltransformatie in plaats van afzonderlijke transformaties te maken voor elke regel.
• Gebruik meerdere transformaties wanneer de logica uniek is. Afzonderlijke transformaties zijn logisch wanneer verschillende verwerkingsstappen fundamenteel verschillen (filteren versus transformatie versus aggregatie).
• Houd gerelateerde regels bij elkaar. Eén transformatie kan veld hernoeming, herstructurering, berekende velden en metagegevenstransformaties in één keer verwerken.

Verwante onderwerpen

• Gegevensstromen versus gegevensstroomgrafieken
• Een gegevensstroomgrafiek maken
• Gegevens transformeren met kaart
• Gegevens filteren en routeren
• Gegevens in de loop van de tijd aggregeren
• Verrijken met externe gegevens
• Throttlegegevens
• Berichten routeren naar verschillende onderwerpen
• Expressiesoverzicht
• WASM-transformaties gebruiken in gegevensstroomgrafieken