IoT-analyse met Azure Data Explorer en Azure IoT Hub

In dit oplossingsidee wordt beschreven hoe Azure Data Explorer bijna realtime analyses biedt voor snelle stromende, streaminggegevens van IoT-apparaten (Internet of Things) en sensoren. Deze gegevensstroom maakt deel uit van een algemene IoT-oplossing die operationele en analytische workloads integreert met Azure Cosmos DB en Azure Data Explorer.

Jupyter is een handelsmerk van zijn respectieve bedrijf. Er wordt geen goedkeuring geïmpliceerd door het gebruik van dit merk. Apache en Apache® Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

De volgende gegevensstroom komt overeen met het vorige diagram:

1. Azure Event Hubs, Azure IoT Hub of Apache Kafka neemt een breed scala aan snelstromende streaminggegevens op, zoals logboeken, zakelijke gebeurtenissen en gebruikersactiviteiten.

2. Azure Functions of Azure Stream Analytics de gegevens in bijna realtime verwerkt.

3. Azure Cosmos DB slaat gestreamde berichten op in JSON-indeling om een realtime operationele toepassing te leveren.

4. Azure Data Explorer gegevens voor analyse opneemt met behulp van de connectors voor Event Hubs, IoT Hub of Kafka voor lage latentie en hoge doorvoer.

   U kunt ook blobs opnemen vanuit uw Azure Blob Storage of Azure Data Lake Storage account in Azure Data Explorer met behulp van een Azure Event Grid gegevensverbinding.

   U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitioneerde Apache Parquet-indeling en naadloos query's uitvoeren op de gegevens met Azure Data Explorer. Zie Overzicht van continue gegevensexport voor meer informatie.

5. Als u zowel operationele als analytische gebruiksvoorbeelden wilt gebruiken, routeert u gegevens parallel naar Azure Data Explorer en Azure Cosmos DB, of van Azure Cosmos DB naar Azure Data Explorer.

   Azure Cosmos DB-transacties kunnen Azure Functions activeren via de wijzigingenfeed. Azure Functions gegevens naar Event Hubs streamt voor opname in Azure Data Explorer. Azure Functions kunnen ook Azure Digital Twins aanroepen via zijn API, die vervolgens gegevens naar Event Hubs streamt voor verwerking in Azure Data Explorer.

6. De volgende interfaces krijgen inzichten uit gegevens die zijn opgeslagen in Azure Data Explorer:

   • Aangepaste analyse-apps die gegevens combineren van Azure Digital Twins en Azure Data Explorer-API's

   • Bijna realtime analysedashboards die gebruikmaken van Azure Data Explorer-dashboards, Power BI of Grafana

   • Waarschuwingen en meldingen van de Azure Data Explorer-connector voor Azure Logic Apps

   • De Azure Data Explorer webgebruikersinterface, Kusto.Explorer en Jupyter-notebooks

7. Azure Data Explorer integreert met Azure Databricks en Azure Machine Learning om machine learning-services te bieden. U kunt ook machine learning-modellen bouwen met behulp van andere hulpprogramma's en services en deze exporteren naar Azure Data Explorer voor scoregegevens.

Onderdelen

In dit oplossingsidee worden de volgende Azure-onderdelen gebruikt.

Azure-gegevensverkenner

• Anomaliedetectie en -prognose is een ingebouwde analysefunctie in Azure Data Explorer. Het herkent uitschieters en voorspelt toekomstige waarden ter ondersteuning van proactieve monitoring en besluitvorming. In deze architectuur worden ongebruikelijke patronen in IoT-gegevens en verwachte gedragingen in de loop van de tijd geïdentificeerd.

• Anomaliediagnose voor hoofdanalyse is een KQL-mogelijkheid waarmee de hoofdoorzaken van afwijkingen kunnen worden geïdentificeerd. Het analyseert bijdragende dimensies en metrische gegevens om het oplossen van problemen te stroomlijnen. In deze architectuur wordt de bron van afwijkingen geïsoleerd die worden gedetecteerd in apparaatgegevens.

• Azure Data Explorer is een volledig beheerde, krachtige analyseservice. Het verwerkt in bijna realtime grote hoeveelheden streaminggegevens van toepassingen, websites en IoT-apparaten. In deze architectuur fungeert het als de centrale analyse-engine voor het opnemen, opvragen en visualiseren van IoT-gegevens.

• Azure Data Explorer dashboards zijn een visualisatiefunctie in de Azure Data Explorer webgebruikersinterface. U kunt Azure Data Explorer dashboards gebruiken om Kusto-query's te exporteren naar interactieve dashboards voor realtime gegevensverkenning. In deze architectuur geven ze inzichten weer van IoT-gegevensstromen en anomaliedetectieresultaten.

• Azure Data Explorer web-UI is een browserinterface voor Azure Data Explorer clusters. Het ondersteunt gebruikers die KQL-opdrachten en -query's schrijven, uitvoeren en delen. In deze architectuur biedt het een werkruimte voor analisten om IoT-gegevens op te vragen en te verkennen.

• Tijdreeksanalyse is een ingebouwde functie in Azure Data Explorer. Hiermee kunnen gebruikers tijdelijke patronen, trends en seizoensgebondenheid in op tijd gebaseerde gegevens verkennen. In deze architectuur worden trends en cyclisch gedrag op lange termijn weergegeven in ioT-sensorleesbewerkingen.

Andere Azure-onderdelen

• Azure Cosmos DB is een volledig beheerde, snelle NoSQL-database met open API's voor elke schaal. In deze architectuur worden operationele gegevens van IoT-apparaten opgeslagen voor schaalbare toegang met lage latentie.

• Azure Digital Twins is een platform voor het modelleren van fysieke omgevingen als digitale representaties. In deze architectuur worden digitale modellen van ioT-verbonden assets onderhouden ter ondersteuning van ruimtelijke analyse en contextuele inzichten.

• IoT Hub maakt bidirectionele communicatie mogelijk tussen IoT-apparaten en de Azure cloud. In deze architectuur fungeert het als de centrale berichtenhub voor apparaatgegevens en opdracht- en besturingsbewerkingen.

• Event Hubs is een volledig beheerde, realtime gegevensopnameservice. In deze architectuur worden gegevens van IoT-apparaten opgenomen en naar de analysepijplijn gestreamd.

• Kafka in HDInsight is een zakelijke, rendabele service voor Apache Kafka op Azure. In deze architectuur biedt het een alternatieve streaming-backbone voor IoT-gegevensopname en -distributie.

Details van het scenario

Deze oplossing maakt gebruik van Azure Data Explorer om bijna realtime IoT-gegevensanalyses te krijgen voor snelle stromende, grote streaminggegevens van een breed scala aan IoT-apparaten.

Potentiële gebruikscases

• Vlootbeheer, voor voorspellend onderhoud van voertuigonderdelen. Deze oplossing is ideaal voor de automobiel- en transportindustrie.

• Faciliteitenbeheer, voor energieverbruik- en omgevingsoptimalisatie.

• Het combineren van realtime wegomstandigheden met weergegevens voor veiliger autonoom rijden.

Bijdragers

Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteur:

• Shlomo Sagir | Senior Content Developer

Andere Inzenders:

• Sreedhar Pelluru | Senior Content Developer

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

• Wat is Azure Data Explorer?
• Gegevens visualiseren met Azure Data Explorer-dashboards

Gerelateerde resource

• Ontwerp van analysearchitectuur