Analytique IoT avec Azure Data Explorer et Azure IoT Hub

Cette idée de solution décrit comment Azure Data Explorer fournit des analyses presque en temps réel pour les données de diffusion en continu à haut débit et volumineuses provenant d’appareils et capteurs de l'Internet des objets (IoT). Ce flux de données fait partie d’une solution IoT globale qui intègre des charges de travail opérationnelles et analytiques avec Azure Cosmos DB et Azure Data Explorer.

Jupyter est une marque appartenant à la société à laquelle elle est associée. L’utilisation de cette marque n’implique aucune approbation de sa part. Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Téléchargez un fichier Visio de cette architecture.

Flux de données

Le flux de données suivant correspond au diagramme précédent :

1. Azure Event Hubs, Azure IoT Hub ou Apache Kafka ingère une vaste gamme de données en flux continu, telles que des journaux, des événements métier et des activités des utilisateurs.

2. Azure Functions ou Azure Stream Analytics traite les données en temps quasi réel.

3. Azure Cosmos DB stocke les messages diffusés en continu au format JSON pour servir une application opérationnelle en temps réel.

4. Azure Data Explorer ingère des données pour l’analytique à l’aide de ses connecteurs pour Event Hubs, IoT Hub ou Kafka pour une faible latence et un débit élevé.

   Vous pouvez également ingérer des objets blob à partir de votre compte Stockage Blob Azure ou Azure Data Lake Storage dans Azure Data Explorer à l’aide d’une connexion de données Azure Event Grid.

   Vous pouvez également exporter en continu des données vers stockage Azure au format compressé, partitionné Apache Parquet et interroger en toute transparence les données avec Azure Data Explorer. Pour plus d’informations, consultez vue d’ensemble de l’exportation de données continue.

5. Pour traiter les cas d’usage opérationnels et analytiques, routez les données vers Azure Data Explorer et Azure Cosmos DB en parallèle, ou depuis Azure Cosmos DB vers Azure Data Explorer.

   Les transactions Azure Cosmos DB peuvent déclencher des Azure Functions via un flux de modification. Azure Functions diffuse des données vers Event Hubs pour l’ingestion dans Azure Data Explorer. Comme alternative, Azure Functions peut invoquer Azure Digital Twins via son API, puis diffuser des données vers Event Hubs pour les ingérer dans Azure Data Explorer.

6. Les interfaces suivantes obtiennent des insights à partir de données stockées dans Azure Data Explorer :

   • Applications d’analyse personnalisées qui combinent des données à partir d’Azure Digital Twins et d’API Azure Data Explorer

   • Tableaux de bord d’analyse en quasi-temps réel utilisant des tableaux de bord d’Azure Data Explorer, de Power BI ou de Grafana.

   • Alertes et notifications à partir du connecteur Azure Data Explorer pour Azure Logic Apps.

   • L’interface utilisateur Web Azure Data Explorer, Kusto.Explorer et les "notebooks Jupyter"

7. Azure Data Explorer s’intègre à Azure Databricks et Azure Machine Learning pour fournir des services Machine Learning. Vous pouvez également créer des modèles Machine Learning à l’aide d’autres outils et services, et les exporter vers Azure Data Explorer pour les données de scoring.

Composants

Cette idée de solution utilise les composants Azure suivants.

Explorateur de données Azure

• La détection et la prévision des anomalies sont une fonctionnalité d’analytique intégrée dans Azure Data Explorer. Il détecte les valeurs hors norme et prédit les valeurs futures pour prendre en charge la surveillance proactive et la prise de décision. Dans cette architecture, elle identifie les modèles inhabituels dans les données IoT et les prévisions du comportement attendu au fil du temps.

• Le diagnostic d’anomalie pour l’analyse racine est une fonctionnalité KQL qui permet d’identifier les causes racines des anomalies. Il analyse les dimensions et les métriques qui contribuent à simplifier la résolution des problèmes. Dans cette architecture, elle isole la source des anomalies détectées dans les données de l’appareil.

• Azure Data Explorer est un service d’analytique haute performance entièrement géré. Il traite de grands volumes de données de streaming à partir d’applications, de sites web et d’appareils IoT en quasi-temps réel. Dans cette architecture, elle sert de moteur d’analytique central pour l’ingestion, l’interrogation et la visualisation des données IoT.

• Azure Data Explorer tableaux de bord sont une fonctionnalité de visualisation de l’interface utilisateur web Azure Data Explorer. Vous pouvez utiliser Azure Data Explorer tableaux de bord pour exporter des requêtes Kusto dans des tableaux de bord interactifs pour l’exploration des données en temps réel. Dans cette architecture, ils affichent des insights à partir de flux de données IoT et des résultats de détection d’anomalies.

• Azure Data Explorer interface utilisateur web est une interface basée sur un navigateur pour les clusters Azure Data Explorer. Il prend en charge les utilisateurs qui écrivent, exécutent et partagent des commandes et des requêtes KQL. Dans cette architecture, il fournit un espace de travail pour que les analystes interrogent et explorent les données IoT.

• L’analyse de série chronologique est une fonctionnalité intégrée dans Azure Data Explorer. Il permet aux utilisateurs d’explorer les modèles temporels, les tendances et la saisonnalité dans les données temporelles. Dans cette architecture, elle révèle les tendances à long terme et le comportement cyclique dans les lectures de capteur IoT.

Autres composants Azure

• Azure Cosmos DB est une base de données NoSQL rapide entièrement managée avec des API ouvertes pour n’importe quelle échelle. Dans cette architecture, elle stocke les données opérationnelles à partir d’appareils IoT pour un accès évolutif et à faible latence.

• Azure Digital Twins est une plateforme permettant de modéliser des environnements physiques en tant que représentations numériques. Dans cette architecture, elle gère les modèles numériques des ressources connectées à IoT pour prendre en charge l’analyse spatiale et les insights contextuels.

• IoT Hub permet une communication bidirectionnelle entre les appareils IoT et le cloud Azure. Dans cette architecture, elle sert de hub de messagerie central pour les opérations de données d’appareil et de commande et de contrôle.

• Event Hubs est un service d’ingestion de données en temps réel entièrement managé. Dans cette architecture, elle ingère des données à partir d’appareils IoT et les diffuse dans le pipeline d’analyse.

• Kafka sur HDInsight est un service de niveau entreprise et rentable pour Apache Kafka sur Azure. Dans cette architecture, elle fournit une infrastructure de diffusion en continu alternative pour l’ingestion et la distribution des données IoT.

Détails du scénario

Cette solution utilise Azure Data Explorer pour obtenir une analyse des données IoT en temps quasi réel sur des données de diffusion en continu à grand volume provenant d’un large éventail d’appareils IoT.

Cas d’usage potentiels

• Gestion du parc, pour la maintenance prédictive des pièces de véhicule. Cette solution est idéale pour les secteurs de l’automobile et des transports.

• Gestion des installations, pour l’optimisation de l’énergie et de l’environnement.

• Combinaison de conditions routières en temps réel avec des données météorologiques pour une conduite autonome plus sûre.

Contributeurs

Microsoft conserve cet article. Les contributeurs suivants ont écrit cet article.

Auteur principal :

• Shlomo Sagir | Développeur de contenu senior

Autres contributeurs :

• Sreedhar Pelluru | Développeur de contenu senior

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Qu’est-ce que l’Explorateur de données Azure ?
• Visualiser des données avec des tableaux de bord Azure Data Explorer

Ressource associée

• Conception de l’architecture d’analyse