Análisis de IoT con Azure Data Explorer y Azure IoT Hub

Esta idea de solución describe cómo Azure Data Explorer proporciona análisis casi en tiempo real para datos de streaming de alto volumen y flujo rápido de dispositivos y sensores de Internet de las cosas (IoT). Este flujo de datos forma parte de una solución de IoT general que integra cargas de trabajo operativas y analíticas con Azure Cosmos DB y Azure Data Explorer.

Jupyter es una marca comercial de su empresa respectiva. El uso de esta marca no implica ninguna aprobación. Apache® y Apache Kafka® son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

1. Azure Event Hubs, Azure IoT Hub o Apache Kafka ingiere una amplia gama de datos de streaming de flujo rápido, como registros, eventos empresariales y actividades de usuario.

2. Azure Functions o Azure Stream Analytics procesa los datos casi en tiempo real.

3. Azure Cosmos DB almacena los mensajes transmitidos en formato JSON para servir a una aplicación operativa en tiempo real.

4. Azure Data Explorer ingiere datos para el análisis mediante sus conectores para Event Hubs, IoT Hub o Kafka para una latencia baja y un alto rendimiento.

   Como alternativa, puede cargar blobs desde su cuenta de Azure Blob Storage o Azure Data Lake Storage en Azure Data Explorer mediante una conexión de datos de Azure Event Grid.

   También puede exportar datos continuamente a Azure Storage en formato comprimido y particionado Apache Parquet y consultar sin problemas los datos con Azure Data Explorer. Para más información, consulte Introducción a la exportación continua de datos.

5. Para atender los casos de uso operativos y analíticos, enrute los datos a Azure Data Explorer y Azure Cosmos DB en paralelo, o desde Azure Cosmos DB a Azure Data Explorer.

   Las transacciones de Azure Cosmos DB pueden desencadenar Azure Functions mediante el cambio de feed. Azure Functions transmite datos a Event Hubs para la ingesta en Azure Data Explorer. Como alternativa, Azure Functions puede invocar Azure Digital Twins a través de su API, que luego transmite datos a Event Hubs para la ingesta en Azure Data Explorer.

6. Las interfaces siguientes extraen información de los datos almacenados en Azure Data Explorer:

   • Aplicaciones de análisis personalizadas que combinan datos de Azure Digital Twins y API de Azure Data Explorer

   • Paneles de análisis casi en tiempo real que usan paneles de Azure Data Explorer, Power BI o Grafana.

   • Alertas y notificaciones del conector de Azure Data Explorer para Azure Logic Apps.

   • La interfaz de usuario web de Azure Data Explorer, Kusto.Explorer y Jupyter notebooks

7. Azure Data Explorer se integra con Azure Databricks y Azure Machine Learning para proporcionar servicios de aprendizaje automático. También puede crear modelos de aprendizaje automático mediante otras herramientas y servicios y exportarlos a Azure Data Explorer para obtener datos de puntuación.

Componentes

Esta idea de solución usa los siguientes componentes de Azure.

Explorador de datos de Azure

• La detección y previsión de anomalías es una característica de análisis integrada en Azure Data Explorer. Detecta valores atípicos y predice valores futuros para facilitar la monitorización proactiva y la toma de decisiones. En esta arquitectura, identifica patrones inusuales en datos de IoT y previsión del comportamiento esperado a lo largo del tiempo.

• El diagnóstico de anomalías para el análisis raíz es una funcionalidad de KQL que ayuda a identificar las causas principales de anomalías. Analiza las dimensiones y métricas que contribuyen para simplificar la solución de problemas. En esta arquitectura, aísla el origen de anomalías detectadas en los datos del dispositivo.

• Azure Data Explorer es un servicio de análisis de alto rendimiento totalmente administrado. Procesa grandes volúmenes de datos de streaming de aplicaciones, sitios web y dispositivos IoT casi en tiempo real. En esta arquitectura, actúa como motor de análisis central para la ingesta, consulta y visualización de datos de IoT.

• Azure Data Explorer paneles son una característica de visualización en la interfaz de usuario web de Azure Data Explorer. Puede usar Azure Data Explorer paneles para exportar consultas de Kusto a paneles interactivos para la exploración de datos en tiempo real. En esta arquitectura, muestran información de flujos de datos de IoT y resultados de detección de anomalías.

• Azure Data Explorer interfaz de usuario web es una interfaz basada en explorador para clústeres de Azure Data Explorer. Admite usuarios que escriben, ejecutan y comparten comandos y consultas KQL. En esta arquitectura, proporciona un área de trabajo para que los analistas consulten y exploren los datos de IoT.

• El análisis de series temporales es una funcionalidad integrada en Azure Data Explorer. Ayuda a los usuarios a explorar patrones temporales, tendencias y estacionalidad en datos basados en el tiempo. En esta arquitectura, revela tendencias a largo plazo y comportamiento cíclico en las lecturas del sensor de IoT.

Otros componentes de Azure

• Azure Cosmos DB es una base de datos NoSQL rápida totalmente administrada con API abiertas para cualquier escala. En esta arquitectura, almacena datos operativos de dispositivos IoT para el acceso escalable y de baja latencia.

• Azure Digital Twins es una plataforma para modelar entornos físicos como representaciones digitales. En esta arquitectura, mantiene modelos digitales de recursos conectados a IoT para admitir el análisis espacial y la información contextual.

• IoT Hub permite la comunicación bidireccional entre dispositivos IoT y la nube de Azure. En esta arquitectura, actúa como el centro de mensajería central para los datos del dispositivo y las operaciones de comando y control.

• Event Hubs es un servicio de ingesta de datos en tiempo real totalmente administrado. En esta arquitectura, ingiere datos de dispositivos IoT y los transmite a la canalización de análisis.

• Kafka en HDInsight es un servicio rentable y de nivel empresarial para Apache Kafka en Azure. En esta arquitectura, proporciona una red troncal de streaming alternativa para la ingesta y distribución de datos de IoT.

Detalles del escenario

Esta solución usa Azure Data Explorer para obtener análisis de datos de IoT casi en tiempo real en datos de streaming rápidos y de gran volumen desde una amplia gama de dispositivos IoT.

Posibles casos de uso

• Gestión de flotas, para el mantenimiento predictivo de piezas de vehículo. Esta solución es idónea para los sectores de automoción y transporte.

• Gestión de instalaciones, para la optimización de la energía y el entorno.

• Combinación de condiciones de carretera en tiempo real con datos meteorológicos para una conducción autónoma más segura.

Colaboradores

Microsoft mantiene este artículo. Los siguientes colaboradores escribieron este artículo.

Autor principal:

• Shlomo Sagir | Desarrollador de contenido sénior

Otros colaboradores:

• Sreedhar Pelluru | Desarrollador de contenido sénior

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

• ¿Qué es el Explorador de datos de Azure?
• Visualización de datos con los paneles de Azure Data Explorer

Recurso relacionado

• Diseño de arquitectura de análisis