Integración de Microsoft Purview y CluedIn para la administración de datos maestros

Importante

Se retirarán el Catálogo unificado de Microsoft Purview y las funcionalidades clásicas de gobierno de datos de Microsoft Purview (anteriormente Azure Purview). Microsoft está consolidando sus capacidades de gobernanza de datos en Microsoft Fabric. Ya no puede crear cuentas nuevas y las funcionalidades existentes permanecerán en modo de mantenimiento hasta el 12 de noviembre de 2027. Para conocer los plazos de retirada, las instrucciones de transición y los próximos pasos recomendados, consulte el anuncio de retirada de la gobernanza de datos de Microsoft Purview.

La arquitectura de CluedIn proporciona a las empresas métricas sobre la calidad de los datos que ingieren, detectando de manera inteligente los datos sucios y preparándolos para su limpieza por parte de ingenieros de datos y administradores de datos. Los algoritmos patentados de aprendizaje automático de lógica difusa ayudan a los usuarios comerciales y a los curadores a etiquetar datos y enseñan al sistema a identificar, corregir y prevenir problemas de calidad de datos a lo largo del tiempo.

Arquitectura

Diagrama que muestra la estructura arquitectónica y el flujo de datos de CluedIn.

Flujo de datos

La solución CluedIn consta de varias capas funcionales que se ejecutan en un clúster de Kubernetes en Azure Kubernetes Service (AKS). Una combinación de aplicaciones de microservicio de .NET Core controla funciones distintas como la ingesta de datos, el procesamiento de datos de streaming, la cola y la interfaz de usuario.

  1. La capa de rastreo de CluedIn ingiere datos de orígenes en la nube del cliente, como bases de datos de Azure SQL DB, Azure Cosmos DB, PostgreSQL y Salesforce a través de conectores de Azure Data Factory.

    CluedIn también recibe información de sistemas accesibles locales como SAP, Oracle, IBM y Hadoop, o puede usar agentes locales para rastrear datos no públicos.

  2. Enterprise Service Bus se conecta a través de los puertos 5672 y 15672 para los puntos de conexión de administración. Los rastreadores envían datos al bus, y la capa de procesamiento consume datos del bus, a través del puerto 5672.

  3. La capa de registro de transacciones toma los resultados de la capa de procesamiento.

  4. En la capa de persistencia, las bases de datos consumen datos del registro de transacciones y los conservan para proporcionar coherencia final entre los distintos almacenes de datos. Todas las tiendas funcionan en modo de alta disponibilidad (HA).

    A diferencia de la virtualización de datos, la capa de persistencia de CluedIn ingiere partes de los datos de origen y conserva la versión de mayor fidelidad de los datos y su estructura. Esta alta fidelidad significa que CluedIn Data Fabric puede atender solicitudes comerciales de datos en cualquier formato o modelo.

  5. La capa de abstracción de datos se conecta a los diferentes almacenes de datos a través de los puertos de cada almacén.

  6. El acceso a los datos se realiza a través de llamadas a GraphQL, REST y WebSockets a través del puerto 443. GraphQL y REST usan un modelo pull, y WebSockets usa un modelo push.

    CluedIn protege el acceso a los datos a través de la limitación y la prevención de la falsificación de solicitudes entre sitios (CSRF).

  7. La aplicación web CluedIn ASP.NET Core se comunica a través de una combinación de llamadas REST y GraphQL a través del puerto 443.

    Toda la comunicación desde el explorador a la aplicación usa un conjunto de definiciones de entrada, que requieren solo una única dirección IP pública. En un entorno de producción, toda la comunicación se realiza a través de la capa de socket seguro (SSL).

  8. La aplicación CluedIn proporciona datos limpios y procesados a servicios de análisis como Power BI y Azure Synapse Analytics para generar información. El sistema realiza una copia de seguridad y almacena todos los datos en bases de datos SQL o Redis.

Componentes

CluedIn se ejecuta en Azure Kubernetes Service (AKS), un servicio de Kubernetes altamente disponible, seguro y totalmente administrado para implementar y administrar aplicaciones en contenedores. AKS ofrece Kubernetes sin servidor, CI/CD integrado, y seguridad y gobernanza de nivel empresarial.

CluedIn usa y es compatible con muchos orígenes y servicios de bases de datos, entre los que se incluyen:

  • Azure SQL Database, un servicio de base de datos relacional en la nube administrado que siempre está actualizado y puede escalar automáticamente los recursos a petición.
  • Azure SQL Managed Instance, para obtener una amplia compatibilidad del motor de SQL Server con las aplicaciones de SQL Server existentes. SQL Managed Instance proporciona infraestructuras de bases de datos locales con ventajas de la nube de Azure, como la escala elástica, la administración unificada y un modelo de facturación en la nube.
  • Azure Cosmos DB, una base de datos sin servidor NoSQL no relacional totalmente administrada para el desarrollo de aplicaciones modernas.
  • Azure Data Lake, un servicio escalable de almacenamiento y análisis de datos.
  • Azure Data Factory, una solución de integración de datos completamente administrada y sin servidor para ingerir, preparar y transformar datos a escala. CluedIn utiliza más de 90 conectores integrados de Data Factory para adquirir datos de orígenes como Amazon Redshift, Google BigQuery, HDFS, Oracle Exadata, Teradata, Teradata, Salesforce, Marketo, ServiceNow y todos los servicios de datos de Azure.

CluedIn proporciona datos procesados y gobernados a muchas aplicaciones y servicios de análisis, entre los que se incluyen:

  • Azure Databricks, un servicio de análisis rápido, fácil y colaborativo basado en Apache Spark.
  • Azure Synapse Analytics, un servicio de análisis ilimitado que reúne el almacenamiento de datos empresariales y el análisis de macrodatos.
  • Log Analytics, una herramienta de Azure Portal para editar, ejecutar y analizar consultas de datos de registro de Azure Monitor.
  • Azure Cognitive Services, una familia completa de servicios de inteligencia artificial y API cognitivas para crear aplicaciones inteligentes.
  • Power BI, un servicio de análisis de negocios de Microsoft que combina visualizaciones interactivas e inteligencia empresarial con una interfaz de creación de informes fácil de usar.

Detalles del escenario

Las empresas modernas basan muchos procesos y proyectos en datos, pero los datos sin procesar deben prepararse para el consumo. Los casos de uso de datos, desde análisis avanzados hasta aprendizaje automático, requieren procesos de preparación de datos y atención similares.

  1. Los proyectos de datos comienzan con el descubrimiento de datos, para determinar dónde están los datos y qué sistemas usan.
  2. La integración de datos reúne varias fuentes de datos en un conjunto de datos unificado o conectado.
  3. El siguiente paso es normalizar, estandarizar, armonizar y limpiar los datos para que las máquinas puedan procesarlos de manera uniforme, consistente y de alta fidelidad.
  4. Finalmente, los datos deben estar disponibles de manera fácil y fácil para las necesidades comerciales.

Durante estos procesos, la gobernanza debe garantizar el control de los datos y la protección de la privacidad con una propiedad clara, una trazabilidad completa y una pista de auditoría de los orígenes, el procesamiento y el uso de los datos.

La plataforma CluedIn encapsula estos procesos y pilares de gestión de datos en una solución de Administración de datos maestros (MDM) coherente, consistente y de extremo a extremo. CluedIn utiliza una técnica de integración de datos llamada conectividad eventual que produce mejores resultados que los modelos clásicos de extracción, transformación, carga (ETL) o extracción, carga, transformación (ELT). La conectividad final usa consultas de GraphQL para combinar datos sin problemas entre muchos orígenes de datos aislados.

Con la conectividad final, los datos no se unen ni se mezclan al entrar o cargar en otros sistemas. En su lugar, CluedIn carga los datos tal cual y etiqueta los registros utilizando metadatos. Finalmente, los registros con las mismas etiquetas se fusionan o construyen una relación en el gráfico.

Esta sofisticada técnica de combinación de datos proporciona una base para soluciones basadas en datos. CluedIn Data Fabric integra datos en una canalización que limpia, prepara, modela, gobierna, enriquece, deduplica y cataloga los datos para que estén fácilmente disponibles y accesibles para usos comerciales.

CluedIn proporciona a las empresas métricas sobre la calidad de los datos que ingieren, detectando de manera inteligente los datos sucios y preparándolos para su limpieza por parte de ingenieros de datos y administradores de datos. Los algoritmos patentados de aprendizaje automático de lógica difusa ayudan a los usuarios comerciales y a los curadores a etiquetar datos y enseñan al sistema a identificar, corregir y prevenir problemas de calidad de datos a lo largo del tiempo.

CluedIn incluye gobernanza de nivel empresarial, para garantizar que pueda usar sus datos de forma segura y confiable. CluedIn puede transmitir datos limpios y gobernados directamente a sistemas de análisis como Power BI, Azure Databricks, Azure Synapse Analytics o Azure Cognitive Services para que estén fácilmente disponibles para el resto de la empresa. La compatibilidad nativa con el escalado automático usa la eficacia de Azure para proporcionar un entorno escalable para las cargas de trabajo de datos más grandes.

Posibles casos de uso

Crear una vista única de datos

  • Debido al modelado semántico de CluedIn, hace que la creación de una vista única de sus datos maestros sea más fácil de lograr en comparación con los enfoques tradicionales. Los clientes de CluedIn están utilizando CluedIn para crear una vista conectada, histórica y de alta calidad de sus datos comerciales más críticos. CluedIn no solo admite la masterización de dominios maestros clásicos como People, Companies, Vendors y Products, sino que también admite un sinfín de dominios diferentes, así como dominios no estructurados como archivos, correo, eventos y más. Si necesita un repositorio centralizado de datos maestros que esté limpio, enriquecido, gobernado, con control de calidad y catalogado, entonces CluedIn es una buena opción para sus casos de uso.

Un tejido de datos

  • CluedIn es un Gartner Cool Vendor en 2020, debido a su capacidad para organizar datos de 10, 100 y 1000 fuentes de datos diferentes y complejas en un centro de datos unificado. Si necesita administrar datos de muchas fuentes de datos diferentes con facilidad, entonces CluedIn se puede usar como un tejido de datos para lograrlo. Esto puede proporcionar una infraestructura de streaming para los datos que también puede limpiar y dominar de forma proactiva los datos a medida que fluyen hacia los consumidores intermedios.

Fusión y vinculación sofisticadas de datos maestros

  • El enfoque único de modelado de datos de CluedIn utiliza una base de datos de gráficos, que permite fusionar y vincular datos complejos con simplicidad. A diferencia de los enfoques tradicionales, para resolver este desafío, CluedIn agrega más aprendizaje automático y análisis de gráficos para fusionar, hacer coincidir y vincular registros con alta precisión.

Consideraciones

Estas consideraciones implementan los pilares del Marco de Azure Well-Architected, que es un conjunto de principios rectores que se pueden usar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Microsoft Azure Well-Architected Framework.

Confiabilidad

La confiabilidad garantiza que su aplicación pueda cumplir con los compromisos que asume con sus clientes. Para obtener más información, consulte Información general sobre el pilar de confiabilidad.

  • CluedIn toma copias de seguridad diarias automáticas de la base de datos y las mantiene en el almacenamiento a largo plazo durante 30 días de forma predeterminada. Toda la plataforma se basa en pilas redundantes y tolerantes a fallas que mantienen copias de seguridad para todos los subsistemas. Los sistemas de monitoreo las 24 horas garantizan que los servicios estén lo más limpios posible. CluedIn sigue las prácticas estándar de la industria para la redundancia de la infraestructura.

  • CluedIn superficies y almacena solo una representación de los datos, no la versión original. Si CluedIn detecta una intrusión de datos destructivos, puede borrar temporalmente los datos de CluedIn de sus servidores. Una vez que la intrusión disminuye, CluedIn vuelve a recopilar los datos para volver a su estado original.

  • Todos los almacenes de datos se ejecutan en modo de alta disponibilidad.

Escalabilidad

  • CluedIn se ejecuta en contenedores de Docker y utiliza Kubernetes para alojar y orquestar las diferentes partes de la aplicación. Esta arquitectura significa que CluedIn funciona bien en entornos elásticos y puede escalar automáticamente a los tamaños e infraestructura necesarios.

  • La compatibilidad nativa para el escalado automático aplica la potencia de Azure para proporcionar un entorno escalable para las cargas de trabajo de datos más grandes.

  • El modelado de grafos sin esquema infiere automáticamente un modelo de datos a partir de los datos de origen. Los nuevos orígenes de datos se conectan automáticamente a todos los demás orígenes de datos, en lugar de tener que integrarse explícitamente. El número de orígenes de datos puede escalar infinitamente sin aumentar la complejidad de la integración.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de sus datos y sistemas valiosos. Para obtener más información, consulte Información general sobre el pilar de seguridad.

  • La seguridad de CluedIn concede permisos y controla el acceso a diferentes servicios a través de Azure RBAC, con Azure Key Vault control de claves de seguridad y Azure supervisar el seguimiento y el registro del acceso.

  • Además de las cuentas de usuario autenticadas, CluedIn también admite el inicio de sesión único (SSO) y los marcos de identidad. Las solicitudes a la aplicación CluedIn usan tokens de acceso cifrados que no tienen correlación con la identidad del usuario.

  • CluedIn administra las representaciones de datos almacenadas detrás de múltiples capas de firewall y proxy, y las autentica con un conjunto de claves únicas.

  • CluedIn almacena todos los datos de origen con cifrado AES de 256 bits, que es más fuerte o igual que el nivel de cifrado de los orígenes de datos admitidos.

  • La limitación y la prevención de CSRF protegen el acceso a los datos.

DevOps

  • CluedIn usa las canalizaciones de integración continua y entrega continua (CI/CD) de Azure Pipelines para administrar las implementaciones y las actualizaciones graduales en el entorno AKS.

  • CluedIn admite pruebas unitarias, de integración y funcionales para garantizar que los datos se transformen según lo esperado. Las canalizaciones de procesamiento virtualizadas se pueden ejecutar en memoria para pruebas de espacio aislado. Las aserciones de grado de producción pueden ayudar a depurar y rastrear problemas de datos.

  • Para entornos de prueba y producción, CluedIn proporciona un gráfico de administrador de paquetes de Helm para instalar CluedIn rápidamente en un clúster de Kubernetes. Los procesos de implementación de datos completamente incluidos admiten la configuración, la prueba y la implementación.

Optimización de costos

La optimización de costos se trata de buscar formas de reducir gastos innecesarios y mejorar la eficiencia operativa. Para obtener más información, consulte Descripción general del pilar de optimización de costos.

El precio de CluedIn es abierto y transparente. Puedes ver los precios en su sitio web.

Tamaño de Azure e inicio de una prueba

Puede iniciar una prueba de 7 días de CluedIn en su sitio web, que también puede ayudarle a definir el ámbito de sus costos de hospedaje de Azure con estimaciones precompiladas de Azure para entornos de diferentes tamaños.

Implemente este escenario

  • Para implementar CluedIn con fines de desarrollo y evaluación con Docker, consulte CluedIn con Docker.

  • Para instalar CluedIn rápidamente en un clúster de Kubernetes, consulte CluedIn con Kubernetes. El gráfico de Helm instala el servidor CluedIn, el sitio web y otros servicios necesarios, como almacenamiento y colas.

Pasos siguientes