Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
Se retirarán el Catálogo unificado de Microsoft Purview y las funcionalidades de gobierno de datos de Microsoft Purview clásico (anteriormente Azure Purview). Microsoft está consolidando sus capacidades de gobernanza de datos en Microsoft Fabric. Ya no puede crear cuentas nuevas y las funcionalidades existentes permanecerán en modo de mantenimiento hasta el 12 de noviembre de 2027. Para conocer los plazos de retirada, las instrucciones de transición y los próximos pasos recomendados, consulte el anuncio de retirada de la gobernanza de datos de Microsoft Purview.
Este artículo proporciona información general sobre el linaje de datos en el catálogo de datos clásico de Microsoft Purview. También detalla cómo los sistemas de datos pueden integrarse con el catálogo para capturar el linaje de datos. Microsoft Purview puede capturar el linaje de los datos en diferentes partes del patrimonio de datos de la organización y en diferentes niveles de preparación, incluidos:
- Datos sin procesar almacenados provisionalmente desde varias plataformas
- Datos transformados y preparados
- Datos utilizados por las plataformas de visualización
Para el linaje de datos en el catálogo unificado, consulte cómo ver los detalles de los activos de datos y la información de linaje.
Casos de uso
El linaje de datos se entiende ampliamente como el ciclo de vida que abarca el origen de los datos y dónde se mueven a lo largo del tiempo a través del patrimonio de datos. Se usa para diferentes tipos de escenarios retrospectivos, como la solución de problemas, el seguimiento de la causa raíz en canalizaciones de datos y la depuración. El linaje también se utiliza para el análisis de la calidad de los datos, el cumplimiento y los escenarios hipotéticos, a menudo denominados análisis de impacto. El linaje se representa visualmente para mostrar los datos que se mueven del origen al destino, incluida la forma en que se transformaron los datos. Dada la complejidad de la mayoría de los entornos de datos empresariales, estas vistas pueden ser difíciles de entender sin realizar alguna consolidación o enmascaramiento de los puntos de datos periféricos.
Experiencia de linaje en el catálogo de datos clásico
El catálogo se conecta con otros sistemas de procesamiento, almacenamiento y análisis de datos para extraer información de linaje. La información se combina para representar una experiencia de linaje genérica y específica del escenario en el catálogo.
Su patrimonio de datos puede incluir sistemas que realizan extracción de datos, transformación (sistemas ETL / ELT), análisis y sistemas de visualización. Cada uno de los sistemas captura metadatos estáticos y operativos enriquecidos que describen el estado y la calidad de los datos dentro de los límites del sistema. El objetivo del linaje en un catálogo de datos es extraer el movimiento, la transformación y los metadatos operativos de cada sistema de datos al menor grano posible.
El siguiente ejemplo es un caso de uso típico de datos que se mueven entre varios sistemas, donde un catálogo se conectaría a cada uno de los sistemas para el linaje.
- Data Factory copia los datos de la zona local o sin procesar a una zona de aterrizaje en la nube.
- Los sistemas de procesamiento de datos como Synapse, Databricks procesarían y transformarían los datos de la zona de aterrizaje a la zona seleccionada mediante cuadernos.
- Procesamiento adicional de datos en modelos analíticos para un rendimiento y agregación óptimos de consultas.
- Los sistemas de visualización de datos consumirán los conjuntos de datos y los procesarán a través de su metamodelo para crear un panel de BI, experimentos de ML, etc.
Granularidad de linaje
En la siguiente sección, se explican los detalles sobre el nivel de granularidad con el que Microsoft Purview recopila la información de linaje. Esta granularidad puede variar en función de los sistemas de datos admitidos en Microsoft Purview.
Linaje a nivel de entidad: orígenes > Procesos > Destinos
- El linaje se representa como un gráfico, normalmente contiene entidades de origen y destino en sistemas de almacenamiento de datos que están conectados por un proceso invocado por un sistema informático.
- Los sistemas de datos se conectan al catálogo para generar e informar de un objeto único que hace referencia al objeto físico del sistema de datos subyacente, por ejemplo: procedimiento almacenado de SQL, cuadernos, etc.
- El linaje de alta fidelidad con otros metadatos como la propiedad se captura para mostrar el linaje en un formato legible para las entidades de origen & destino. Por ejemplo: linaje a nivel de tabla de Hive en lugar de a nivel de archivos o particiones.
Linaje a nivel de columna o atributo
Identifique los atributos de una entidad de origen que se utiliza para crear o derivar atributos en la entidad de destino. El nombre del atributo de origen se puede conservar o cambiar de nombre en un destino. Sistemas como Azure Data Factory (ADF) pueden realizar una copia uno a uno desde el entorno local a la nube. Por ejemplo: Table1/ColumnA -> Table2/ColumnA.
Estado de ejecución del proceso
Para admitir escenarios de análisis de causa raíz y calidad de datos, capturamos el estado de ejecución de los trabajos en los sistemas de procesamiento de datos. Este requisito no tiene nada que ver con reemplazar las capacidades de monitoreo de otros sistemas de procesamiento de datos, ni el objetivo es reemplazarlos.
Resumen
El linaje es una característica crítica para admitir escenarios de calidad, confianza y auditoría. El objetivo de un catálogo de datos es crear un marco sólido en el que todos los sistemas de datos de su entorno puedan conectarse de forma natural e informar del linaje. Una vez que los metadatos están disponibles, el catálogo puede reunir los metadatos proporcionados por los sistemas de datos para impulsar los casos de uso de gobernanza de datos.