Configurar y ejecutar la generación de perfiles de datos para un activo de datos

La elaboración de perfiles de datos es el proceso de examinar los datos disponibles en diferentes fuentes de datos y recopilar estadísticas e información sobre estos datos. La generación de perfiles de datos le ayuda a evaluar el nivel de calidad de los datos de acuerdo con un conjunto definido de objetivos. Si los datos son de mala calidad o se administran en estructuras que no se pueden integrar para satisfacer las necesidades de la organización, los procesos comerciales y la toma de decisiones se ven afectados. La generación de perfiles de datos le permite comprender la confiabilidad y la calidad de sus datos, lo cual es un requisito previo para tomar decisiones basadas en datos que aumenten los ingresos y fomenten el crecimiento.

Requisitos previos

  • Para ejecutar y programar exámenes de evaluación de la calidad de los datos, los usuarios deben tener el rol de administrador de la calidad de datos.
  • Actualmente, puedes establecer la cuenta de Microsoft Purview para permitir el acceso público o el acceso a la red virtual administrada para que se puedan ejecutar los exámenes de calidad de los datos.

Ciclo de vida de la calidad de datos

La generación de perfiles de datos es el quinto paso en el ciclo de vida de calidad de datos de un activo de datos. Los pasos anteriores son:

  1. Asigne permisos de administrador de calidad de datos de los usuarios en el Catálogo unificado para utilizar todas las características de calidad de datos.
  2. Registre y digitalice un origen de datos en el mapa de datos de Purview.
  3. Agregue su activo de datos a un producto de datos.
  4. Configure una conexión de origen de datos para preparar el origen para la evaluación de la calidad de los datos.

Orígenes de datos multinube compatibles

Examine el documento de origen de datos compatible para ver la lista de orígenes de datos compatibles, incluidos los formatos de archivo para la generación de perfiles de datos y el análisis de la calidad de los datos, con y sin compatibilidad con redes virtuales.

Importante

La calidad de los datos del archivo Parquet está diseñada para admitir:

  1. Un directorio con el archivo de pieza de parquet. Por ejemplo: ./Sales/{Parquet Part Files}. El nombre completo debe seguir a https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Asegúrese de no tener patrones {n} en la estructura de directorios o subdirectorios; debe ser un FQN directo que conduzca a {SparkPartitions}.
  2. Un directorio con Partitioned Parquet Files, particionado por columnas dentro del conjunto de datos, como datos de ventas particionados por año y mes. Por ejemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Se admiten estos dos escenarios básicos, que presentan un esquema de conjunto de datos de Parquet coherente. Limitación: No está diseñado para admitir o no admitirá N jerarquías arbitrarias de directorios con archivos Parquet. Recomendamos presentar los datos en (1) o (2) estructura construida.

Métodos de autenticación compatibles

Actualmente, Microsoft Purview solo puede ejecutar análisis de calidad de los datos mediante la identidad administrada como opción de autenticación. Los servicios de calidad de datos se ejecutan en Apache Spark 3.5 y Delta Lake 3.2.1. Para obtener más información sobre las regiones admitidas, consulte la descripción general de la calidad de datos.

Importante

  • Si actualiza el esquema en el origen de datos, debe importar el esquema desde la página de información general de calidad de datos mediante la característica de importación de esquemas antes de ejecutar la generación de perfiles de datos.
  • La red virtual no es compatible con Google BigQuery.
  • En la versión actual, puede generar perfiles de 50 columnas por lote. Si el activo de datos tiene más de 50 columnas, puede generar perfiles de columnas adicionales en más lotes.
  • La generación de perfiles utiliza una muestra aleatoria del activo de datos seleccionado, el tamaño de la muestra es de 1 millón de registros.
  • Si una columna contiene un valor distinto, no aplique perfiles a esa columna. Una columna con valores distintos no puede crear una distribución normal.

Pasos para configurar el trabajo de generación de perfiles de datos

  1. Configure una conexión de origen de datos a los recursos que está analizando la calidad de los datos si aún no lo ha hecho.

  2. En el Catálogo unificado de Microsoft Purview, seleccione Administración de estado y, después, seleccione Calidad de datos.

  3. Selecciona un dominio de gobierno de la lista.

  4. Seleccione un producto de datos para crear perfiles de un activo de datos vinculado a ese producto.

  5. Seleccione un recurso de datos para navegar a la página de información general de calidad de datos para la generación de perfiles.

  6. Seleccione el botón Perfil para ejecutar el trabajo de generación de perfiles para el recurso de datos seleccionado.

  7. El motor de recomendaciones de IA sugiere columnas potencialmente importantes para ejecutar la generación de perfiles de datos. Puede anular la selección de las columnas recomendadas o seleccionar más columnas para generar perfiles.

  8. Una vez que haya seleccionado las columnas relevantes, seleccione Ejecutar perfil.

  9. Mientras se ejecuta el trabajo, puede realizar un seguimiento de su progreso desde la página Supervisión de la calidad de los datos en el dominio de gobernanza.

  10. Cuando se complete el trabajo, seleccione la pestaña Perfil en el menú izquierdo de la página de calidad de datos del activo para explorar el resultado de la generación de perfiles y la instantánea estadística. Podría haber varias páginas de resultados de perfil en función del número de columnas que tengan sus activos de datos.

  11. Examine los resultados de la generación de perfiles y las medidas estadísticas de cada columna.

Descripción de los resultados de la generación de perfiles

  • Mínimo: longitud mínima de los caracteres de la columna.
  • Máximo: longitud máxima de los caracteres de la columna.
  • Distribución: distribución normal de los datos.
  • Valores únicos: valores que no se repiten; son únicos.
  • Valores duplicados: valores que se repiten más de una vez.
  • Valores vacíos o en blanco: La columna está en blanco o vacía.
  • Null: valores nulos en la columna.
  • Promedio: Valor medio o promedio aritmético.
  • Desviación estándar: medida estadística que cuantifica la cantidad de variación o dispersión en un conjunto de valores.

Contenido relacionado

Pasos siguientes

  1. Configure reglas de calidad de datos basadas en los resultados de la generación de perfiles y aplíquelas a su activo de datos.
  2. Configure y ejecute un examen de calidad de datos en un producto de datos para evaluar la calidad de todos los activos admitidos en el producto de datos.
  3. Revise los resultados del examen para evaluar la calidad actual de los datos de su producto de datos.
  • Se actualizó por última vez el