Configuración de la calidad de los datos de Snowflake

En este artículo se explica cómo registrar un origen de Snowflake, ejecutar un examen de Mapa de datos y configurar una conexión de calidad de datos en Catálogo unificado de Microsoft Purview. Después de completar estos pasos, puede generar perfiles de los datos de Snowflake y ejecutar exámenes de calidad de datos.

Metadatos admitidos de Snowflake

Al examinar orígenes de datos de Snowflake, Microsoft Purview extrae metadatos técnicos. El examen captura los siguientes objetos:

• Servidores, bases de datos, esquemas y tablas
• Vistas, claves externas y restricciones únicas
• Procedimientos almacenados y sus parámetros
• Funciones y sus parámetros
• Canalizaciones, fases y flujos
• Tareas y secuencias

Registro de un origen de Snowflake en Data Map

Para registrar un nuevo origen de Snowflake en Catálogo unificado de Microsoft Purview, siga estos pasos:

1. Inicie sesión en el portal de Microsoft Purview.
2. Seleccione la tarjeta de solución Mapa de datos . Si no se muestra la tarjeta de solución Mapa de datos, seleccione Ver todas las soluciones y, a continuación, seleccione Mapa de datos en la sección Núcleo .
3. Seleccione Registrar.
4. En Registrar orígenes, seleccione Snowflake.

Configuración de un examen de Mapa de datos

Para configurar un examen del origen de Snowflake registrado, siga estos pasos:

1. Seleccione el origen de Snowflake registrado.
2. Seleccione Nuevo examen.
3. Proporcione los detalles siguientes:
   • Nombre: nombre del examen.
   • Conectar a través del entorno de ejecución de integración: seleccione el entorno de ejecución de integración resuelto automáticamente, Managed Virtual Network IR o SHIR para el escenario.
   • Host para la conexión: seleccione la dirección URL del servidor u otro host que configuró en el origen de datos.
   • Credencial: seleccione la credencial del origen de datos. Use autenticación básica, proporcione el nombre de usuario de Snowflake y almacene la contraseña en la clave secreta.
   • Almacén: especifique el nombre del almacén en mayúsculas. El rol predeterminado de la credencial debe tener derechos USAGE en este almacén.
   • Bases de datos: especifique uno o varios nombres de base de datos en mayúsculas, separados por punto y coma (por ejemplo, DB1;DB2). El rol predeterminado de la credencial debe tener derechos sobre estos objetos de base de datos.
   • Esquema: enumere los esquemas que se van a importar, separados por punto y coma.
4. Seleccione Probar conexión para validar la configuración (disponible al usar Azure Integration Runtime).
5. Seleccione Continuar.
6. Seleccione un conjunto de reglas de examen para la clasificación. Puede elegir entre los conjuntos de reglas personalizados predeterminados del sistema existentes o crear un nuevo conjunto de reglas alineado.
7. Revise el examen y seleccione Guardar y ejecutar.

Una vez finalizado el examen, el recurso de datos de Snowflake está disponible en la búsqueda de Catálogo unificado. Para obtener más información sobre cómo conectarse y administrar Snowflake en Microsoft Purview, consulte Conexión y administración de Snowflake en Microsoft Purview.

Configuración de una conexión de calidad de datos de Snowflake

Una vez completado el examen, el recurso examinado está listo para la catalogación y la gobernanza. Para ejecutar exámenes de calidad de datos en el recurso, configure una conexión de Snowflake en Microsoft Purview.

1. En el portal de Microsoft Purview, abra Catálogo unificado.

2. En Administración de estado, seleccione Calidad de los datos.

3. Seleccione un dominio de gobernanza en la lista y, a continuación, seleccione Conexiones en la lista desplegable Administrar .

4. Configure la conexión en la página Conexiones :

   • Agregue un nombre de conexión y una descripción.
   • Seleccione el tipo de origen Snowflake.
   • Agregue el nombre del servidor, el nombre del almacén, el nombre de la base de datos, el nombre del esquema y el nombre de la tabla.
   • Seleccione un método de autenticación: Básico, Clave privada (versión preliminar) o OAuth (versión preliminar).
   • Agregue el nombre de usuario.
   • Agregar credenciales: Azure suscripción, conexión Key Vault, nombre de secreto y versión secreta.
   • Seleccione Habilitar red virtual administrada si la instancia de Snowflake se ejecuta en Azure Virtual Network y, a continuación, agregue la región de Azure, el identificador de recursos Private Link y el nombre de dominio completo.

5. Pruebe la conexión para asegurarse de que funciona. Si usa Virtual Network, no se admite la característica de conexión de prueba.

   

   

El identificador de recurso del vínculo privado de Snowflake de destino tiene el siguiente formato: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

• Para obtener el identificador de región y el nombre completo, ejecute SYSTEM_WHITE_LIST y SYSTEM_WHITE_LIST_PRIVATELINK obtenga los SNOWFLAKE_DEPLOYMENTvalores , SNOWFLAKE_DEPLOYMENT_REGIONLESSy OCSP_CACHE para los hosts de lista pública y permitida.
• Para obtener el identificador de suscripción, ejecute SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() como ACCOUNTADMIN para obtener los valores de snowflake-vnet-subnet-ids . El identificador de suscripción de la Private Link del inquilino de Snowflake Azure se obtiene de la salida snowflake-vnet-subnet-ids.

Autenticación de clave privada (versión preliminar)

Puede crear claves privadas con o sin una frase de contraseña mediante OpenSSL, una herramienta de línea de comandos para generar claves criptográficas. Si genera una clave privada con una frase de contraseña, configure la clave y la frase de contraseña con la conexión, como se muestra en la captura de pantalla siguiente. Si no proporciona una frase de contraseña durante la generación de claves, omita esta en la conexión.

La clave privada generada mediante el comando openssl contiene headers/footers que indican el principio y el final de la key/encrypted clave. Guarde todo el contenido del archivo, incluidos los encabezados y las nuevas líneas, tal y como está en el Key Vault como valor secreto. Para ello, puede usar una herramienta de línea de comandos, como CLI de Azure. Sin los encabezados de archivo de clave privada, los pies de página y el formato original de nueva línea, se produce un error en la autenticación con Snowflake.

Por motivos de seguridad, gire las claves con regularidad. Al girar una clave, actualícela en Key Vault y en la conexión de Microsoft Purview. Los nuevos trabajos usan la clave actualizada. Mantenga activa la clave anterior hasta que se completen los trabajos en curso.

Autenticación de OAuth (versión preliminar)

Puede configurar una conexión basada en OAuth mediante Microsoft Entra ID como proveedor de OAuth. Los tokens de acceso de OAuth suelen ser de corta duración. Sin embargo, los trabajos de evaluación de la calidad de los datos pueden ejecutarse durante mucho tiempo, en función del volumen de datos. Establezca la duración del token de acceso de OAuth en al menos seis horas, que es la duración media máxima del trabajo. Se produce un error en los trabajos si el token de acceso expira antes de que se complete el trabajo.

Si no puede aumentar la duración del token de acceso o si la directiva no lo permite, use la autenticación basada en pares de claves porque la autenticación de par de claves no tiene restricciones de duración del token.

Valores de ejemplo para los parámetros de conexión de OAuth:

• Nombre de usuario: DB41C9CD-96E7-47B0-ADB6-0A4D080229A0 (Valor de la login_name propiedad de Snowflake)
• Id. de cliente: 0000111-aaaa-2222-bbbb-3333cccc4444 (Id. de cliente de Azure Portal)
• Dirección URL del token: https://login.microsoftonline.com/ddfd8861-7cbd-43df-ad13-4f9e958cf53b/oauth2/v2.0/token (Token URL from Azure app)
• Ámbito: api://aaaabbbb-0000-cccc-1111-dddd2222eeee/.default (Scope as registered with the Azure app)

Descripción de la selección de conexión

No elige explícitamente las conexiones al iniciar evaluaciones o configurar programaciones. El sistema selecciona una conexión automáticamente en función de las reglas siguientes:

• Si solo existen conexiones de contraseña de usuario, el sistema selecciona la primera creada.
• Si existen conexiones de par de claves o OAuth, el sistema omite todas las conexiones de usuario y contraseña y selecciona el primer par de claves o la conexión de OAuth creada.

En la ilustración siguiente se muestra cómo el sistema selecciona una conexión en función del tipo y el orden de creación.

Supongamos que solo hay conexiones basadas en contraseñas de usuario:

• SnowflakeConnectionBob (user-password)
• SnowflakeConnectionAlice (user-password)
• SnowflakeConnectionEve (user-password)

El sistema selecciona la conexión SnowflakeConnectionBob .

Supongamos que existen todos los tipos de conexiones y que las ha creado en el orden siguiente:

• SnowflakeConnectionBob (user-password)
• SnowflakeConnectionAlice (par de claves)
• SnowflakeConnectionCharlie (OAuth)
• SnowflakeConnectionEve (user-password)

En este caso, el sistema omite SnowflakeConnectionBob y SnowflakeConnectionEve. El sistema solo tiene en cuenta las siguientes conexiones para la selección:

• SnowflakeConnectionAlice (par de claves)
• SnowflakeConnectionCharlie (OAuth)

Normalmente, el sistema selecciona SnowflakeConnectionAlice para la evaluación y las ejecuciones programadas.

Pasos siguientes

Después de configurar la conexión, puede generar perfiles de los datos, crear y aplicar reglas y ejecutar un examen de calidad de datos. Para obtener instrucciones paso a paso, consulte los artículos sobre generación de perfiles de datos y análisis de calidad de datos:

• Configuración y ejecución de la generación de perfiles de datos
• Configuración y ejecución de un examen de calidad de datos

Contenido relacionado

• Conexión y administración de Snowflake en Microsoft Purview
• Configuración de conexiones de origen de datos para la calidad de los datos
• Configuración de Azure Virtual Network
• Configuración del punto de conexión privado en Snowflake Private Link
• Solución de problemas de calidad de datos