Configurare la qualità dei dati per i dati Snowflake

Questo articolo illustra come registrare un'origine Snowflake, eseguire un'analisi della mappa dati e configurare una connessione di qualità dei dati in Microsoft Purview Unified Catalog. Dopo aver completato questi passaggi, è possibile profilare i dati snowflake ed eseguire analisi della qualità dei dati.

Metadati snowflake supportati

Quando si analizzano le origini dati Snowflake, Microsoft Purview estrae i metadati tecnici. L'analisi acquisisce gli oggetti seguenti:

  • Server, database, schemi e tabelle
  • Viste, chiavi esterne e vincoli univoci
  • Stored procedure e relativi parametri
  • Funzioni e relativi parametri
  • Pipe, fasi e flussi
  • Attività e sequenze

Registrare un'origine Snowflake nella mappa dati

Per registrare una nuova origine Snowflake in Microsoft Purview Unified Catalog, seguire questa procedura:

  1. Accedere al portale di Microsoft Purview.
  2. Selezionare la scheda della soluzione Mappa dati . Se la scheda della soluzione Mappa dati non è visualizzata, selezionare Visualizza tutte le soluzioni e quindi Selezionare Mappa dati nella sezione Core .
  3. Selezionare Registra.
  4. In Registra origini selezionare Snowflake.

Configurare un'analisi della mappa dati

Per configurare un'analisi per l'origine Snowflake registrata, seguire questa procedura:

  1. Selezionare l'origine Snowflake registrata.
  2. Selezionare Nuova analisi.
  3. Quando richiesto, specificare i dettagli seguenti:
    • Nome: nome dell'analisi.
    • Connettersi tramite il runtime di integrazione: selezionare il runtime di integrazione risolto automaticamente, il runtime di integrazione Rete virtuale gestito o SHIR per lo scenario.
    • Host per la connessione: selezionare l'URL del server o un altro host configurato nell'origine dati.
    • Credenziali: selezionare le credenziali per l'origine dati. Usare l'autenticazione di base, specificare il nome utente snowflake e archiviare la password nella chiave privata.
    • Warehouse: specificare il nome del magazzino in lettere maiuscole. Il ruolo predefinito della credenziale deve avere diritti DI UTILIZZO in questo warehouse.
    • Database: specificare uno o più nomi di database in lettere maiuscole, separati da punti e virgola (ad esempio, DB1;DB2). Il ruolo predefinito delle credenziali deve avere diritti su questi oggetti di database.
    • Schema: elencare gli schemi da importare, separati da punti e virgola.
  4. Selezionare Test connessione per convalidare le impostazioni (disponibili quando si usa Azure Integration Runtime).
  5. Selezionare Continua.
  6. Selezionare un set di regole di analisi per la classificazione. È possibile scegliere tra i set di regole personalizzati predefiniti del sistema o esistenti oppure creare un nuovo set di regole inline.
  7. Esaminare l'analisi e selezionare Salva ed esegui.

Al termine dell'analisi, l'asset di dati in Snowflake è disponibile nella ricerca Unified Catalog. Per altre informazioni su come connettersi e gestire Snowflake in Microsoft Purview, vedere Connettersi e gestire Snowflake in Microsoft Purview.

Importante

Quando si elimina l'oggetto dall'origine dati, l'analisi successiva non rimuove automaticamente l'asset corrispondente in Microsoft Purview.

Configurare una connessione snowflake data quality

Al termine dell'analisi, l'asset analizzato è pronto per la catalogazione e la governance. Per eseguire analisi della qualità dei dati nell'asset, configurare una connessione Snowflake in Microsoft Purview.

Importante

  • Gli amministratori della qualità dei dati devono accedere in sola lettura a Snowflake per configurare la connessione data quality.
  • Il connettore Snowflake non accetta https://. Rimuovere https:// quando si aggiunge il nome del server per configurare la connessione all'origine dati.
  • Se si disabilita l'accesso pubblico, è necessario selezionare Consenti servizi Microsoft attendibili per Key Vault. Questo requisito si applica solo a Key Vault, non all'area di lavoro Snowflake.

  1. Nel portale di Microsoft Purview aprire Unified Catalog.

  2. In Gestione dell'integrità selezionare Qualità dei dati.

  3. Selezionare un dominio di governance dall'elenco, quindi selezionare Connessioni dall'elenco a discesa Gestisci .

  4. Configurare la connessione nella pagina Connessioni :

    • Aggiungere un nome di connessione e una descrizione.
    • Selezionare il tipo di origine Snowflake.
    • Aggiungere il nome del server, il nome del warehouse, il nome del database, il nome dello schema e il nome della tabella.
    • Selezionare un metodo di autenticazione: Basic, Private key (preview) o OAuth (anteprima).
    • Aggiungere il nome utente.
    • Aggiungere le credenziali: Azure sottoscrizione, connessione Key Vault, nome del segreto e versione del segreto.
    • Selezionare Abilita rete virtuale gestita se l'istanza di Snowflake viene eseguita in Azure Rete virtuale, quindi aggiungere l'area Azure, l'ID risorse collegamento privato e il nome di dominio completo.

  5. Testare la connessione per assicurarsi che funzioni. Se si usa Rete virtuale, la funzionalità di connessione di test non è supportata.

    Screenshot che mostra come configurare una connessione Snowflake.

    Screenshot che mostra come configurare un token di connessione Snowflake.

L'ID risorsa per il collegamento privato Snowflake di destinazione ha il formato seguente: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

  • Per ottenere l'ID area e il nome completo, eseguire SYSTEM_WHITE_LIST e SYSTEM_WHITE_LIST_PRIVATELINK per ottenere i SNOWFLAKE_DEPLOYMENTvalori , SNOWFLAKE_DEPLOYMENT_REGIONLESSe OCSP_CACHE per gli host elenco pubblici e consentiti.
  • Per ottenere l'ID sottoscrizione, eseguire SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() come ACCOUNTADMIN per ottenere i valori snowflake-vnet-subnet-ids . L'ID sottoscrizione per il collegamento privato del tenant snowflake Azure viene ottenuto dall'output snowflake-vnet-subnet-ids.

Autenticazione con chiave privata (anteprima)

È possibile creare chiavi private con o senza una passphrase usando OpenSSL, uno strumento da riga di comando per la generazione di chiavi crittografiche. Se si genera una chiave privata con una passphrase, configurare sia la chiave che la passphrase con la connessione, come illustrato nello screenshot seguente. Se non si fornisce una passphrase durante la generazione della chiave, ometterla nella connessione.

La chiave privata generata tramite il comando openssl contiene headers/footers che indicano l'inizio e la fine della key/encrypted chiave. Salvare l'intero contenuto del file, incluse le intestazioni e le nuove righe, così come è nella Key Vault come valore del segreto. A tale scopo, è possibile usare uno strumento da riga di comando, ad esempio Azure'interfaccia della riga di comando. Senza intestazioni di file di chiave privata, piè di pagina e formattazione della nuova riga originale, l'autenticazione con Snowflake ha esito negativo.

Per la sicurezza, ruotare regolarmente le chiavi. Quando si ruota una chiave, aggiornarla in Key Vault e nella connessione Microsoft Purview. I nuovi processi usano la chiave aggiornata. Mantenere attiva la chiave precedente fino al completamento di tutti i processi in corso.

Screenshot che mostra come configurare una connessione Snowflake usando una chiave privata.

Autenticazione OAuth (anteprima)

È possibile configurare una connessione basata su OAuth usando Microsoft Entra ID come provider OAuth. I token di accesso OAuth sono in genere di breve durata. Tuttavia, i processi di valutazione della qualità dei dati possono essere eseguiti a lungo, a seconda del volume di dati. Impostare la durata del token di accesso OAuth su almeno sei ore, ovvero la durata massima media del processo. I processi hanno esito negativo se il token di accesso scade prima del completamento del processo.

Se non è possibile aumentare la durata del token di accesso o se i criteri non lo consentono, usare l'autenticazione basata su coppie di chiavi perché l'autenticazione della coppia di chiavi non ha vincoli di durata del token.

Screenshot che mostra come configurare una connessione Snowflake usando OAuth.

Valori di esempio per i parametri di connessione OAuth:

  • Nome utente: DB41C9CD-96E7-47B0-ADB6-0A4D080229A0 (Valore della proprietà di login_name Snowflake)
  • ID client: 00001111-aaaa-2222-bbbb-3333cccc4444 (ID client da portale di Azure)
  • URL del token: https://login.microsoftonline.com/ddfd8861-7cbd-43df-ad13-4f9e958cf53b/oauth2/v2.0/token (Token URL from Azure app)
  • Ambito: api://aaaabbbb-0000-cccc-1111-dddd2222eeee/.default (Scope as registered with the Azure app)

Informazioni sulla selezione della connessione

Non si scelgono in modo esplicito le connessioni quando si avviano le valutazioni o si configurano le pianificazioni. Il sistema seleziona automaticamente una connessione in base alle regole seguenti:

  • Se esistono solo connessioni utente-password, il sistema seleziona la prima creata.
  • Se sono presenti connessioni OAuth o coppia di chiavi, il sistema ignora tutte le connessioni utente-password e seleziona la prima coppia di chiavi o connessione OAuth creata.

La figura seguente mostra come il sistema seleziona una connessione in base al tipo e all'ordine di creazione.

Si supponga che siano presenti solo connessioni basate su password utente:

  • SnowflakeConnectionBob (User-password)
  • SnowflakeConnectionAlice (User-password)
  • SnowflakeConnectionEve (User-password)

Il sistema seleziona la connessione SnowflakeConnectionBob .

Si supponga che esistano tutti i tipi di connessioni e che siano state create nell'ordine seguente:

  • SnowflakeConnectionBob (User-password)
  • SnowflakeConnectionAlice (coppia di chiavi)
  • SnowflakeConnectionCharlie (OAuth)
  • SnowflakeConnectionEve (User-password)

In questo caso, il sistema ignora SnowflakeConnectionBob e SnowflakeConnectionEve. Per la selezione, il sistema considera solo le connessioni seguenti:

  • SnowflakeConnectionAlice (coppia di chiavi)
  • SnowflakeConnectionCharlie (OAuth)

In genere, il sistema seleziona SnowflakeConnectionAlice per la valutazione e le esecuzioni pianificate.

Importante

Dopo aver creato la richiesta per una connessione all'endpoint privato, generare un ticket di supporto con il supporto snowflake per approvare la connessione all'endpoint privato. Specificare i dettagli dell'ID risorsa dell'endpoint privato gestito in questo ticket di supporto per il team snowflake da approvare.

Nota

Verrà visualizzata l'autenticazione di autorizzazione (OAuth) e coppia di chiavi per Snowflake connessioni alle banche dati. Con queste opzioni è possibile creare più connessioni che usano un metodo di autenticazione diverso. Quando più connessioni usano meccanismi di autenticazione diversi, il sistema seleziona l'ultima connessione creata. Ad esempio, se si crea prima una connessione basata su coppie di chiavi seguita da una connessione OAuth, il sistema seleziona la connessione OAuth. Se si vuole selezionare la connessione alla coppia di chiavi, è necessario eliminare la connessione OAuth. Contattare il rappresentante dell'account Microsoft per visualizzare in anteprima il nuovo modello di autenticazione Snowflake per le analisi della qualità dei dati di Microsoft Purview.

Passaggi successivi

Dopo aver configurato la connessione, è possibile profilare i dati, creare e applicare regole ed eseguire un'analisi della qualità dei dati. Per indicazioni dettagliate, vedere gli articoli relativi alla profilatura dei dati e all'analisi della qualità dei dati:

Contenuto correlato

  • Last updated on