Configurare la qualità dei dati per Azure Catalogo Unity di Databricks

Questo articolo illustra come configurare Microsoft Purview per analizzare Azure metadati del Catalogo Unity di Databricks e configurare una connessione di qualità dei dati per la profilatura e l'analisi dei dati di Databricks. Vengono illustrati i prerequisiti, gli asset supportati, la configurazione dell'analisi della mappa dati e la configurazione della connessione. Usare questa guida se si è un amministratore o un amministratore della qualità dei dati che gestisce Azure governance dei dati di Databricks in Microsoft Purview.

Prerequisiti

Prima di iniziare, abilitare l'area di lavoro Azure Databricks per Unity Catalog. Collegare l'area di lavoro a un metastore del catalogo Unity. Le aree di lavoro recenti vengono abilitate automaticamente. Per le aree di lavoro meno recenti, un amministratore dell'account potrebbe dover abilitare manualmente Unity Catalog.

Dopo l'abilitazione di Unity Catalog, completare questi passaggi:

• Creare cataloghi e schemi per contenere oggetti di database come tabelle e volumi.
• Creare percorsi di archiviazione gestiti per archiviare le tabelle e i volumi gestiti in questi cataloghi e schemi.
• Concedere all'utente l'accesso a cataloghi, schemi e oggetti di database.

Le aree di lavoro abilitate automaticamente per Unity Catalog eseguono il provisioning di un catalogo di aree di lavoro con privilegi generali concessi a tutti gli utenti dell'area di lavoro. Il catalogo dell'area di lavoro è un punto di partenza pratico per provare Unity Catalog.

Prima di configurare un'analisi o una connessione, archiviare il token di accesso Azure Databricks in Azure Key Vault e concedere al prodotto (servizio) l'accesso msi read (segreto) al Key Vault. Microsoft Purview richiede solo autorizzazioni a livello di lettura per individuare i metadati, eseguire la profilatura ed eseguire analisi della qualità dei dati.

Per istruzioni dettagliate sulla configurazione, vedere Configurare e gestire il catalogo Unity.

Asset del catalogo Unity supportati

Quando si analizza Azure Databricks Unity Catalog, Microsoft Purview supporta gli asset seguenti:

• Metastore
• Cataloghi
• Schemi
• Tabelle che includono le colonne
• Viste incluse le colonne

Quando si configura un'analisi, è possibile scegliere di analizzare l'intero catalogo Unity o di definire l'ambito dell'analisi in un subset di cataloghi.

Configurare un'analisi della mappa dati per il catalogo Unity di Databricks

Per catalogare i dati Azure Databricks Unity Catalog in Microsoft Purview, configurare un'analisi della mappa dati.

1. Registrare un'area di lavoro Azure Databricks in Microsoft Purview.
2. Creare un'analisi per l'area di lavoro registrata:
   1. Immettere il nome dell'analisi.
   2. Selezionare Catalogo Unity come metodo di estrazione.
   3. Connettersi tramite un runtime di integrazione (runtime di integrazione Azure, runtime di integrazione Rete virtuale gestito o runtime di integrazione self-hosted supportato da Kubernetes).
   4. Selezionare Autenticazione token di accesso durante la creazione di credenziali. Per altre informazioni, vedere Credenziali per l'autenticazione di origine in Mapping dati.
   5. Specificare il percorso HTTP di SQL Warehouse di Databricks usato da Microsoft Purview per eseguire l'analisi.
3. Nella pagina Ambito analisi selezionare i cataloghi da analizzare.
4. Selezionare un set di regole di analisi per la classificazione. È possibile scegliere l'impostazione predefinita del sistema, i set di regole personalizzati esistenti o creare un nuovo set di regole inline. Per altre informazioni, vedere Classificazione dei dati in Mappa dati.
5. Per Esegui analisi, scegliere se configurare una pianificazione o eseguire l'analisi una sola volta.
6. Esaminare l'analisi e selezionare Salva ed esegui.
7. Visualizzare le analisi e le esecuzioni di analisi per verificare che la catalogazione sia stata completata correttamente.

Dopo l'analisi, l'asset del catalogo Unity analizzato è disponibile nella ricerca Microsoft Purview Unified Catalog. Per altre informazioni, vedere Connettersi e gestire Azure Databricks Unity Catalog in Microsoft Purview.

Configurare una connessione per un'analisi della qualità dei dati

Al termine dell'analisi del catalogo di Azure Databricks Unity, l'asset analizzato è pronto per la catalogazione e la governance. Per eseguire analisi della qualità dei dati, creare una connessione di qualità dei dati per l'origine Azure Databricks e associarla a un prodotto dati in un dominio di governance.

1. Nel portale di Microsoft Purview aprire Unified Catalog.

2. In Gestione dell'integrità selezionare Qualità dei dati.

3. Selezionare un dominio di governance dall'elenco, quindi selezionare Connessioni dall'elenco a discesa Gestisci .

4. Configurare la connessione nella pagina Connessioni :

   • Aggiungere il nome e la descrizione della connessione.
   • Selezionare il tipo di origine Azure Databricks.
   • Selezionare Azure sottoscrizione.
   • Selezionare URL dell'area di lavoro.
   • Aggiungere l'ID metastore di Databricks.
   • Selezionare Catalogo Unity come metodo di estrazione.
   • Selezionare Percorso HTTP.
   • Selezionare il nome del catalogo unity.
   • Selezionare il nome dello schema.
   • Selezionare il nome della tabella.
   • Selezionare metodo di autenticazione: Token di accesso.
     • Aggiungere Azure sottoscrizione.
     • Key Vault connessione.
     • Nome del segreto.
     • Versione del segreto.
   • Selezionare la casella di controllo Abilita rete virtuale gestita se Databricks è in esecuzione in una rete virtuale.
   • L'area viene selezionata automaticamente.
   • Creare una nuova rete virtuale se non è ancora stata creata una risorsa di archiviazione di rete virtuale.

5. Se l'archiviazione di Databricks si trova in una rete virtuale, non è possibile testare la connessione alla qualità dei dati. In caso contrario, selezionare Test connessione per convalidare la configurazione.

Eseguire analisi della profilatura e della qualità dei dati

Dopo aver configurato la connessione, è possibile profilare i dati, creare e applicare regole ed eseguire un'analisi della qualità dei dati per i dati in Azure database del catalogo Unity di Databricks. Per istruzioni dettagliate, vedere Configurare ed eseguire la profilatura dei dati e Configurare ed eseguire un'analisi della qualità dei dati.

Contenuto correlato

Altre informazioni su Azure Databricks e la configurazione della qualità dei dati:

• Configurare Azure Databricks Unity Catalog
• Risoluzione dei problemi relativi alla qualità dei dati
• Configurare una connessione data quality
• Configurare la rete virtuale
• comportamento del magazzino Azure Databricks
• Creare un Azure Databricks SQL Warehouse