Configurare un'analisi della qualità dei dati per un prodotto dati

Importante

Microsoft Purview Unified Catalog e le funzionalità classiche di governance dei dati di Microsoft Purview (in precedenza Azure Purview) verranno ritirate. Microsoft sta consolidando le proprie funzionalità di governance dei dati in Microsoft Fabric. Non è più possibile creare nuovi account e le funzionalità esistenti rimarranno in modalità di manutenzione fino al 12 novembre 2027. Per le tempistiche di ritiro, le linee guida per la transizione e i passaggi successivi consigliati, vedere l'annuncio relativo al ritiro della governance dei dati di Microsoft Purview.

Le analisi sulla qualità dei dati esaminano gli asset di dati in base alle regole di qualità dei dati applicate e producono un punteggio. Gli amministratori dei dati possono usare tale punteggio per valutare l'integrità dei dati e risolvere eventuali problemi che potrebbero ridurre la qualità dei dati.

Nota

Esistono altri due tipi di analisi della qualità dei dati che è possibile eseguire:

Prerequisiti

  • Per eseguire e pianificare le analisi della valutazione della qualità dei dati, gli utenti devono avere il ruolo di amministratore della qualità dei dati.
  • Attualmente, è possibile impostare l'account Microsoft Purview per consentire l'accesso pubblico o l'accesso alla rete virtuale gestita in modo da consentire l'esecuzione di analisi della qualità dei dati.

Ciclo di vita della qualità dei dati

La scansione della qualità dei dati è la settima fase del ciclo di vita della qualità dei dati per un asset di dati. I passaggi precedenti sono:

  1. Assegnare agli utenti le autorizzazioni di amministratore della qualità dei dati in Microsoft Purview Unified Catalog in modo che possano usare tutte le funzionalità di qualità dei dati.
  2. Registrare ed eseguire un'analisi di un'origine dati in Microsoft Purview Data Map.
  3. Aggiungi il tuo asset di dati a un prodotto di dati.
  4. Configurare una connessione all'origine dati per preparare l'origine per la valutazione della qualità dei dati.
  5. Configurare ed eseguire la profilatura dei dati per un asset nell'origine dati. Al termine della profilatura, sfogliare i risultati per ogni colonna nell'asset di dati per comprendere la struttura e lo stato correnti dei dati.
  6. Configurare regole di qualità dei dati in base ai risultati della profilatura e applicarle all'asset di dati.

Origini dati multicloud supportate

Sfogliare il documento dell'origine dati supportata per visualizzare l'elenco delle origini dati supportate, inclusi i formati di file per la profilatura dei dati e la scansione della qualità dei dati, con e senza supporto della rete virtuale.

Importante

La qualità dei dati per il file Parquet è progettata per supportare:

  1. Una directory con file di parti Parquet. Ad esempio: ./Sales/{Parquet Part Files}. Il nome completo deve seguire https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Assicurarsi che non ci siano {n} modelli nella struttura di directory/sottodirectory. Deve essere un FQN diretto che porta a {SparkPartitions}.
  2. Directory con file di parquet partizionati, partizionati per colonne all'interno del set di dati, ad esempio dati di vendita partizionati per anno e mese. Ad esempio: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Entrambi questi scenari essenziali, che presentano uno schema di set di dati parquet coerente, sono supportati. Limitazione: Non è progettato o non supporterà N gerarchie arbitrarie di directory con Parquet Files. È consigliabile presentare i dati in (1) o (2) struttura costruita.

Metodi di autenticazione supportati

Attualmente, Microsoft Purview può eseguire solo analisi di qualità dei dati usando l'identità gestita come opzione di autenticazione. I servizi di qualità dei dati vengono eseguiti su Apache Spark 3.5 e Delta Lake 3.2.1. Per altre informazioni sulle aree supportate, vedi Panoramica sulla qualità dei dati.

Importante

  • Se si aggiorna lo schema nell'origine dati, è necessario importare lo schema dalla pagina Panoramica qualità dei dati usando la funzionalità di importazione degli schemi prima di eseguire un'analisi della qualità dei dati.
  • La rete virtuale non è supportata per Google BigQuery.

Eseguire un'analisi della qualità dei dati

  1. Configura una connessione all'origine dati per gli asset di cui stai eseguendo l'analisi per la qualità dei dati , se non lo hai già fatto.

  2. In Unified Catalog, selezionare Gestione dell'integrità, quindi selezionare Qualità dei dati.

  3. Selezionare un dominio di governance nell'elenco.

  4. Selezionare un prodotto di dati per valutare la qualità dei dati degli asset di dati collegati a tale prodotto.

  5. Selezionare il nome di un asset di dati, in modo da visualizzare la pagina Panoramica della qualità dei dati.

  6. Esplorare le regole di qualità dei dati esistenti e aggiungere nuove regole selezionando Regole. Sfoglia lo schema dell'asset di dati selezionando Schema. Attivare o disattivare le regole aggiunte.

  7. Eseguire l'analisi qualitativa selezionando Esegui analisi qualitativa nella pagina panoramica.

  8. Durante l'esecuzione dell'analisi, è possibile tenere traccia dello stato di avanzamento dalla pagina di monitoraggio della qualità dei dati nel dominio di governance.

Pianificare analisi della qualità dei dati

Sebbene sia possibile eseguire analisi della qualità dei dati ad hoc selezionando Esegui analisi qualitativa, negli scenari di produzione è probabile che i dati di origine vengano costantemente aggiornati. È consigliabile monitorare regolarmente la qualità dei dati per rilevare eventuali problemi. L'automazione del processo di analisi consente di gestire gli aggiornamenti regolari delle analisi di qualità.

  1. In Unified Catalog, selezionare Gestione dell'integrità, quindi selezionare Qualità dei dati.

  2. Selezionare un dominio di governance nell'elenco.

  3. Selezionare Gestisci, quindi selezionare Analisi pianificate.

  4. Compila il modulo nella pagina Crea scansione pianificata . Aggiungere un nome e una descrizione per l'origine per cui si sta configurando la pianificazione.

  5. Selezionare Continua.

  6. Nella scheda Ambito selezionare i singoli prodotti e asset di dati oppure tutti i prodotti e gli asset di dati dell'intero dominio di governance.

  7. Selezionare Continua.

  8. Imposta una pianificazione in base alle tue preferenze e seleziona Continua.

  9. Nella scheda Revisione selezionare Salva (o Salva ed esegui per eseguire il test immediatamente) per completare la pianificazione dell'analisi della valutazione della qualità dei dati.

È possibile monitorare le analisi pianificate nella pagina Monitoraggio dei processi di qualità dei dati nella scheda Scansioni .

Nota

  • Non è possibile aggiungere più di 30 risorse in tutti i prodotti di dati in un'unica pianificazione. Creare più pianificazioni per 30 asset per batch. È possibile eseguire più pianificazioni nella stessa finestra temporale.
  • La pianificazione automatica per eseguire un'analisi settimanale è abilitata a livello di risorsa per impostazione predefinita. Se si desidera disabilitare la pianificazione automatica per un asset di dati, passare a Gestione> integrità Qualità >dei datiEseguire l'analisi qualitativa e quindi selezionare l'opzione per disabilitare l'analisi pianificata.
  • Quando si esegue manualmente un'analisi della qualità dei dati, viene visualizzata una notifica nella pagina Qualità dei dati che richiede di configurare gli avvisi. Ignorare questa notifica se non si desidera configurare gli avvisi.

Elimina le analisi e la cronologia precedenti della qualità dei dati

Quando si rimuove un asset di dati da un prodotto dati, se tale asset di dati ha un punteggio di qualità dei dati, è necessario eliminare prima il punteggio di qualità dei dati, quindi rimuovere l'asset di dati dal prodotto di dati.

Quando si eliminano i dati della cronologia della qualità dei dati, vengono rimossi anche la cronologia del profilo, la cronologia delle analisi della qualità dei dati e le regole sulla qualità dei dati, ma le azioni sulla qualità dei dati non vengono eliminate.

Segui la procedura seguente per eliminare le precedenti analisi della qualità dei dati di un asset di dati:

  1. In Unified Catalog, selezionare Gestione dell'integrità, quindi selezionare Qualità dei dati.
  2. Selezionare un dominio di governance nell'elenco.
  3. Selezionare il prodotto dati dall'elenco.
  4. Selezionare l'asset di dati dall'elenco per spostarsi nella pagina Panoramica della qualità dei dati.
  5. Selezionare i puntini di sospensione (...) nella parte superiore destra della pagina Panoramica della qualità dei dati.
  6. Selezionare Elimina dati Data Quality per eliminare la cronologia delle esecuzioni di Data Quality.

Nota

  • Usa Elimina i dati di qualità dei dati per le esecuzioni dei test, le esecuzioni di qualità dei dati con errori o se rimuovi un asset di dati da un prodotto di dati.
  • Il sistema memorizza fino a 50 snapshot della cronologia della profilazione e della valutazione della qualità dei dati. Se si desidera eliminare uno snapshot specifico, selezionare l'esecuzione della cronologia desiderata e selezionare l'icona Elimina.

Schema di importazione

Se il tipo di dati in uno schema è non definito, definito in modo errato o modificato nell'origine, il processo di qualità dei dati potrebbe non riuscire. Se l'operazione non riesce, reimportare lo schema usando la funzionalità di importazione dello schema. L'importazione dello schema è supportata per le origini dati sia nelle reti pubbliche che dietro endpoint privati. Le origini dati supportate sono elencate in Origini dati e formati di file supportati per la qualità dei dati. Per importare uno schema dalle origini dati, seguire questa procedura:

  • Selezionare Qualità dei dati da Gestione integrità.
  • Selezionare un dominio aziendale, quindi selezionare un prodotto di dati, quindi selezionare un asset di dati da quel prodotto di dati. Viene visualizzata la pagina di panoramica della qualità dei dati.
  • Selezionare Schema, quindi selezionare l'interruttore Gestione schemi .
  • Selezionare Importa schema per importare lo schema.

Passaggi successivi