Configurare ed eseguire la profilatura dei dati per un asset di dati

La profilazione dei dati è il processo di esame dei dati disponibili in diverse fonti di dati e la raccolta di statistiche e informazioni su questi dati. La profilatura dei dati consente di valutare il livello di qualità dei dati in base a un insieme definito di obiettivi. Se i dati sono di scarsa qualità o gestiti in strutture che non possono essere integrate per soddisfare le esigenze dell'organizzazione, i processi aziendali e il processo decisionale ne risentono. La profilazione dei dati ti consente di comprendere l'affidabilità e la qualità dei tuoi dati, che è un prerequisito per prendere decisioni basate sui dati che aumentano i ricavi e favoriscono la crescita.

Prerequisiti

  • Per eseguire e pianificare le analisi della valutazione della qualità dei dati, gli utenti devono avere il ruolo di amministratore della qualità dei dati.
  • Attualmente, è possibile impostare l'account Microsoft Purview per consentire l'accesso pubblico o l'accesso alla rete virtuale gestita in modo da poter eseguire le analisi di qualità dei dati.

Ciclo di vita della qualità dei dati

La profilazione dei dati è la quinta fase del ciclo di vita della qualità dei dati per un asset di dati. I passaggi precedenti sono:

  1. Assegnare agli utenti le autorizzazioni di amministratore della qualità dei dati in Unified Catalog per utilizzare tutte le funzionalità di qualità dei dati.
  2. Registrare ed eseguire l'analisi di un'origine dati in Purview Data Map.
  3. Aggiungi il tuo asset di dati a un prodotto di dati.
  4. Configurare una connessione all'origine dati per preparare l'origine per la valutazione della qualità dei dati.

Origini dati multicloud supportate

Sfogliare il documento dell'origine dati supportata per visualizzare l'elenco delle origini dati supportate, inclusi i formati di file per la profilatura dei dati e la scansione della qualità dei dati, con e senza supporto della rete virtuale.

Importante

La qualità dei dati per il file Parquet è progettata per supportare:

  1. Una directory con file di parti Parquet. Ad esempio: ./Sales/{Parquet Part Files}. Il nome completo deve seguire https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Assicurarsi di non avere {n} modelli nella struttura di directory o sottodirectory; deve essere un FQN diretto che porta a {SparkPartitions}.
  2. Directory con file di parquet partizionati, partizionati per colonne all'interno del set di dati, ad esempio dati di vendita partizionati per anno e mese. Ad esempio: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Entrambi questi scenari essenziali, che presentano uno schema di set di dati Parquet coerente, sono supportati. Limitazione: Non è progettato o non supporterà N gerarchie arbitrarie di directory con file Parquet. È consigliabile presentare i dati in (1) o (2) struttura costruita.

Metodi di autenticazione supportati

Attualmente, Microsoft Purview può eseguire solo analisi di qualità dei dati usando l'identità gestita come opzione di autenticazione. I servizi di qualità dei dati vengono eseguiti su Apache Spark 3.5 e Delta Lake 3.2.1. Per altre informazioni sulle aree supportate, vedi la Panoramica sulla qualità dei dati.

Importante

  • Se si aggiorna lo schema nell'origine dati, è necessario importare lo schema dalla pagina Panoramica qualità dei dati usando la funzionalità di importazione dello schema prima di eseguire la profilatura dei dati.
  • La rete virtuale non è supportata per Google BigQuery.
  • Nella versione corrente è possibile creare un profilo di 50 colonne per batch. Se l'asset di dati contiene più di 50 colonne, è possibile profilare colonne aggiuntive in più batch.
  • La profilatura utilizza un campione casuale dall'asset di dati selezionato, la dimensione del campione è 1 milione di record.
  • Se una colonna contiene un valore distinto, non profilare tale colonna. Una colonna con valori distinti non può creare una distribuzione normale.

Procedura per configurare il processo di profilatura dei dati

  1. Configura una connessione all'origine dati per gli asset di cui stai eseguendo l'analisi per la qualità dei dati , se non lo hai già fatto.

  2. In Microsoft Purview Unified Catalog, selezionare Gestione integrità, quindi selezionare Qualità dei dati.

  3. Selezionare un dominio di governance nell'elenco.

  4. Seleziona un prodotto di dati per profilare un asset di dati collegato a quel prodotto.

  5. Selezionare un asset di dati per passare alla pagina Panoramica della qualità dei dati per la profilatura.

  6. Selezionare il pulsante Profilo per eseguire il processo di profilatura per l'asset di dati selezionato.

  7. Il motore di raccomandazione IA suggerisce colonne potenzialmente importanti su cui eseguire la profilatura dei dati. È possibile deselezionare le colonne consigliate e/o selezionare più colonne da profilare.

  8. Dopo aver selezionato le colonne pertinenti, selezionare Esegui profilo.

  9. Durante l'esecuzione del processo, è possibile tenerne traccia dalla pagina di monitoraggio della qualità dei dati nel dominio di governance.

  10. Al termine del processo, selezionare la scheda Profilo dal menu a sinistra della pagina della qualità dei dati dell'asset per elencare i risultati della profilazione e l'istantanea statistica. Potrebbero essere presenti diverse pagine dei risultati del profilo a seconda del numero di colonne presenti negli asset di dati.

  11. Sfoglia i risultati di profilazione e le misure statistiche per ogni colonna.

Informazioni sui risultati della profilatura

  • Minimo: lunghezza minima dei caratteri nella colonna.
  • Massimo: lunghezza massima dei caratteri nella colonna.
  • Distribuzione: Distribuzione normale dei dati.
  • Valori univoci: valori che non si ripetono; sono unici.
  • Valori duplicati: valori che si ripetono più di una volta.
  • Valori vuoti: la colonna è vuota o vuota.
  • Null: valori Null nella colonna.
  • Media: valore medio o media aritmetica.
  • Standard deviation: misura statistica che quantifica la quantità di variazione o dispersione in un set di valori.

Contenuto correlato

Passaggi successivi

  1. Configurare regole di qualità dei dati in base ai risultati della profilatura e applicarle all'asset di dati.
  2. Configurare ed eseguire un'analisi della qualità dei dati su un prodotto di dati per valutare la qualità di tutte le risorse supportate nel prodotto di dati.
  3. Esaminare i risultati dell'analisi per valutare la qualità dei dati correnti del prodotto di dati.
  • Ultimo aggiornamento: