Configurar e executar a criação de perfil de dados para um ativo de dados

A criação de perfil de dados é o processo de examinar os dados disponíveis em diferentes fontes de dados e coletar estatísticas e informações sobre esses dados. A criação de perfil de dados ajuda a avaliar o nível de qualidade dos dados de acordo com um conjunto definido de metas. Se os dados forem de baixa qualidade ou gerenciados em estruturas que não podem ser integradas para atender às necessidades da organização, os processos de negócios e a tomada de decisões serão prejudicados. A criação de perfil de dados permite que você entenda a confiabilidade e a qualidade de seus dados, o que é um pré-requisito para tomar decisões orientadas por dados que aumentem a receita e promovam o crescimento.

Pré-requisitos

  • Para executar e agendar verificações de avaliação de qualidade de dados, os usuários devem estar na função de administrador de qualidade de dados.
  • No momento, você pode definir a conta do Microsoft Purview para permitir acesso público ou acesso gerenciado à rede virtual para que as verificações de qualidade de dados possam ser executadas.

Ciclo de vida da qualidade dos dados

A criação de perfil de dados é a quinta etapa no ciclo de vida da qualidade dos dados para um ativo de dados. As etapas anteriores são:

  1. Atribua permissões de administrador de qualidade de dados aos usuários no Catálogo unificado para usar todos os recursos de qualidade de dados.
  2. Registre e verifique uma fonte de dados em seu Mapa de Dados do Purview.
  3. Adicione seu ativo de dados a um produto de dados.
  4. Configure uma conexão de fonte de dados para preparar sua fonte para a avaliação de qualidade de dados.

Fontes de dados multicloud com suporte

Navegue pelo documento da fonte de dados com suporte para exibir a lista de fontes de dados com suporte, incluindo formatos de arquivo para criação de perfil de dados e verificação de qualidade de dados, com e sem suporte de rede virtual.

Importante

A qualidade de dados do arquivo Parquet foi projetada para dar suporte a:

  1. Um diretório com o arquivo de peça do Parquet. Por exemplo: ./Sales/{Parquet Part Files}. O Nome Totalmente Qualificado deve seguir .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Certifique-se de não ter {n} padrões na estrutura de diretórios ou subdiretórios; deve ser um FQN direto que leva a {SparkPartitions}.
  2. Um diretório com Parquet Files particionados, particionados por colunas dentro do conjunto de dados, como dados de vendas particionados por ano e mês. Por exemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Há suporte para esses dois cenários essenciais, que apresentam um esquema de conjunto de dados Parquet consistente. Limitação: Ele não foi projetado para ou não oferece suporte a N hierarquias arbitrárias de diretórios com arquivos Parquet. Recomendamos apresentar dados em (1) ou (2) estrutura construída.

Métodos de autenticação suportados

No momento, o Microsoft Purview só pode executar verificações de qualidade de dados usando a Identidade Gerenciada como opção de autenticação. Os serviços de qualidade de dados são executados no Apache Spark 3.5 e Delta Lake 3.2.1. Para obter mais informações sobre regiões com suporte, consulte a visão geral da qualidade dos dados.

Importante

  • Se você atualizar o esquema na fonte de dados, precisará importar o esquema da página de visão geral da qualidade dos dados usando o recurso de importação de esquema antes de executar a criação de perfil de dados.
  • A rede virtual não é compatível com o Google BigQuery.
  • Na versão atual, você pode criar o perfil de 50 colunas por lote. Se o ativo de dados tiver mais de 50 colunas, você poderá criar o perfil de colunas extras em mais lotes.
  • Se uma coluna contiver um valor distinto, não crie o perfil dessa coluna. Uma coluna com valores distintos não pode criar uma distribuição normal.

Etapas para configurar o trabalho de criação de perfil de dados

  1. Configure uma conexão de fonte de dados com os ativos que você está verificando quanto à qualidade dos dados , caso ainda não tenha feito isso.

  2. No Catálogo unificado do Microsoft Purview, selecione Gerenciamento de Integridade e, em seguida, selecione Qualidade dos dados.

  3. Selecione um domínio de governança na lista.

  4. Selecione um produto de dados para criar o perfil de um ativo de dados vinculado a esse produto.

  5. Selecione um ativo de dados para navegar na página Visão geral da qualidade dos dados para criação de perfil.

  6. Selecione o botão Perfil para executar o trabalho de criação de perfil para o ativo de dados selecionado.

  7. O mecanismo de recomendação de IA sugere colunas potencialmente importantes para executar a criação de perfil de dados. Você pode desmarcar colunas recomendadas e/ou selecionar mais colunas a serem perfiladas.

  8. Depois de selecionar as colunas relevantes, selecione Executar Perfil.

  9. Enquanto o trabalho está em execução, você pode acompanhar seu progresso na página de monitoramento de qualidade de dados no domínio de governança.

  10. Quando o trabalho for concluído, selecione a guia Perfil no menu à esquerda da página de qualidade de dados do ativo para navegar pelo resultado da criação de perfil e pelo snapshot estatístico. Pode haver várias páginas de resultados de perfil, dependendo de quantas colunas seus ativos de dados têm.

  11. Procure os resultados da criação de perfil e as medidas estatísticas de cada coluna.

Noções básicas sobre os resultados da criação de perfil

  • Mínimo: comprimento mínimo dos caracteres na coluna.
  • Máximo: comprimento máximo dos caracteres na coluna.
  • Distribuição: distribuição normal dos seus dados.
  • Valores exclusivos: valores que não se repetem; eles são únicos.
  • Valores duplicados: valores que se repetem mais de uma vez.
  • Valores vazios/em branco: a coluna está em branco ou vazia.
  • Nulo: valores nulos na coluna.
  • Média: valor médio ou média aritmética.
  • Standard deviation: Uma medida estatística que quantifica a quantidade de variação ou dispersão em um conjunto de valores.

Conteúdo relacionado

Próximas etapas

  1. Configure regras de qualidade de dados com base nos resultados da criação de perfil e aplique-as ao seu ativo de dados.
  2. Configure e execute uma verificação de qualidade de dados em um produto de dados para avaliar a qualidade de todos os ativos com suporte no produto de dados.
  3. Examine os resultados da verificação para avaliar a qualidade atual dos dados do seu produto de dados.
  • Last updated on