Visão geral da qualidade de dados no Catálogo unificado do Microsoft Purview

Qualidade de dados no Catálogo unificado do Microsoft Purview capacita o domínio de governança e os proprietários de dados a avaliar e supervisionar a qualidade de seu ecossistema de dados, facilitando ações direcionadas para melhoria. No cenário atual orientado por IA, a confiabilidade dos dados afeta diretamente a precisão dos insights e recomendações orientados por IA. Sem dados confiáveis, existe o risco de corroer a confiança nos sistemas de IA e dificultar sua adoção.

A baixa qualidade dos dados ou estruturas de dados incompatíveis podem prejudicar os processos de negócios e os recursos de tomada de decisão. A qualidade de dados no Catálogo unificado aborda esses desafios, oferecendo aos usuários a capacidade de avaliar a qualidade dos dados usando regras sem código ou com pouco código, incluindo regras OOB (prontas para uso) e regras geradas por IA. Essas regras são aplicadas no nível da coluna e agregadas para fornecer pontuações nos níveis de ativos de dados, produtos de dados e domínios de governança, garantindo visibilidade de ponta a ponta da qualidade dos dados em cada domínio.

A qualidade dos dados no Microsoft Purview também incorpora recursos de criação de perfil de dados da plataforma AI, recomendando colunas para criação de perfil, permitindo a intervenção humana para refinar essas recomendações. Esse processo iterativo não apenas aprimora a precisão da criação de perfil de dados, mas também contribui para a melhoria contínua dos modelos de IA subjacentes.

Ao aplicar a qualidade dos dados, as organizações podem medir, monitorar e melhorar efetivamente a qualidade de seus ativos de dados, reforçando a confiabilidade dos insights orientados por IA e promovendo a confiança nos processos de tomada de decisão baseados em IA.

Ciclo de vida da qualidade dos dados

  1. Atribua permissões de administrador de qualidade de dados aos usuários no Catálogo unificado para usar todos os recursos de qualidade de dados.
  2. Registrar e verificar uma fonte de dados no Mapa de Dados do Microsoft Purview.
  3. Adicionar seu ativo de dados a um produto de dados
  4. Configure uma conexão de fonte de dados para preparar sua fonte para a avaliação de qualidade de dados.
  5. Configure e execute a criação de perfil de dados para um ativo em sua fonte de dados.
    1. Quando a criação de perfil for concluída, procure os resultados de cada coluna no ativo de dados para entender a estrutura e o estado atuais dos dados.
  6. Configure regras de qualidade de dados com base nos resultados da criação de perfil e aplique-as ao seu ativo de dados.
  7. Configure e execute uma verificação de qualidade de dados em um produto de dados para avaliar a qualidade de todos os ativos com suporte no produto de dados.
  8. Examine os resultados da verificação para avaliar a qualidade atual dos dados do seu produto de dados.
  9. Repita as etapas 5 a 8 periodicamente ao longo do ciclo de vida do ativo de dados para garantir que ele mantenha a qualidade.
  10. Monitore continuamente a qualidade dos seus dados
    1. Examine as ações de qualidade de dados para identificar e resolver problemas.
    2. Defina notificações de qualidade de dados para alertá-lo sobre problemas de qualidade.

Regiões de qualidade de dados com suporte

A qualidade de dados tem suporte nas regiões a seguir.

Importante

A funcionalidade de Qualidade de Dados só tem suporte quando as contas e as fontes de dados estão nas regiões com suporte do Purview. As fontes de dados e a conta do Purview precisam estar na mesma região do Azure.

Fontes de dados multicloud com suporte

Veja a lista de fontes de dados com suporte.

Importante

A qualidade de dados de arquivos Parquet foi projetada para dar suporte a:

  1. Um diretório com o arquivo de peça do Parquet. Por exemplo: ./Sales/{Parquet Part Files}. O nome totalmente qualificado deve seguir .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Certifique-se de que a estrutura de diretórios e subdiretórios não inclua {n} padrões. Em vez disso, use um FQN direto que leve a {SparkPartitions}.
  2. Um diretório com arquivos Parquet particionados, particionados por colunas dentro do conjunto de dados, como dados de vendas particionados por ano e mês. Por exemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Há suporte para esses dois cenários essenciais, que apresentam um esquema de conjunto de dados Parquet consistente. Limitação: A qualidade de dados não foi projetada para dar suporte a hierarquias arbitrárias de diretórios com arquivos Parquet. Recomendamos apresentar os dados na estrutura construída (1) ou (2).

No momento, o Microsoft Purview só pode executar verificações de qualidade de dados usando a Identidade Gerenciada como uma opção de autenticação. Os serviços de qualidade de dados são executados no Apache Spark 3.5 e Delta Lake 3.2.1.

Recursos de qualidade de dados

  • Configuração de conexão de fonte de dados
    • Configure a conexão para permitir que o aplicativo SaaS de qualidade de dados do Microsoft Purview tenha acesso de leitura aos dados para digitalização e criação de perfil de qualidade.
    • O Microsoft Purview usa a Identidade Gerenciada como uma opção de autenticação.
  • Criação de perfil de dados
    • Experiência de criação de perfil de dados habilitada para IA.
    • Snapshot estatístico padrão do setor (distribuição, min, max, desvio padrão, exclusividade, integridade, duplicata e muito mais).
    • Faça uma busca detalhada das medidas de criação de perfil no nível da coluna.
  • Regras de qualidade de dados
    • Regras inovadoras para medir seis dimensões de qualidade de dados padrão do setor (integridade, consistência, conformidade, precisão, atualização e exclusividade).
    • Os recursos de criação de regras personalizadas incluem o número de funções prontas para uso e valores de expressão.
    • Regras geradas automaticamente com experiência integrada de IA.
  • Digitalização da qualidade dos dados
    • Selecione e atribua regras a colunas para verificação da qualidade dos dados.
    • Aplique a regra de atualização de dados no nível de entidade ou tabela para medir o SLA de atualização de dados.
    • Agendamento de trabalho de verificação de qualidade de dados por período de tempo (por hora, diariamente, semanalmente, mensalmente e mais).
  • Monitoramento de trabalho de qualidade de dados
    • Habilite o monitoramento do status do trabalho de qualidade de dados (ativo, concluído, com falha e muito mais).
    • Habilite a navegação no histórico de verificação de qualidade de dados.
  • Pontuação de qualidade de dados
    • Pontuação de qualidade de dados no nível da regra (qual é a pontuação de qualidade de uma regra aplicada a uma coluna).
    • Pontuação de qualidade de dados para ativos de dados, produtos de dados e domínios de governança (um domínio de governança pode ter muitos produtos de dados, um produto de dados pode ter muitos ativos de dados, um ativo de dados pode ter muitas colunas de dados).
  • Alertas de qualidade de dados
    • Configure alertas para notificar proprietários e administradores de dados se o limite de qualidade de dados não atender às expectativas.
    • Configure o alias de email ou o grupo de distribuição para enviar a notificação sobre problemas de qualidade de dados.
  • Ações de qualidade de dados
    • As ações se concentram na qualidade de dados com ações para lidar com estados de anomalia de qualidade de dados, incluindo consultas de diagnóstico para que o administrador de qualidade de dados se concentre nos dados específicos a serem corrigidos para cada estado de anomalia.
  • Rede virtual gerenciada de qualidade de dados
    • Uma rede virtual gerenciada pela qualidade de dados que se conecta com pontos de extremidade privados às suas fontes de dados do Microsoft Azure.

Residência de dados e criptografia

A conta de armazenamento gerenciada da Microsoft armazena metadados de qualidade de dados e resumo de criação de perfil. Ele os armazena na mesma região que a fonte de dados, para que a residência de dados permaneça intacta. Todos os dados são criptografados. O armazenamento de dados do usuário regional do Provedor de Recursos do Purview é usado para metadados. Ele lida com toda a criptografia e é comum em todos os serviços do Purview. Se você quiser mais controle sobre a criptografia de dados com uma CMK (chave de criptografia gerenciada pelo cliente), use um processo separado. Saiba mais sobre a Chave de Cliente do Microsoft Purview.

Qualidade de dados, computação, preços

O uso da qualidade dos dados é cobrado com base nos medidores de pagamento conforme o uso da Unidade de Processamento de Governança de Dados (DGPU). Encontre detalhes sobre como o preço é calculado para a qualidade dos dados.

Limitações

Conteúdo relacionado

Próximas etapas

  1. Atribua aos usuários permissões de administrador de qualidade de dados no Catálogo unificado para que eles possam usar todos os recursos de qualidade de dados.
  2. Configure uma conexão de fonte de dados para preparar sua fonte para uma avaliação de qualidade de dados.
  3. Configure e execute a criação de perfil de dados para um ativo em sua fonte de dados.
  • Last updated on