Configurar uma verificação incremental da qualidade dos dados

Qualidade de Dados do Microsoft Purview dá suporte a verificações incrementais de qualidade de dados usando a filtragem baseada em tempo. Usando varreduras incrementais, você pode escolher entre varreduras completas, varreduras incrementais ou ambas ao executar regras de qualidade de dados em ativos de dados.

Embora certas regras, como detecção de duplicatas, exijam uma verificação completa de todo o conjunto de dados, você pode avaliar com eficiência muitas verificações de qualidade de dados em dados recém-criados ou atualizados. Usando verificações incrementais, você pode executar essas regras em um agendamento definido, como diário ou semanal, o que melhora o desempenho e reduz os custos de verificação.

Usando verificações incrementais de qualidade de dados, você pode:

  • Crie regras que sejam executadas em verificações completas, verificações incrementais ou ambas.
  • Atribua de forma flexível as regras existentes à execução de varredura incremental ou completa.
  • Configure agendas para que os ativos de dados executem verificações incrementais em intervalos definidos.

As pontuações de qualidade de dados são calculadas em todas as regras e ativos de dados, independentemente de a verificação ser incremental ou completa. A Qualidade de Dados do Microsoft Purview calcula uma pontuação cumulativa de qualidade de dados para ajudá-lo a entender as tendências gerais de qualidade de dados ao longo do tempo.

Benefícios da execução de verificações incrementais

Os escritórios de dados e os profissionais de dados nem sempre precisam avaliar a qualidade dos dados em todo o conjunto de dados históricos, como cinco a 10 anos de dados, com frequência. Você pode avaliar os dados históricos periodicamente, como mensalmente ou trimestralmente, enquanto os dados recém-criados ou atualizados geralmente exigem monitoramento mais frequente.

Usando varreduras incrementais, você pode habilitar o monitoramento contínuo da qualidade de dados em dados recentes para que você possa identificar e resolver problemas rapidamente, antes que eles afetem os sistemas e análises downstream.

Configurar e executar uma verificação de qualidade de dados

As verificações de qualidade de dados analisam seus ativos de dados com base nas regras de qualidade de dados aplicadas e produzem uma pontuação. Seus administradores de dados podem usar essa pontuação para avaliar a integridade dos dados e resolver quaisquer problemas que possam diminuir a qualidade de seus dados.

Pré-requisitos

  • Para executar e agendar verificações de avaliação de qualidade de dados, os usuários precisam da função de administrador de qualidade de dados.
  • Atualmente, você pode definir a conta do Microsoft Purview para permitir acesso público ou acesso à rede virtual gerenciada para que as verificações de qualidade de dados possam ser executadas.

Ciclo de vida da qualidade dos dados

A digitalização de qualidade de dados é a sétima etapa no ciclo de vida da qualidade de dados de um ativo de dados. As etapas anteriores são:

  1. Registrar e verificar uma fonte de dados no Mapa de Dados do Microsoft Purview.
  2. Atribua aos usuários permissões de administrador de qualidade de dados no Catálogo unificado para que eles possam usar todos os recursos de qualidade de dados.
  3. Adicione seu ativo de dados a um produto de dados. Essa etapa só será necessária se você quiser executar a qualidade de dados para ativos de dados associados a um produto de dados para calcular a pontuação de qualidade de dados do produto de dados.
  4. Se você quiser medir a qualidade de dados de um ativo de dados independente, adicione um ativo de dados do Mapa de Dados a um domínio para executar a verificação de qualidade de dados para o ativo sem associação a um produto de dados.
  5. Configure uma conexão de fonte de dados para preparar sua fonte para a avaliação de qualidade de dados.
  6. Configure um contêiner ou armazenamento para armazenar registros de erro de qualidade de dados para revisão e correção dos registros com falha.
  7. Configure e execute a criação de perfil de dados para um ativo em sua fonte de dados. Quando a criação de perfil for concluída, procure os resultados de cada coluna no ativo de dados para entender a estrutura e o estado atuais dos dados.
  8. Configure regras de qualidade de dados com base nos resultados da criação de perfil e aplique-as ao seu ativo de dados.
  9. Execute a verificação de qualidade de dados para entender e melhorar a qualidade de seus dados.

Fontes de dados multicloud com suporte

Navegue pelo documento da fonte de dados com suporte para exibir a lista de fontes de dados com suporte, incluindo formatos de arquivo para criação de perfil de dados e verificação de qualidade de dados, com e sem suporte de rede virtual.

Importante

A qualidade de dados do arquivo Parquet foi projetada para dar suporte a:

  1. Um diretório com o arquivo de peça do Parquet. Por exemplo: ./Sales/{Parquet Part Files}. O Nome Totalmente Qualificado deve seguir .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Certifique-se de que não haja {n} padrões na estrutura de diretórios/subdiretórios. Deve ser um FQN direto que leva a {SparkPartitions}.
  2. Um diretório com Parquet Files particionados, particionados por colunas dentro do conjunto de dados, como dados de vendas particionados por ano e mês. Por exemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Há suporte para esses dois cenários essenciais, que apresentam um esquema de conjunto de dados parquet consistente. Limitação: Ele não foi projetado para ou não oferece suporte a N hierarquias arbitrárias de diretórios com arquivos Parquet. Recomendamos apresentar dados em (1) ou (2) estrutura construída.

No momento, a Qualidade de Dados do Microsoft Purview não dá suporte à especificação de regras de qualidade de dados em mapas, listas e estruturas em estruturas de dados Parquet.

Métodos de autenticação suportados

No momento, o Microsoft Purview só pode executar verificações de qualidade de dados usando a Identidade Gerenciada como opção de autenticação. Os serviços de qualidade de dados são executados no Apache Spark 3.5 e Delta Lake 3.2.1. Para obter mais informações sobre regiões com suporte, consulte Visão geral da qualidade dos dados.

Importante

  • Se você atualizar o esquema na fonte de dados, precisará importar o esquema da página de visão geral da qualidade de dados usando o recurso de importação de esquema antes de executar uma verificação de qualidade de dados.
  • A rede virtual não é compatível com o Google BigQuery.

Configurar e executar verificação incremental de qualidade de dados

  1. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.
  2. Selecione um domínio de governança na lista.
  3. Configure uma conexão de fonte de dados com os ativos que você está verificando quanto à qualidade dos dados , caso ainda não tenha feito isso.
  4. Selecione um produto de dados para avaliar a qualidade dos ativos de dados associados a esse produto. Se você quiser verificar um ativo de dados sem associação de produto de dados, selecione Adicionar ativos para adicionar um ativo de dados à lista de ativos do Mapa de Dados.
  5. Selecione o nome de um ativo de dados, que o levará para a página Visão geral da qualidade dos dados.
  6. Procure as regras de qualidade de dados existentes e adicione novas regras selecionando Regras. Crie regras personalizadas usando a expressão SQL ou a linguagem de expressão ADF se as regras prontas para uso não forem suficientes para seu caso de uso. Ative ou desative as regras adicionadas se quiser desativar ou ativar qualquer regra.
  7. Selecione a opção de recorrência da verificação:
    • Incremental
    • Inteiro
    • Ambos
  8. Selecione Executar verificação de qualidade no canto superior direito da página de visão geral.
  9. Habilite o botão de alternância Executar verificação incremental e forneça os seguintes detalhes:
    • Escolha a janela de tempo para os dados atualizados: último dia, semana passada, duas últimas semanas ou mês passado
    • Selecione a coluna datetime a ser usada para verificação incremental
    • Use a guia Adicionar Regra para selecionar regras na lista de regras predefinidas
  10. Selecione Executar verificação de qualidade para executar a verificação incremental.
  11. Agendar verificação incremental. Para configurar uma agenda para executar a verificação de qualidade de dados, habilite a execução agendada selecionando Habilitar verificação recorrente e definindo a agenda desejada. Se você configurar um agendamento recorrente, o botão Executar Verificação de Qualidade será somente leitura na página Verificar Configuração de Execução.
  12. Enquanto a verificação está em execução, você pode acompanhar seu progresso na página de monitoramento de qualidade de dados no domínio de governança.

Verificação incremental de qualidade de dados com regras.

Observação

  • Há suporte para colunasde data e hora e data, mas recomendamos usar uma coluna de data e hora. Se o ativo de dados não contiver uma coluna de carimbo de data/hora, as verificações incrementais de qualidade de dados não poderão ser configuradas para verificações diárias. Uma coluna de data impede que o sistema calcule as últimas 24 horas com precisão, o que é necessário para dividir os dados de um dia para verificações de qualidade de dados. O tipo de dados datetime também é mais comumente usado para colunas criadas, atualizadas e outras colunas de carimbo de data/hora.
  • Dias de filtro: 90 dias por três meses, 180 dias por seis meses e 365 dias por um ano.
  • O agendamento automático para executar uma verificação semanal está ativado no nível do ativo por padrão. Se você quiser desabilitar o agendamento automático para um ativo de dados, acesse Gerenciamento de> integridadeQualidade dos dados Execute> averificação de qualidade e selecione a opção para desabilitar a verificação agendada.
  • Quando você executa manualmente uma verificação de qualidade de dados, uma notificação é exibida na página Qualidade de Dados solicitando que você configure alertas. Ignore esta notificação se você não quiser configurar alertas.
  • A pontuação cumulativa é calculada como a média da pontuação de varredura incremental e da pontuação de varredura completa (regular).
  • A verificação de qualidade de dados incremental não tem suporte para fontes de dados locais.

Importante

O tipo de verificação, a pontuação de qualidade de dados incremental e a pontuação de qualidade de dados cumulativa não são publicados no Azure Data Lake Storage Gen2 ou no Fabric Lakehouse para análise de autoatendimento.

Excluir verificações e histórico de qualidade de dados anteriores

Quando você remove um ativo de dados de um produto de dados, se esse ativo de dados tiver uma pontuação de qualidade de dados, primeiro exclua a pontuação de qualidade de dados e, em seguida, remova o ativo de dados do produto de dados.

Ao excluir dados do histórico de qualidade de dados, você remove o histórico de perfil, o histórico de verificação de qualidade de dados e as regras de qualidade de dados. As ações de qualidade de dados não são excluídas.

Para excluir verificações de qualidade de dados anteriores de um ativo de dados, siga estas etapas:

  1. No Catálogo unificado, selecione Gerenciamento de integridade e, em seguida, selecione Qualidade dos dados.
  2. Selecione um domínio de governança na lista.
  3. Selecione o produto de dados na lista. Selecione o ativo de dados na lista para ir para a página Visão geral da qualidade dos dados. Se você estiver usando o recurso de qualidade de dados de ativo de dados autônomo, selecione o ativo de dados na lista de ativos de dados.
  4. Selecione as reticências (...) no canto superior direito da página Visão geral da qualidade dos dados.
  5. Selecione Excluir dados de qualidade de dados para excluir o histórico de execuções de qualidade de dados.

Observação

  • Use Excluir dados de qualidade de dados para execuções de teste, execuções de qualidade de dados com erro ou se você estiver removendo um ativo de dados de um produto de dados.
  • O sistema armazena até 50 instantâneos de perfil de qualidade de dados e histórico de avaliação de qualidade de dados. Para excluir um snapshot específico, selecione a execução do histórico desejada e selecione o ícone de exclusão.

Importar esquema

Se o tipo de dados em um esquema for indefinido, definido incorretamente ou alterado na origem, seu trabalho de qualidade de dados poderá falhar. Se falhar, reimporte o esquema usando o recurso de importação de esquema. Você pode importar esquemas para fontes de dados em redes públicas e atrás de pontos de extremidade privados. Para obter uma lista de fontes de dados com suporte, consulte Fontes de dados e formatos de arquivo com suporte para qualidade de dados. Para importar um esquema de suas fontes de dados, siga estas etapas:

  • Selecione Qualidade de dados em Gerenciamento de integridade.
  • Selecione um domínio de negócios e, em seguida, selecione um produto de dados. Selecione um ativo de dados desse produto de dados. Você chega à página de visão geral da qualidade dos dados.
  • Selecione Esquema e, em seguida, selecione a alternância Gerenciamento de esquema .
  • Selecione Importar esquema para importar o esquema.

Conteúdo relacionado

Próximas etapas

  • Last updated on