Práticas recomendadas de verificação de Mapa de Dados

O Mapa de Dados do Microsoft Purview dá suporte à verificação automatizada de fontes de dados SaaS (software como serviço) locais e multinuvem.

Quando você executa uma verificação, o processo começa a ingerir metadados das fontes de dados registradas. No final do processo de verificação e curadoria, você obtém metadados selecionados que incluem metadados técnicos. Esses metadados podem incluir nomes de ativos de dados, como nomes de tabelas ou de arquivos, tamanho do arquivo, colunas e linhagem de dados. Para fontes de dados estruturadas, os detalhes do esquema também são capturados. Um sistema de gerenciamento de banco de dados relacional é um exemplo desse tipo de fonte.

O processo de curadoria aplica rótulos de classificação automatizados nos atributos de esquema com base no conjunto de regras de varredura configurado. Se sua conta do Microsoft Purview estiver conectada ao portal do Microsoft Purview, os rótulos de confidencialidade serão aplicados.

Por que você precisa de práticas recomendadas para gerenciar fontes de dados?

As práticas recomendadas ajudam você a:

• Otimize o custo.
• Criar excelência operacional.
• Melhore a conformidade de segurança.
• Obtenha eficiência de desempenho.

Registrar uma origem e estabelecer uma conexão

As considerações e recomendações de design a seguir ajudam a registrar uma origem e estabelecer uma conexão.

Considerações de design

• Use coleções para criar a hierarquia que se alinha à estratégia da organização, como localização geográfica, função de negócios ou fonte de dados. A hierarquia define as fontes de dados a serem registradas e verificadas.
• Por padrão, você não pode registrar fontes de dados várias vezes na mesma conta do Microsoft Purview. Essa arquitetura ajuda a evitar o risco de atribuir um controle de acesso diferente à mesma fonte de dados.

Recomendações de design

• Se várias equipes consumirem os metadados da mesma fonte de dados, registre e gerencie a fonte de dados em uma coleção pai. Em seguida, crie as digitalizações correspondentes em cada subcoleção. Dessa forma, os ativos relevantes aparecem em cada coleção filho. A visualização de mapa agrupa fontes sem os pais em uma caixa pontilhada. Nenhuma seta os liga aos pais.

  

• Use a opção Múltiplas do Azure se precisar registrar várias fontes, como assinaturas do Azure ou grupos de recursos, na nuvem. Para obter mais informações, consulte a seguinte documentação:

  • Verificar várias fontes no Microsoft Purview
  • Verificar a preparação da fonte de dados em escala
  • Configurar o acesso a fontes de dados para MSI do Microsoft Purview em escala

• Depois de registrar uma fonte de dados, você poderá verificar a mesma fonte várias vezes. Diferentes equipes ou unidades de negócios podem usar a mesma fonte de maneiras diferentes.

Para obter mais informações sobre como definir uma hierarquia para registrar fontes de dados, consulte Práticas recomendadas na arquitetura de coleções.

Verificação

As seguintes considerações e recomendações de design são organizadas com base nas principais etapas envolvidas no processo de digitalização.

Considerações de design

• Depois de registrar a fonte de dados, configure uma verificação para gerenciar a verificação e a curadoria de metadados automatizadas e seguras.
• A configuração da verificação inclui a configuração do nome da verificação, o escopo da verificação, o runtime de integração, a frequência de acionamento da verificação, o conjunto de regras de verificação e o conjunto de recursos exclusivamente para cada fonte de dados por frequência de verificação.
• Antes de criar qualquer credencial, considere seus tipos de fonte de dados e requisitos de rede. Essas informações ajudam você a decidir qual método de autenticação e runtime de integração você precisa para seu cenário.

Recomendações de design

Depois de registrar sua origem na coleção relevante, planeje e siga a ordem mostrada neste exemplo ao configurar a verificação. Essa ordem de processo ajuda a evitar custos inesperados e retrabalho.

1. Identifique seus requisitos de classificação nas regras de classificação integradas no sistema. Ou crie regras de classificação personalizadas específicas, conforme necessário. Baseie-os em requisitos específicos do setor, negócios ou regionais, que não estão disponíveis imediatamente:

   • Consulte as práticas recomendadas de classificação.
   • Veja como criar uma regra de classificação e classificação personalizada.

2. Crie conjuntos de regras de verificação antes de configurar a verificação. Ao criar o conjunto de regras de verificação, verifique os seguintes pontos:

   • Verifique se o conjunto de regras de verificação padrão do sistema é suficiente para a fonte de dados que você está verificando. Caso contrário, defina seu conjunto de regras de varredura personalizado.

   • O conjunto de regras de verificação personalizada pode incluir regras padrão e personalizadas do sistema, portanto, desmarque as opções que não são relevantes para os ativos de dados que você está verificando.

   • Quando necessário, crie um conjunto de regras personalizadas para excluir rótulos de classificação indesejados. Por exemplo, o conjunto de regras do sistema contém padrões genéricos de código do governo para o planeta, não apenas para os Estados Unidos. Seus dados podem corresponder ao padrão de algum outro tipo, como "Número da Carteira de Habilitação da Bélgica".

   • Limite as regras de classificação personalizadas aos rótulos mais importantes e relevantes para evitar desordem. Você não quer ter muitos rótulos marcados para o ativo.

   • Se você modificar a classificação personalizada ou o conjunto de regras de verificação, uma verificação completa será acionada. Configure o conjunto de regras de classificação e verificação adequadamente para evitar retrabalho e verificações completas dispendiosas.

     Observação

     Ao verificar uma conta de armazenamento, o Microsoft Purview usa um conjunto de padrões definidos para determinar se um grupo de ativos forma um conjunto de recursos. Você pode usar regras de padrão de conjunto de recursos para personalizar ou substituir como o Microsoft Purview detecta quais ativos são agrupados como conjuntos de recursos. As regras também determinam como os ativos são exibidos no catálogo. Para obter mais informações, consulte Criar regras de padrão de conjunto de recursos. Esse recurso tem considerações de custo. Para obter informações, consulte o site de preços do Microsoft Purview.

3. Configure uma verificação para as fontes de dados registradas. - Nome da verificação: por padrão, o Microsoft Purview usa a convenção de nomenclatura SCAN-[A-Z][a-z][a-z], o que não é útil quando você está tentando identificar uma verificação executada. Use uma convenção de nomenclatura significativa. Por exemplo, você pode nomear a varredura environment-source-frequency-time como DEVODS-Daily-0200. Esse nome representa uma verificação diária às 0200 horas.

   • Autenticação: o Microsoft Purview oferece vários métodos de autenticação para verificar fontes de dados, dependendo do tipo de fonte. Pode ser a nuvem do Azure, fontes locais ou que não sejam da Microsoft. Siga o princípio de privilégios mínimos para o método de autenticação nesta ordem de preferência:

     • Microsoft Purview MSI - Identidade de Serviço Gerenciado (por exemplo, para fontes do Azure Data Lake Storage Gen2)
     • Identidade gerenciada atribuída ao usuário
     • Entidade de serviço
     • Autenticação SQL (por exemplo, para fontes SQL locais ou do SQL do Azure)
     • Chave de conta ou autenticação básica (por exemplo, para fontes SAP S/4HANA)

     Para obter mais informações, consulte o guia de instruções para gerenciar credenciais.

     Observação

     Se você habilitar um firewall para a conta de armazenamento, deverá usar o método de autenticação de identidade gerenciada ao configurar uma verificação. Quando você configura uma nova credencial, o nome da credencial só pode conter letras, números, sublinhados e hifens.

   • Runtime de integração

     • Para obter mais informações, consulte Práticas recomendadas de arquitetura de rede.
     • Se o SHIR (runtime de integração auto-hospedada) for excluído, todas as verificações em andamento que dependem dele falharão.
     • Ao usar o SHIR, verifique se a memória é suficiente para a fonte de dados que você está verificando. Por exemplo, ao usar o SHIR para verificar uma fonte SAP, se você vir "erro de memória insuficiente":
       • Certifique-se de que a máquina SHIR tenha memória suficiente. A quantidade recomendada é de 128 GB.
       • Na configuração de verificação, defina a memória máxima disponível como um valor apropriado, por exemplo, 100.
       • Para obter mais informações, consulte os pré-requisitos em Verificar e gerenciar o SAP ECC Microsoft Purview.

   • Varredura de escopo

     • Ao configurar o escopo da verificação, selecione apenas os ativos relevantes em um nível granular ou pai. Essa prática garante que o custo da verificação seja ideal e o desempenho seja eficiente. Todos os ativos futuros sob um determinado pai são selecionados automaticamente se o pai for total ou parcialmente verificado.
     • Alguns exemplos para algumas fontes de dados:
       • Para o Banco de Dados SQL do Azure ou o Data Lake Storage Gen2, você pode definir o escopo de sua verificação para partes específicas da fonte de dados. Selecione os itens apropriados na lista, como pastas, subpastas, coleções ou esquemas.
       • Para fontes Oracle, Hive Metastore Database e Teradata, você pode especificar uma lista específica de esquemas a serem exportados por meio de valores separados por ponto-e-vírgula ou padrões de nome de esquema.
       • Para o Google Big Query, você pode especificar uma lista específica de conjuntos de dados a serem exportados por meio de valores separados por ponto e vírgula.
       • Ao criar uma verificação para uma conta inteira da AWS, você pode selecionar buckets específicos para verificação. Ao criar uma verificação para um bucket específico do AWS S3, você pode selecionar pastas específicas para verificação.
       • Para o Erwin, você pode definir o escopo de sua varredura fornecendo uma lista separada por ponto e vírgula de cadeias de caracteres do localizador de modelo do Erwin.
       • Para o Cassandra, você pode especificar uma lista específica de espaços de chave a serem exportados por meio de valores separados por ponto e vírgula ou por meio de padrões de nome de espaços de chave.
       • Para o Looker, você pode definir o escopo de sua verificação fornecendo uma lista de projetos do Looker separados por ponto e vírgula.
       • Para o locatário do Power BI, você só pode especificar se deseja incluir ou excluir o espaço de trabalho pessoal.
     • Em geral, use padrões de ignoração onde há suporte, com base em curingas (por exemplo, para data lakes) para excluir temp, arquivos de configuração, tabelas do sistema RDBMS ou tabelas de backup ou STG.
     • Ao digitalizar documentos ou dados não estruturados, evite digitalizar um grande número desses documentos. A verificação processa os primeiros 20 MB desses documentos e pode resultar em uma duração de verificação mais longa.

   • Verificar conjunto de regras

     • Ao selecionar o conjunto de regras de verificação, certifique-se de configurar o sistema relevante ou o conjunto de regras de verificação personalizado que você criou anteriormente. - Você pode criar tipos de arquivo personalizados e preencher os detalhes de acordo. Atualmente, o Microsoft Purview dá suporte a apenas um caractere no Delimitador Personalizado. Se você usar delimitadores personalizados, como ~, em seus dados reais, precisará criar um novo conjunto de regras de verificação.

     

   • Tipo de verificação e agendamento

     • Você pode configurar o processo de verificação para executar verificações completas ou incrementais.
     • Execute as verificações fora do horário comercial ou fora de horário de pico para evitar qualquer sobrecarga de processamento na origem.
     • A verificação inicial é uma verificação completa, e cada verificação subsequente é incremental. Você pode agendar verificações subsequentes como verificações incrementais periódicas. Saiba mais sobre as opções de agendamento com suporte.
     • A frequência das verificações deve estar alinhada com a programação de gerenciamento de mudanças da fonte de dados ou requisitos de negócios. Por exemplo:
       • Se a estrutura de origem puder mudar semanalmente, a frequência de verificação deverá estar sincronizada. As alterações incluem novos ativos ou campos dentro de um ativo que são adicionados, modificados ou excluídos.
       • Se os rótulos de classificação ou confidencialidade precisarem ser atualizados semanalmente, talvez por motivos regulatórios, a frequência da verificação deverá ser semanal. - Se os arquivos de partição forem adicionados toda semana em um data lake de origem, você poderá agendar verificações mensais. Você não precisa agendar verificações semanais porque não há alteração nos metadados. Essa sugestão pressupõe que não haja novos cenários de classificação.
       • A duração máxima que a verificação pode executar é de sete dias, possivelmente devido a problemas de memória. Esse período exclui o processo de ingestão. Se o progresso não for atualizado após sete dias, a verificação será marcada como com falha. O processo de ingestão (no catálogo) atualmente não tem essa limitação.

   • Cancelando verificações

     • No momento, você só poderá cancelar ou pausar verificações se o status da verificação fizer a transição para o estado "Em andamento" de "Na fila" depois de acionar a verificação.
     • Não há suporte para o cancelamento de uma verificação infantil individual.

Pontos a ter em conta

• Se você remover um campo, coluna, tabela ou arquivo do sistema de origem após a execução de uma verificação, o Microsoft Purview mostrará apenas a remoção após a próxima verificação completa ou incremental agendada.
• Você pode excluir um ativo de um catálogo do Microsoft Purview selecionando Excluir sob o nome do ativo. Essa ação não remove o objeto na origem. Se você executar uma verificação completa na mesma origem, a verificação reinicializará o objeto no catálogo. Se você executar uma verificação incremental, o ativo excluído não será selecionado, a menos que o objeto seja modificado na origem. Por exemplo, se uma coluna for adicionada ou removida da tabela.
• Para entender o comportamento das verificações subsequentes após a edição manual de um ativo de dados ou um esquema subjacente por meio do portal de governança do Microsoft Purview clássico, confira detalhes do ativo do catálogo clássico.
• Para obter mais informações, consulte como exibir, editar e excluir ativos.

Próximas etapas

Gerenciar fontes de dados