Preços do Mapa de Dados do Microsoft Purview

Este guia aborda as diretrizes de preços do Mapa de Dados do Microsoft Purview no portal de governança clássico do Microsoft Purview.

Para obter detalhes completos da diretriz de preços do Microsoft Purview (anteriormente Azure Purview), consulte a visão geral das diretrizes de preços.

Para obter detalhes de preço específicos, consulte a página de preços do Microsoft Purview (anteriormente Azure Purview). Este artigo guiará você pelos recursos e fatores que afetarão os preços do Data Map.

Os custos diretos que afetam os preços do Data Map são baseados nas três dimensões a seguir:

Mapa de Dados Elástico

  • O Mapa de Dados é a base da arquitetura do portal de governança do Microsoft Purview e, portanto, precisa estar atualizado com as informações de ativos no patrimônio de dados a qualquer momento.

  • O mapa de dados é cobrado em termos de Unidade de Capacidade (). O mapa de dados será provisionado em uma se o catálogo estiver armazenando até 10 GB de armazenamento de metadados e atender a até 25 operações de mapa de dados/s.

  • O mapa de dados é sempre provisionado em uma quando uma conta é criada pela primeira vez.

  • No entanto, o mapa de dados é dimensionado automaticamente entre os limites mínimo e máximo dessa janela de elasticidade, para atender às alterações no mapa de dados em relação a dois fatores principais - taxa de transferência de operação e armazenamento de metadados.

Taxa de transferência de operação

  • Um fator orientado a eventos com base nas operações Criar, Ler, Atualizar e Excluir realizadas no mapa de dados
  • Alguns exemplos das operações do mapa de dados seriam:
    • Criando um ativo no Mapa de Dados
    • Adicionando um relacionamento a um ativo, como proprietário, administrador, pai, linhagem
    • Editar um ativo para adicionar metadados de negócios, como descrição, termo do glossário
    • Pesquisa por palavra-chave retornando resultados para a página de resultados da pesquisa
    • Importando ou exportando informações usando a API
  • Se houver várias consultas executadas no Mapa de Dados, o número de operações de E/S também aumentará, resultando na expansão do mapa de dados
  • O número de usuários simultâneos também forma um fator que rege a unidade de capacidade do mapa de dados
  • Outros fatores a serem considerados são o tipo de consulta de pesquisa, interação da API, fluxos de trabalho, aprovações e assim por diante
  • Nível de intermitência de dados
    • Quando há necessidade de mais operações/segunda taxa de transferência, o mapa de dados pode ser dimensionado automaticamente dentro da janela de elasticidade para atender à carga alterada
    • Isso constitui a característica de intermitência que precisa ser estimada e planejada
    • A característica de disparo compreende o nível de disparo e a duração do disparo de disparo para o qual existe o disparo de disparo
      • O nível de ruptura é um índice multiplicativo da elasticidade consistente esperada em estado estacionário
      • A duração da intermitência é a porcentagem do mês em que essas intermitências (em elasticidade) são esperadas devido ao aumento de metadados ou ao maior número de operações no mapa de dados

Armazenamento de metadados

  • Se o número de ativos reduzir no acervo de dados e, em seguida, forem removidos do mapa de dados por meio de varreduras incrementais subsequentes, o componente de armazenamento será reduzido automaticamente e, portanto, o mapa de dados será reduzido verticalmente

Verificação, classificação e ingestão automatizadas

Há dois processos automatizados principais que podem disparar a ingestão de metadados no Mapa de Dados do Microsoft Purview:

  • Verificações automáticas usando conectores nativos. Esse processo inclui três etapas principais:

    • Verificação de metadados
    • Classificação automática
    • Ingestão de metadados no Mapa de Dados do Microsoft Purview

  • Ingestão automatizada usando pipelines do Azure Data Factory e/ou do Azure Synapse. Esse processo inclui:

    • Ingestão de metadados e linhagem no Mapa de Dados do Microsoft Purview se a conta estiver conectada a qualquer pipeline do Azure Data Factory ou do Azure Synapse.

Verificações automáticas usando conectores nativos

  • Uma varredura completa processa todos os ativos dentro de um escopo selecionado de uma fonte de dados, enquanto uma varredura incremental detecta e processa ativos que foram criados, modificados ou excluídos desde a varredura bem-sucedida anterior

  • Todas as verificações (verificações completas ou incrementais) selecionarão ativos atualizados, modificados ou excluídos

  • É importante considerar e evitar cenários em que várias pessoas ou grupos pertencentes a departamentos diferentes configuram verificações para a mesma fonte de dados, resultando em mais preços para verificação duplicada

  • Agende verificações incrementais frequentes após a verificação completa inicial alinhada com as alterações no acervo de dados. Isso garantirá que o mapa de dados seja mantido sempre atualizado e que as verificações incrementais consumam menos horas de núcleo virtual em comparação com uma verificação completa

  • O link "Exibir Detalhes" de uma fonte de dados permitirá que os usuários executem uma verificação completa. No entanto, considere executar verificações incrementais após uma verificação completa para verificação otimizada, exceto quando houver uma alteração no conjunto de regras de verificação (classificações/tipos de arquivo)

  • Registre a fonte de dados em uma coleção pai e faça varreduras de escopo na coleção filho com diferentes controles de acesso para garantir que não haja custos de digitalização duplicados

  • Restringir os usuários que têm permissão para registrar fontes de dados para verificação por meio de controle de acesso refinado e função de Administrador de Fonte de Dados usando a Autorização de Coleção. Isso garantirá que apenas fontes de dados válidas possam ser registradas e que as horas de v-core de varredura sejam controladas, resultando em custos mais baixos de varredura

  • Considere que o tipo de fonte de dados e o número de ativos que estão sendo verificados afetam a duração do escaneamento

  • Crie conjuntos de regras de varredura personalizados para incluir apenas o subconjunto de tipos de arquivo disponíveis em seu acervo de dados e classificações relevantes para seus requisitos de negócios para garantir o uso ideal dos scanners

  • Ao criar uma nova verificação para uma fonte de dados, siga a ordem de preparação recomendada antes de executar a verificação. Isso inclui reunir os requisitos para classificações e tipos de arquivoespecíficos de negócios (para contas de armazenamento) para permitir que conjuntos de regras de verificação apropriados sejam definidos para evitar várias verificações e controlar custos desnecessários para várias verificações por meio de requisitos perdidos

  • Alinhe seus agendamentos de verificação com o tamanho das VMs (Máquinas Virtuais) do Self-Hosted Integration Runtime (SHIR) para evitar custos extras vinculados às máquinas virtuais

Ingestão automatizada usando pipelines do Azure Data Factory e/ou do Azure Synapse

  • Os metadados e a linhagem são ingeridos dos pipelines do Azure Data Factory ou do Azure Synapse sempre que os pipelines são executados no sistema de origem.

Conjuntos de recursos avançados

  • O Mapa de Dados do Microsoft Purview usa conjuntos de recursos para enfrentar o desafio de mapear um grande número de ativos de dados para um único recurso lógico, fornecendo a capacidade de verificar todos os arquivos no data lake e encontrar padrões (GUID, padrões de localização etc.) para agrupá-los como um único ativo no mapa de dados

  • O Conjunto de Recursos Avançado é um recurso opcional que permite que os clientes obtenham informações enriquecidas do conjunto de recursos calculadas, como Tamanho Total, Contagem de Partições etc., e permite a personalização do agrupamento do conjunto de recursos por meio de regras de padrão. Se o recurso Conjunto de Recursos Avançado não estiver habilitado, o Catálogo unificado ainda conterá ativos do conjunto de recursos, mas sem as propriedades agregadas. Não haverá medidor de "Conjunto de Recursos" cobrado do cliente nesse caso.

  • Use o recurso conjunto de recursos básico, antes de ativar os Conjuntos de Recursos Avançados no Mapa de Dados do Microsoft Purview para verificar se os requisitos são atendidos

  • Considere ativar os Conjuntos de Recursos Avançados se:

    • Seu esquema de data lakes está mudando constantemente e você está procurando mais valor além do recurso básico Conjunto de Recursos para permitir que o Mapa de Dados do Microsoft Purview calcule parâmetros como #partitions, tamanho do acervo de dados, etc., como um serviço
    • É necessário personalizar como os ativos do conjunto de recursos são agrupados.

  • É importante observar que a cobrança para Conjuntos de Recursos Avançados é baseada na computação usada pela camada offline para agregar informações do conjunto de recursos e depende do tamanho/número de conjuntos de recursos em seu catálogo

Próximas etapas

  • Last updated on