Práticas recomendadas de implantação do Microsoft Purview (anteriormente Azure Purview)

Este artigo é um guia para implantar com êxito o Microsoft Purview (antigo Azure Purview) em produção em seu patrimônio de dados. Ela se destina a ajudá-lo a criar estratégias e fasear sua implantação, desde a pesquisa até a proteção do ambiente de produção, e é melhor usada em conjunto com nossa lista de verificação de implantação.

Se você estiver procurando um guia de implantação estritamente técnico, use a lista de verificação de implantação.

Se você estiver criando um plano para implantar o Microsoft Purview e quiser considerar as práticas recomendadas ao desenvolver sua estratégia de implantação, siga o artigo abaixo. Este guia descreve que as tarefas podem ser concluídas em fases ao longo de um mês ou mais para desenvolver seu processo de implantação para o Microsoft Purview. Até mesmo organizações que já implantaram o Microsoft Purview podem usar este guia para garantir que estejam aproveitando ao máximo seu investimento.

Uma implantação bem planejada de sua plataforma de governança pode trazer os seguintes benefícios:

• Melhor descoberta de dados
• Colaboração analítica aprimorada
• Retorno sobre o investimento maximizado

Este guia fornece informações sobre um ciclo de vida de implantação completo, desde o planejamento inicial até um ambiente adulto, seguindo estas etapas:

Muitos dos aplicativos e recursos do Microsoft Purview também têm suas próprias páginas individuais de práticas recomendadas. Eles são mencionados com frequência ao longo deste guia de implantação, mas você pode encontrar todos eles no sumário em Conceitos e, em seguida, Práticas recomendadas e diretrizes.

Identificar objetivos e metas

Muitas organizações iniciaram sua jornada de governança de dados desenvolvendo soluções individuais que atendem a requisitos específicos de grupos isolados e domínios de dados em toda a organização. Embora as experiências possam variar dependendo do setor, do produto e da cultura, a maioria das organizações tem dificuldade em manter controles e políticas consistentes para esses tipos de soluções.

Alguns dos objetivos comuns de governança de dados que você pode querer identificar nas fases iniciais para criar uma experiência abrangente de governança de dados incluem:

• Maximizar o valor comercial dos seus dados
• Possibilitando uma cultura de dados em que os consumidores de dados possam encontrar, interpretar e confiar nos dados com facilidade
• Aumentar a colaboração entre várias unidades de negócios para fornecer uma experiência de dados consistente
• Promover a inovação acelerando a análise de dados para aproveitar os benefícios da nuvem
• Redução do tempo de descoberta de dados por meio de opções de autoatendimento para vários grupos de habilidades
• Reduzindo o tempo de lançamento no mercado para a entrega de soluções de análise que melhoram o serviço aos seus clientes
• Reduzir os riscos operacionais devidos ao uso de ferramentas específicas de domínio e tecnologia sem suporte

A abordagem geral é dividir esses objetivos abrangentes em várias categorias e metas. Alguns exemplos:

Identificar cenários-chave

Os serviços de governança do Microsoft Purview podem ser usados para gerenciar centralmente a governança de dados no patrimônio de dados de uma organização, abrangendo ambientes locais e na nuvem. Para ter uma implementação bem-sucedida, você deve identificar os principais cenários que são críticos para os negócios. Esses cenários podem cruzar os limites da unidade de negócios ou afetar várias personas de usuário upstream ou downstream.

Esses cenários podem ser escritos de várias maneiras, mas você deve incluir pelo menos estas cinco dimensões:

1. Persona – Quem são os usuários?
2. Sistema de origem: quais são as fontes de dados, como o Azure Data Lake Storage Gen2 ou o Banco de Dados SQL do Azure?
3. Área de Impacto – Qual é a categoria deste cenário?
4. Cenários detalhados – Como os usuários usam o Microsoft Purview para resolver problemas?
5. Resultado esperado – Quais são os critérios de sucesso?

Os cenários devem ser específicos, acionáveis e executáveis com resultados mensuráveis. Alguns cenários de exemplo que você pode usar:

Pontos de integração com o Microsoft Purview

É provável que uma organização madura já tenha um catálogo de dados existente. A questão-chave é se deve continuar a usar a tecnologia existente e sincronizar com o Mapa de Dados do Microsoft Purview e o Catálogo de Dados ou não. Para lidar com a sincronização com produtos existentes em uma organização, o Microsoft Purview fornece APIs REST do Atlas. As APIs do Atlas fornecem um mecanismo poderoso e flexível que lida com cenários de push e pull. As informações podem ser publicadas no Microsoft Purview usando APIs do Atlas para inicialização ou para enviar as atualizações mais recentes de outro sistema para o Microsoft Purview. As informações disponíveis no Microsoft Purview também podem ser lidas usando APIs do Atlas e, em seguida, sincronizadas de volta com os produtos existentes.

Para outros cenários de integração, como emissão de tíquetes, interface de usuário personalizada e orquestração, você pode usar APIs do Atlas e pontos de extremidade do Kafka. Em geral, há quatro pontos de integração com o Microsoft Purview:

• Ativo de Dados – Isso permite que o Microsoft Purview verifique os ativos de uma loja para enumerar quais são esses ativos e coletar todos os metadados prontamente disponíveis sobre eles. Portanto, para SQL, pode ser uma lista de bancos de dados, tabelas, procedimentos armazenados, exibições e dados de configuração sobre eles mantidos em locais como sys.tables. Para algo como o ADF (Azure Data Factory), isso poderia enumerar todos os pipelines e obter dados sobre quando eles foram criados, última execução, estado atual.
• Linhagem – Isso permite que o Microsoft Purview colete informações de um sistema de análise/mutação de dados sobre como os dados estão se movendo. Para algo como o Spark, isso pode ser coletar informações da execução de um notebook para ver quais dados o notebook ingeriu, como ele os transformou e onde os produziu. Para algo como SQL, ele poderia analisar logs de consulta para fazer engenharia reversa de quais operações de mutação foram executadas e o que elas fizeram. Oferecemos suporte a linhagem baseada em push e pull, dependendo das necessidades.
• Classificação – Isso permite que a Microsoft Purview extraia amostras físicas de fontes de dados e as execute por meio de nosso sistema de classificação. O sistema de classificação descobre a semântica de um dado. Por exemplo, podemos saber que um arquivo é um arquivo Parquet e tem três colunas e a terceira é uma cadeia de caracteres. Mas os classificadores que executamos nos exemplos nos dirão que a cadeia de caracteres é um nome, endereço ou número de telefone. Iluminar esse ponto de integração significa que definimos como o Microsoft Purview pode abrir objetos como notebooks, pipelines, arquivos parquet, tabelas e contêineres.
• Experiência incorporada – Os produtos que têm uma experiência semelhante a um "estúdio" (como ADF, Synapse, SQL Studio, PBI e Dynamics) geralmente desejam permitir que os usuários descubram dados com os quais desejam interagir e também encontrem locais para gerar dados. O catálogo do Microsoft Purview pode ajudar a acelerar essas experiências, fornecendo uma experiência de incorporação. Essa experiência pode ocorrer no nível da API ou da experiência do usuário, a critério do parceiro. Ao incorporar uma chamada ao Microsoft Purview, a organização pode aproveitar o mapa do patrimônio de dados do Microsoft Purview para localizar ativos de dados, ver linhagem, marcar esquemas, examinar classificações, contatos etc.

Reunir perguntas

Depois que sua organização concordar com os objetivos e metas de alto nível, haverá muitas perguntas de vários grupos. É crucial reunir essas perguntas para elaborar um plano para abordar todas as preocupações. Certifique-se de incluir grupos relevantes ao reunir essas perguntas. Você pode usar nossa documentação para começar a respondê-las.

Alguns exemplos de perguntas que você pode encontrar durante a fase inicial:

• Quais são as principais fontes de dados e sistemas de dados em nossa organização?
• Quais fontes de dados têm suporte?
• Para fontes de dados que ainda não têm suporte no Microsoft Purview, quais são minhas opções?
• Como devemos fazer um orçamento para o Microsoft Purview?
• Quem usará o Microsoft Purview e quais funções eles terão?
• Quem pode verificar novas fontes de dados?
• Quem pode modificar o conteúdo dentro do Microsoft Purview?
• Quais processos posso usar para melhorar a qualidade dos dados no Microsoft Purview?
• Como inicializar a plataforma com ativos críticos, termos do glossário e contatos existentes?
• Como podemos proteger o Microsoft Purview?
• Como podemos coletar feedback e construir um processo sustentável?
• O que podemos fazer em uma situação de desastre?
• Já estamos usando Azure Catálogo de Dados, podemos migrar para o Microsoft Purview?

Mesmo que você não tenha a resposta para a maioria dessas perguntas imediatamente, reunir perguntas pode ajudar sua organização a estruturar este projeto e garantir que todos os requisitos "obrigatórios" possam ser atendidos.

Incluir os stakeholders certos

Para garantir o sucesso da implementação do Microsoft Purview para toda a sua organização, é importante envolver os stakeholders certos. Apenas algumas pessoas estão envolvidas na fase inicial. No entanto, à medida que o escopo se expande, você precisará de mais personas para contribuir com o projeto e fornecer comentários.

Alguns dos principais stakeholders que você pode querer incluir:

Criar um processo para mover para a produção

Abaixo, fornecemos um possível plano de implantação de quatro fases que inclui tarefas, links úteis e critérios de aceitação para cada fase:

1. Fase 1: Piloto
2. Fase 2: Produto mínimo viável
3. Fase 3: Pré-produção
4. Fase 4: Produção

Fase 1: Piloto

Nessa fase, o Microsoft Purview deve ser criado e configurado para um pequeno conjunto de usuários. Normalmente, é apenas um grupo de 2 a 3 pessoas trabalhando juntas para executar cenários de ponta a ponta. Eles são considerados os defensores do Microsoft Purview em sua organização. O principal objetivo desta fase é garantir que as principais funcionalidades possam ser atendidas e que as partes interessadas certas estejam cientes do projeto.

Tarefas a serem concluídas

Outros links úteis

• Criar uma conta do Microsoft Purview
• Criar um conjunto
• Conceito: permissões e acesso
• Glossário de produtos do Microsoft Purview

Critérios de aceitação

• A conta do Microsoft Purview foi criada com êxito na assinatura da organização no locatário da organização.
• Um pequeno grupo de usuários com várias funções pode acessar o Microsoft Purview.
• O Microsoft Purview está configurado para verificar pelo menos uma fonte de dados.
• Os usuários devem ser capazes de extrair valores de chave do Microsoft Purview, como:
  • Pesquisar e navegar
  • Linhagem
• Os usuários devem ser capazes de atribuir a propriedade do ativo na página de ativos.
• Apresentação e demonstração para sensibilizar os principais stakeholders.
• Adesão da gerência para aprovar mais recursos para a fase de MVP.

Fase 2: Produto mínimo viável

Depois de ter os requisitos acordados e as unidades de negócios participantes para integrar o Microsoft Purview, a próxima etapa é trabalhar em uma versão de Produto Mínimo Viável (MVP). Nessa fase, você expandirá o uso do Microsoft Purview para mais usuários que terão mais necessidades horizontal e verticalmente. Haverá cenários-chave que devem ser atendidos horizontalmente para todos os usuários, como termos do glossário, pesquisa e procura. Também haverá requisitos detalhados verticalmente para cada unidade de negócios ou grupo para cobrir cenários específicos de ponta a ponta, como linhagem do Azure Data Lake Storage para o Azure Synapse DW e o Power BI.

Tarefas a serem concluídas

Outros links úteis

• Boas práticas de arquitetura de coleções
• Boas práticas de classificação
• Boas práticas de etiquetagem

Critérios de aceitação

• Integrar com sucesso um grupo maior de usuários ao Microsoft Purview (50+)
• Verificar fontes de dados críticas para os negócios
• Importar e atribuir todos os termos críticos do glossário
• Teste com sucesso a rotulagem importante em ativos principais
• Cenários mínimos atendidos com êxito para usuários de unidades de negócios participantes

Fase 3: Pré-produção

Após a fase de MVP, é hora de planejar o marco de pré-produção. Convém incluir a verificação em fontes de dados locais, como o SQL Server. Se houver alguma lacuna nas fontes de dados sem suporte do Microsoft Purview, é hora de explorar a API Atlas para entender outras opções.

Tarefas a serem concluídas

Outros links úteis

• Boas práticas de etiquetagem
• Boas práticas de arquitetura de rede

Critérios de aceitação

• Integrar com êxito pelo menos uma unidade de negócios com todos os usuários
• Verificar fonte de dados local, como o SQL Server
• POC pelo menos um cenário de integração usando a API REST
• Conclua um plano para ir para a produção, que deve incluir áreas-chave sobre infraestrutura e segurança

Fase 4: Produção

As fases acima devem ser seguidas para criar um gerenciamento eficaz do ciclo de vida dos dados, que é a base para melhores programas de governança. A governança de dados ajudará sua organização a se preparar para as tendências crescentes, como IA, Hadoop, IoT e blockchain. É apenas o começo para muitas coisas dados e análises, e há muito mais que pode ser discutido. O resultado desta solução proporcionaria:

• Focada nos negócios - Uma solução alinhada aos requisitos e cenários de negócios acima dos requisitos técnicos.
• Pronto para o futuro - Uma solução maximizará os recursos padrão da plataforma e usará práticas padronizadas do setor para atividades de configuração ou script para dar suporte aos avanços/evolução da plataforma.

Tarefas a serem concluídas

Outros links úteis

• Gerenciar execuções de fluxos de trabalho
• Solicitações e aprovações de fluxo de trabalho
• Gerenciar runtimes de integração
• Solicitar acesso a um ativo de dados

Critérios de aceitação

• Integração bem-sucedida de todas as unidades de negócios e seus usuários
• Atenda com sucesso aos requisitos de infraestrutura e segurança para produção
• Atenda com sucesso a todos os casos de uso exigidos pelos usuários

Proteção de plataforma

Mais medidas de endurecimento podem ser tomadas:

• Aumente a postura de segurança habilitando a verificação em recursos de firewall ou use o Link Privado
• Ajuste fino da varredura de escopo para melhorar o desempenho da varredura
• Usar APIs REST para exportar metadados e propriedades essenciais para backup e recuperação
• Use o fluxo de trabalho para automatizar a venda de ingressos e eventos para evitar erros humanos
• Use políticas para gerenciar o acesso a ativos de dados por meio do portal de governança do Microsoft Purview.

Considerações sobre o ciclo de vida

Outro aspecto importante a ser incluído em seu processo de produção é como as classificações e rótulos podem ser migrados. O Microsoft Purview tem mais de 90 classificadores de sistema. Você pode aplicar classificações de sistema ou personalizadas em ativos de arquivo, tabela ou coluna. As classificações são como marcas de assunto e são usadas para marcar e identificar o conteúdo de um tipo específico encontrado em seu acervo de dados durante a verificação. Os rótulos de confidencialidade são usados para identificar as categorias de tipos de classificação em seus dados organizacionais e, em seguida, agrupar as políticas que você deseja aplicar a cada categoria. Ele usa os mesmos tipos de informações confidenciais do Microsoft 365, permitindo que você amplie suas políticas de segurança e proteção existentes em todo o seu conteúdo e propriedade de dados. Ele pode digitalizar e classificar documentos automaticamente. Por exemplo, se você tiver um arquivo chamado multiple.docx e ele tiver um número de identificação nacional em seu conteúdo, o Microsoft Purview adicionará a classificação, como Número de Identificação Nacional da UE, na página Detalhes do Ativo.

No Mapa de Dados do Microsoft Purview, há várias áreas em que os Administradores de Catálogo precisam garantir consistência e práticas recomendadas de manutenção ao longo de seu ciclo de vida:

• Ativos de dados – As fontes de dados precisarão ser verificadas novamente entre ambientes. Não é recomendável verificar somente em desenvolvimento e depois regenerá-los usando APIs em Produção. O principal motivo é que os scanners do Microsoft Purview fazem muito mais "fiação" nos bastidores dos ativos de dados, o que pode ser complexo para movê-los para uma instância diferente do Microsoft Purview. É muito mais fácil adicionar a mesma fonte de dados na produção e verificar as fontes novamente. A prática recomendada geral é ter documentação de todas as verificações, conexões e mecanismos de autenticação que estão sendo usados.
• Conjuntos de regras de varredura – Esta é sua coleção de regras atribuídas a varreduras específicas, como tipo de arquivo e classificações a serem detectadas. Se você não tiver tantos conjuntos de regras de verificação, é possível simplesmente recriá-los manualmente novamente por meio da Produção. Isso exigirá um processo interno e uma boa documentação. No entanto, se seus conjuntos de regras mudarem diariamente ou semanalmente, isso poderá ser resolvido explorando a rota da API REST.
• Classificações personalizadas – Suas classificações também podem não mudar regularmente. Durante a fase inicial de implantação, pode levar algum tempo para entender vários requisitos para criar classificações personalizadas. No entanto, uma vez resolvido, isso exigirá poucas mudanças. Portanto, a recomendação aqui é migrar manualmente todas as classificações personalizadas ou usar a API REST.
• Glossário – É possível exportar e importar termos do glossário por meio do UX. Para cenários de automação, você também pode usar a API REST.
• Políticas de padrão de conjunto de recursos – essa funcionalidade é avançada para qualquer organização típica aplicar. Em alguns casos, seu Azure Data Lake Storage possui convenções de nomenclatura de pastas e estrutura específica que podem causar problemas para o Microsoft Purview gerar o conjunto de recursos. Sua unidade de negócios também pode querer alterar a construção do conjunto de recursos com mais personalizações para atender às necessidades de negócios. Para esse cenário, é melhor acompanhar todas as alterações por meio da API REST e documentar as alterações por meio da plataforma de controle de versão externa.
• Atribuição de função – é aqui que você controla quem tem acesso ao Microsoft Purview e quais permissões eles têm. O Microsoft Purview também tem a API REST para dar suporte à exportação e importação de usuários e funções, mas isso não é compatível com a API do Atlas. A recomendação é atribuir um Grupo de Segurança do Azure e gerenciar a associação ao grupo.

Movendo locatários

No momento, não há suporte para movimentação de locatários no Microsoft Purview.

Movendo assinaturas

É possível mover sua conta do Microsoft Purview entre assinaturas. No entanto, se sua conta foi criada antes de 15 de dezembro de 2023 (ou implantada usando uma versão de API anterior à visualização de 05/01/2023) ou estiver usando Hubs de Eventos gerenciados, a conta de armazenamento gerenciada e os Hubs de Eventos gerenciados associados à sua conta do Microsoft Purview não migrarão com sua instância. Sua conta do Microsoft Purview ainda poderá funcionar, mas você não deve remover esses recursos.

Se precisar remover os recursos gerenciados da outra assinatura, você precisará criar uma nova conta do Microsoft Purview e migrar suas informações para essa nova conta, antes de remover o original e seus recursos gerenciados.

Próximas etapas

• Práticas recomendadas de coleções
• Navegar na página inicial e pesquisar um ativo