Integração do Microsoft Purview e Profisee para gerenciamento de dados master

Os sistemas corporativos podem ter várias fontes de dados master - os dados comuns que são compartilhados entre sistemas. Esse fato pode se tornar aparente quando você cataloga fontes de dados. Exemplos de dados master incluem dados de cliente, produto, localização, ativo e fornecedor. Ao usar o Profisee para mesclar, validar e corrigir seus dados master, você pode tornar esses dados eficazes. Especificamente, você pode usá-lo para criar uma plataforma confiável comum para análise e melhoria operacional. Usando as definições de governança, os insights e a experiência detalhados no Microsoft Purview, você pode criar sua plataforma com eficiência.

Essa arquitetura de referência apresenta uma solução de governança e gerenciamento de dados que apresenta o Microsoft Purview e a plataforma de gerenciamento de dados master (MDM) Profisee. Esses serviços trabalham juntos para fornecer uma base de dados confiáveis e de alta qualidade que maximizam o valor comercial dos dados no Azure. Para ver um breve vídeo sobre essa solução, confira O poder do gerenciamento de dados master data totalmente integrado no Azure.

Arquitetura

O diagrama a seguir mostra as etapas que você executa ao desenvolver e operar sua solução de dados master. Pense nessas etapas como altamente iterativas. À medida que sua solução evolui, você pode repetir essas etapas e fases, às vezes automaticamente e às vezes manualmente. O uso de etapas automáticas ou manuais depende das alterações que a solução de dados master, os metadados e os dados sofrem.

Fluxo de Dados

Os metadados e o fluxo de dados incluem estas etapas, que são mostradas na figura anterior:

1. Conectores pré-construídos do Microsoft Purview são usados para criar um Catálogo unificado a partir de aplicativos de negócios de origem. Os conectores verificam as fontes de dados e preenchem o Catálogo unificado.

2. O modelo de dados master é publicado no Microsoft Purview. As entidades de dados mestres criadas no Profisee MDM são publicadas diretamente no Microsoft Purview. Essa etapa preenche ainda mais o Catálogo unificado e garante que haja um registro dessa fonte crítica de dados no Microsoft Purview.

3. Os padrões e políticas de governança para administração de dados são usados para enriquecer master definições de entidade de dados. Os dados são enriquecidos no Microsoft Purview com informações de dicionário e glossário de dados, dados de propriedade e classificações de dados confidenciais. Todas as definições e metadados disponíveis no Microsoft Purview são visíveis em tempo real no Profisee como orientação para os administradores de dados MDM.

4. Os dados mestre dos sistemas de origem são carregados no Profisee MDM. Um conjunto de ferramentas de integração de dados como o Azure Data Factory extrai dados dos sistemas de origem usando qualquer um dos mais de 100 conectores predefinidos ou um gateway REST. Vários fluxos de dados master são carregados no Profisee MDM.

5. Os dados master são padronizados, correspondidos, mesclados, enriquecidos e validados de acordo com as regras de governança. Outros sistemas, como o Microsoft Purview, podem definir regras de governança e qualidade de dados. Mas o Profisee MDM é o sistema que aplica essas regras. Os registros de origem são combinados e mesclados dentro e entre os sistemas de origem para criar o registro mais completo e correto possível. As regras de qualidade de dados marcam cada registro quanto à conformidade com os requisitos técnicos e de negócios. Qualquer registro que falhe na validação ou que retorne uma pontuação de baixa probabilidade está sujeito a correção. Para corrigir validações com falha, um processo de fluxo de trabalho atribui registros que exigem revisão a administradores de dados que são especialistas em seu domínio de dados de negócios. Depois que um registro for verificado ou corrigido, ele estará pronto para ser usado como um Golden Record master.

6. Os dados transacionais são carregados em uma solução de análise downstream. Um conjunto de ferramentas de integração de dados como o Data Factory extrai dados transacionais de sistemas de origem usando qualquer um dos mais de 100 conectores predefinidos ou um gateway REST. O conjunto de ferramentas carrega os dados diretamente em uma plataforma de dados de análise, como o Azure Synapse Analytics. A análise dessas informações brutas sem os dados dourados master adequados está sujeita a imprecisão, pois sobreposições de dados, incompatibilidades e conflitos ainda não foram resolvidos.

7. Os conectores do Power BI fornecem acesso direto aos dados master coletados. Os usuários do Power BI podem usar os dados master diretamente nos relatórios. Um conector do Power BI dedicado reconhece e impõe a segurança baseada em função. Ele também oculta vários campos do sistema para simplificar o uso.

8. Dados de master coletados e de alta qualidade são publicados em uma solução de análise downstream. Se master registros de dados tiverem sido mesclados em um único registro dourado, os links pai-filho para os registros originais serão preservados.

9. A plataforma de análise tem um conjunto de dados certificados no sentido de que são completos, consistentes e precisos. Esses dados incluem dados master devidamente coletados e dados transacionais associados. Essa combinação forma uma base sólida de dados confiáveis que estão disponíveis para análise posterior.

10. Os dados master de alta qualidade são visualizados e analisados e os modelos de aprendizado de máquina são aplicados. O sistema fornece insights sólidos para impulsionar os negócios.

Componentes

• O Microsoft Purview é uma solução de governança de dados que fornece ampla visibilidade de propriedades de dados locais e na nuvem. O Microsoft Purview oferece uma combinação de descoberta e classificação de dados, linhagem, pesquisa e descoberta de metadados e insights de uso. Todos esses recursos ajudam você a gerenciar e entender os dados em todo o seu cenário de dados corporativo.

• O Profisee MDM é uma plataforma MDM rápida e intuitiva que se integra perfeitamente às tecnologias da Microsoft e ao ecossistema de gerenciamento de dados do Azure.

• O Data Factory é um serviço híbrido de integração de dados. Você pode usar o Data Factory para criar, agendar e orquestrar fluxos de trabalho de extração, transformação e carregamento (ETL) e extração, carregamento e transformação (ELT). O Data Factory também oferece mais de 100 conectores predefinidos e um gateway REST que você pode usar para extrair dados de sistemas de origem.

• O Azure Synapse Analytics é um data warehouse de nuvem rápido, flexível e confiável que usa uma arquitetura de processamento paralelo massiva. Você pode usar o Azure Synapse Analytics para dimensionar, calcular e armazenar dados de forma elástica e independente.

• O Power BI é um conjunto de ferramentas de análise de negócios que fornece insights em toda a sua organização. Você pode usar o Power BI para se conectar a centenas de fontes de dados, simplificar a preparação de dados e conduzir análises improvisadas. Você também pode produzir belos relatórios e publicá-los para sua organização consumir na web e em dispositivos móveis.

Alternativas

Se você não tiver um aplicativo MDM dedicado, poderá encontrar alguns dos recursos técnicos necessários para criar uma solução MDM no Azure:

• Qualidade dos dados. Ao carregar dados em uma plataforma de análise, você pode criar qualidade de dados em processos de integração. Por exemplo, você pode usar scripts embutidos em código para aplicar transformações de qualidade de dados em um pipeline do Data Factory .
• Padronização e enriquecimento de dados. O Azure Mapas pode fornecer verificação e padronização de dados para dados de endereço. Você pode usar os dados padronizados no Azure Functions e no Data Factory. Para padronizar outros dados, talvez seja necessário desenvolver scripts embutidos em código.
• Gerenciamento de dados duplicados. Você poderá usar o Data Factory para eliminar a duplicação de linhas se identificadores suficientes estiverem disponíveis para uma correspondência exata. Você provavelmente precisará de scripts embutidos em código personalizados para implementar a lógica necessária para mesclar as linhas correspondentes e, ao mesmo tempo, aplicar técnicas apropriadas de sobrevivência de dados.
• Administração de dados. Você pode usar o Power Apps para desenvolver rapidamente soluções básicas de administração de dados para gerenciar dados no Azure. Você também pode desenvolver interfaces de usuário apropriadas para revisões, fluxos de trabalho, alertas e validações.

Em ambientes centrados na Microsoft, o Azure Synapse Analytics é preferencial como um serviço de análise. Mas você pode usar qualquer banco de dados de análise. Snowflake e Databricks são escolhas comuns.

Dados do cenário

À medida que a quantidade de dados que você carrega no Azure aumenta, a necessidade de controlar e gerenciar adequadamente esses dados em todas as suas fontes de dados e consumidores de dados cresce. Os dados que parecem adequados no sistema de origem geralmente são deficientes quando são compartilhados. Pode haver informações ausentes ou incompletas, ou duplicações e conflitos. Sua qualidade geral pode ser ruim. O que é necessário são dados completos, consistentes e precisos.

Sem dados de alta qualidade em sua propriedade de dados do Azure, o valor comercial do Azure é prejudicado, talvez criticamente. A solução é construir uma base para governança e gerenciamento de dados que possa produzir e fornecer uma fonte de verdade para dados confiáveis e de alta qualidade. O Microsoft Purview e o Profisee MDM trabalham juntos para formar essa plataforma corporativa.

O Microsoft Purview cataloga todas as suas fontes de dados e identifica todas as informações confidenciais e linhagem. Ele fornece ao arquiteto de dados um local para considerar os padrões de dados apropriados a serem impostos a todos os dados. O Microsoft Purview se concentra na governança para encontrar, classificar e definir políticas e padrões. As tarefas de aplicação de políticas e padrões, catalogação de fontes de dados e correção de dados deficientes recaem sobre tecnologias como sistemas MDM.

O Profisee MDM foi projetado para aceitar dados master de qualquer fonte. O Profisee MDM então corresponde, mescla, padroniza, verifica, corrige e sincroniza os dados entre os sistemas. Esse processo garante que os dados possam ser integrados adequadamente e que atendam às necessidades de sistemas downstream, como BI (business intelligence) e aplicativos de aprendizado de máquina. A plataforma integrativa Profisee aplica padrões de governança em vários silos de dados.

Melhor junto

O Microsoft Purview e o Profisee MDM funcionam melhor juntos. Quando integrados, eles simplificam as tarefas de gerenciamento de dados e garantem que todos os sistemas funcionem para impor os mesmos padrões. O Profisee MDM publica seu modelo de dados master no Microsoft Purview, onde pode participar da governança. Em seguida, o Microsoft Purview compartilha o resultado da governança, como um Catálogo unificado e informações de glossário. O Profisee pode revisar o resultado e impor padrões. Trabalhando em conjunto, o Microsoft Purview e o Profisee criam uma sinergia natural e melhor em conjunto que é mais profunda do que cada oferta independente.

Por exemplo, depois de catalogar fontes de dados corporativas, você pode determinar que master dados estão presentes em vários sistemas. Dados mestres são os dados que definem uma entidade de domínio. Exemplos de dados master incluem dados de cliente, produto, ativo, local, fornecedor, paciente, família, item de menu e ingrediente. Resolver definições diferentes e combinar e mesclar esses dados entre os sistemas é fundamental para a capacidade de usar esses dados de maneira significativa. Para ser eficaz, você deve mesclar, validar e corrigir os dados master no Profisee MDM usando definições de governança, insights e conhecimentos detalhados no Microsoft Purview. Dessa forma, o Microsoft Purview e o Profisee MDM formam uma base para governança e gerenciamento de dados e maximizam o valor comercial dos dados no Azure.

A alternativa é usar todas as informações que você puder obter. Mas quando você adota essa abordagem, corre o risco de gerar resultados enganosos que podem prejudicar seus negócios. Ao usar dados master de alta qualidade, você elimina problemas comuns de qualidade de dados. Em seguida, seu sistema fornece insights sólidos que você pode usar para impulsionar seus negócios, independentemente de quais ferramentas você usa para análise, aprendizado de máquina e visualização. Dados master bem coletados são um aspecto fundamental da construção de uma base de dados sólida e confiável.

Ao usar o Profisee MDM com o Microsoft Purview, você obtém os seguintes benefícios:

• Uma base técnica comum. O Profisee foi originado nas tecnologias da Microsoft. O Profisee e a Microsoft usam ferramentas, bancos de dados e infraestrutura comuns, o que torna a solução Profisee familiar para qualquer pessoa que trabalhe com tecnologias Microsoft. Na verdade, por muitos anos, o Profisee MDM foi desenvolvido no Microsoft Master Data Services. Agora, o Master Data Services está chegando ao fim de seu ciclo de vida, e o Profisee é a principal solução de atualização e substituição.
• Colaboração de desenvolvedores e desenvolvimento conjunto. Os desenvolvedores do Profisee e do Microsoft Purview colaboram amplamente para garantir um ajuste bom e complementar entre suas respectivas soluções. Essa colaboração oferece uma integração perfeita que atende às necessidades do cliente.
• Vendas e implantações conjuntas. O Profisee tem mais implantações de MDM no Azure e em conjunto com o Microsoft Purview do que qualquer outro fornecedor de MDM. Você pode comprar o Profisee por meio do Azure Marketplace. No ano fiscal de 2023, a Profisee é o único fornecedor de MDM com uma certificação de parceiro da Microsoft de primeira linha que possui uma oferta de infraestrutura como serviço (IaaS), contêineres como serviço (CaaS) ou software como serviço (SaaS) no Azure Marketplace.
• Implantação rápida e confiável. Um recurso crítico de todo software corporativo é a implantação rápida e confiável. De acordo com a plataforma Gartner Peer Insights , o Profisee tem mais implementações que levam menos de 90 dias para serem concluídas do que qualquer outro fornecedor de MDM.
• Vários domínios. O Profisee oferece uma abordagem ao MDM que usa inerentemente vários domínios. Não há limitações quanto ao número de domínios de dados master que você pode criar. Esse design se alinha bem com clientes que planejam modernizar seus acervos de dados. Um cliente pode começar com um número limitado de domínios, mas, em última análise, ele se beneficia da maximização de sua cobertura de domínio em todo o seu acervo de dados. Essa cobertura de domínio corresponde à cobertura de governança de dados.
• Engenharia projetada para o Azure. O Profisee foi projetado para ser nativo da nuvem, com opções para implantações de SaaS e IaaS ou CaaS gerenciadas no Azure.

Possíveis casos de uso

Para obter uma lista detalhada de casos de uso de MDM dessa solução, consulte Casos de uso de MDM mais adiante neste artigo. Os principais casos de uso do MDM incluem os seguintes exemplos de varejo e fabricação:

• Consolidação de dados do cliente para análise.
• Ter uma visão de 360 graus dos dados do produto de forma consistente e acessível, como nome, descrição e características de cada produto.
• Estabelecer dados de referência para aumentar consistentemente as descrições dos dados master. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida.

Essas soluções MDM também ajudam as organizações financeiras que dependem muito de dados para atividades críticas, como relatórios oportunos.

Integração do MDM com o Microsoft Purview

O diagrama a seguir ilustra em detalhes a integração do Profisee MDM no Microsoft Purview. Para dar suporte a essa integração, o subsistema de governança do Profisee fornece integração bidirecional com o Microsoft Purview, que consiste em dois fluxos distintos:

• A publicação de metadados da solução ocorre quando os modeladores de dados fazem alterações no modelo de dados master data, nas estratégias correspondentes e em seus subartefatos relacionados. Essas alterações são publicadas diretamente no Microsoft Purview à medida que ocorrem. A publicação dessas alterações sincroniza os metadados relacionados ao seu modelo de dados master e solução. Como resultado, o Catálogo unificado é ainda mais preenchido e o Microsoft Purview tem um registro dessa fonte de dados crítica.
• Os detalhes de governança são retornados e fornecidos aos administradores de dados e usuários corporativos. Esses detalhes estão disponíveis à medida que os usuários visualizam dados, enriquecem dados e corrigem problemas de qualidade de dados usando o portal Profisee FastApp.

Recursos de integração do Microsoft Purview

O catálogo e o glossário do Microsoft Purview podem ajudar você a maximizar a integração.

Design de modelo de dados mestre

Um dos desafios da preparação de uma solução MDM é determinar o que constitui dados master e quais fontes de dados usar ao preencher seu modelo de dados master. Você pode usar o Microsoft Purview para ajudar nesse esforço. Você pode aproveitar a capacidade de verificar suas fontes de dados críticas e envolver seus administradores de dados e especialistas no assunto (SMEs). Dessa forma, você pode enriquecer o Catálogo unificado com informações que seus administradores podem acessar, para alinhar melhor seu modelo de dados master com seus sistemas de linha de negócios. Você pode reconciliar terminologia conflitante. Esse processo produz um modelo de dados master que reflete de forma ideal a terminologia e as definições que você deseja padronizar para seus negócios. Também evita palavreado desatualizado e enganoso.

O trecho a seguir do diagrama mais amplo ilustra esse caso de uso de integração. Primeiro, você usa as funções de verificação do sistema Microsoft Purview para ingerir metadados de seus sistemas de linha de negócios. Em seguida, seus administradores de dados e SMEs preparam um catálogo e contatos sólidos. Em seguida, os modeladores de dados que trabalham com os serviços de modelagem Profisee MDM podem preparar e evoluir seu modelo de dados master. Este trabalho se alinha com os padrões que você define no Microsoft Purview.

À medida que seus administradores de dados evoluem o modelo, os serviços de modelagem na plataforma Profisee MDM publicam as alterações que os serviços de governança Profisee MDM recebem. Por sua vez, o Profisee MDM prepara e encaminha essas alterações ao Microsoft Purview para inclusão em seu Catálogo unificado atualizado. Essas adições ao catálogo garantem que suas definições de dados master sejam incluídas no patrimônio de dados mais amplo e que possam ser controladas e controladas da mesma maneira que os metadados do sistema de linha de negócios. Ao garantir que essas informações sejam catalogadas juntas, você estará em uma posição melhor para gerenciar as relações entre os dados master e os dados do sistema de linha de negócios.

Administração de dados

Grandes empresas que possuem propriedades de dados correspondentemente complexas e expansivas podem apresentar desafios para os administradores de dados, que são responsáveis por gerenciar e corrigir problemas à medida que surgem. Os principais domínios de dados podem ser complexos, com muitos atributos obscuros que apenas funcionários efetivos que têm conhecimento institucional significativo entendem. Por meio da integração do Profisee MDM com o Microsoft Purview, você pode capturar esse conhecimento institucional no Microsoft Purview e disponibilizá-lo para uso no Profisee MDM. Como resultado, você alivia uma grande necessidade de conhecimento de dados corporativos ao gerenciar informações críticas e urgentes.

A figura a seguir ilustra o fluxo de informações do Microsoft Purview para os administradores de dados que trabalham no portal Profisee FastApp. O serviço de dados de governança se integra ao Microsoft Purview e ao Microsoft Entra ID. Esse serviço fornece funcionalidade de pesquisa. Os usuários do portal FastApp podem usar essa funcionalidade para recuperar dados de governança enriquecidos sobre as entidades e os atributos com os quais trabalham.

Os serviços de governança também resolvem os contatos recebidos do Microsoft Purview para obter os detalhes completos do perfil, que estão disponíveis no Microsoft Entra ID. Com detalhes completos do perfil, os stewards podem colaborar efetivamente com proprietários de dados e especialistas enquanto trabalham para melhorar a qualidade de seus dados master.

A caixa de diálogo Governança do Profisee MDM é a interface por meio da qual administradores de dados e usuários interagem com detalhes no nível de governança. Essa interface do usuário renderiza informações obtidas do Microsoft Purview para os usuários. Usando essas informações, os usuários podem examinar os detalhes por trás dos dados a partir dos quais a caixa de diálogo foi iniciada. Se as informações fornecidas na caixa de diálogo Governança forem insuficientes, os usuários poderão ir diretamente para a experiência do usuário do Microsoft Purview.

Os administradores de dados e usuários corporativos podem acessar três tipos de ativos de dados Profisee MDM por meio do portal FastApp:

• Instância do Profisee, que fornece as propriedades de infraestrutura da instância específica da plataforma Profisee MDM que o usuário está visualizando
• Profisee Entity, que fornece as propriedades da entidade de dados master (a tabela) que o administrador ou usuário está visualizando no momento
• Profisee Attribute, que fornece as propriedades do atributo (como o campo ou coluna) no qual o usuário está interessado

A figura a seguir ilustra onde os usuários que estão trabalhando no portal FastApp podem exibir detalhes de governança para cada um desses tipos de ativos. Você pode encontrar detalhes em nível de instância no menu Ajuda . Você pode acessar os detalhes da entidade no cabeçalho da zona da página, que contém uma grade de entidade. Para detalhes do atributo, acesse o formulário associado à grade de entidades. Acesse os detalhes dos rótulos associados ao atributo.

Para ver informações resumidas, passe o mouse sobre o ícone de governança, como Microsoft Purview. Selecione o ícone para exibir o diálogo de governança completo:

Para acessar a experiência de usuário completa do Microsoft Purview, selecione o ícone de governança no cabeçalho da caixa de diálogo. A seleção do ícone leva você ao Microsoft Purview no contexto do ativo que você está exibindo no momento. Em seguida, você pode se mover facilmente no Microsoft Purview com base em suas necessidades de descoberta.

Processamento MDM

O poder de uma solução MDM está nos detalhes.

Modelagem de dados

O coração da solução MDM é o modelo de dados subjacente. Ele representa a definição de dados master dentro da sua empresa. O desenvolvimento de um modelo de dados master envolve as seguintes tarefas:

• Identifique elementos de dados de origem de todo o seu cenário de sistemas que são críticos para as operações de sua empresa e centrais para analisar o desempenho.
• Enriqueça o modelo com elementos obtidos de outras fontes de terceiros que tornam os dados mais úteis, precisos e confiáveis.
• Estabeleça uma propriedade e permissões claras relacionadas aos elementos do seu modelo de dados. Essa prática ajuda a garantir que você considere a visibilidade e o gerenciamento de alterações no design do seu modelo.

A governança de dados fornece uma base crítica de suporte:

• Seu Catálogo unificado, dicionário, glossário e recursos de apoio de governança são fontes inestimáveis de informações para seus administradores de dados de governança. Esses recursos ajudam os administradores a determinar o que incluir em seu modelo de dados master. Eles também ajudam a determinar a propriedade e as classificações de dados confidenciais no Microsoft Purview. Você pode reforçar a terminologia em seu modelo. Por meio dessa prática, você pode estabelecer um léxico oficial para o seu negócio. Ao integrar a terminologia, seu modelo de dados master também pode traduzir quaisquer termos esotéricos que estejam em uso em vários sistemas de origem para o idioma aprovado do negócio.
• Os sistemas de terceiros geralmente são uma fonte de dados master separados e separados de seus sistemas de linha de negócios. É fundamental adicionar elementos ao seu modelo para capturar as informações que esses sistemas adicionam aos seus dados e refletir essas fontes de informações de volta no Catálogo Unificado.
• Você pode usar a propriedade e o acesso a dados, conforme identificado em seu catálogo de governança, para impor permissões de gerenciamento de acesso e alterações em sua solução MDM. Como resultado, você alinha suas políticas e necessidades corporativas com as ferramentas que usa para gerenciar e administrar seus dados master.

Carregamento de dados de origem

Idealmente, seus sistemas de linha de negócios diferentes carregam dados em seu modelo de dados master com pouca ou nenhuma alteração ou transformação. O objetivo é ter uma versão centralizada dos dados como eles existem no sistema de origem. Deve haver o mínimo de perda de fidelidade possível entre o sistema de origem e o repositório de dados master. Ao limitar a complexidade do seu processo de carregamento, você torna a linhagem mais simples. E quando você usa tecnologia como pipelines do Data Factory, sua solução de governança pode inspecionar o fluxo. Em seguida, sua solução pode identificar as relações entre o sistema de origem e o modelo de dados master. Especificamente, sua solução pode extrair dados de sistemas de origem usando qualquer um dos mais de 100 conectores predefinidos e um gateway REST.

Enriquecimento e padronização de dados

Depois de carregar dados de origem em seu modelo, você pode estendê-los acessando fontes avançadas de dados de terceiros. Você pode usar esses sistemas para melhorar os dados obtidos de seus sistemas de linha de negócios. Você também pode usar esses sistemas para aumentar os dados de origem com informações que aprimoram seu uso para outros consumidores downstream. Por exemplo:

• Você pode usar serviços de verificação de endereço, como o Bing, para corrigir e melhorar os endereços do sistema de origem. Esses serviços podem padronizar e adicionar informações ausentes que são cruciais para a localização geográfica e a entrega de correspondência.
• Serviços de informações de terceiros, como Dun & Bradstreet, podem fornecer dados de uso geral ou específicos do setor. É possível usar esses dados para estender o valor do seu registro golden master. Especificamente, você pode adicionar informações que não estavam disponíveis ou em conflito em seus sistemas de linha de negócios diferentes.

A infraestrutura de publicação/assinatura do Profisee facilita a integração de suas próprias fontes de terceiros em sua solução, conforme necessário.

A capacidade de entender as fontes e o significado por trás desses dados é tão crítica para dados de terceiros quanto para seus sistemas internos de linha de negócios. Ao integrar seu modelo de dados master em seu Catálogo unificado de governança, você pode gerenciar as relações entre fontes de dados internas e externas enquanto enriquece seu modelo com detalhes de governança.

Validação e administração da qualidade dos dados

Depois de carregar e enriquecer seus dados, é importante marcar-los quanto à qualidade e aderência aos padrões que você estabelece por meio de seus processos de governança. O Microsoft Purview pode novamente ser uma rica fonte de informações sobre padrões. Você pode usar o Microsoft Purview para conduzir as regras de qualidade de dados que sua solução MDM impõe. O Profisee MDM também pode publicar regras de qualidade de dados como ativos em seu catálogo de governança. As regras podem estar sujeitas a revisão e aprovação, o que ajuda você a fornecer supervisão de cima para baixo dos padrões de qualidade associados aos seus dados master. Suas regras estão vinculadas a entidades e atributos do master data, e esses atributos podem ser rastreados até o sistema de origem. Por esses motivos, você pode estabelecer a causa raiz da baixa qualidade dos dados que se origina de seus sistemas de linha de negócios.

Os administradores de dados são especialistas em seu domínio de governança. À medida que os administradores resolvem os problemas que sua solução de dados master revela, eles podem usar o catálogo de governança de dados do Microsoft Purview. O catálogo ajuda os administradores a entender e resolver problemas de qualidade à medida que surgem. Apoiados pelo suporte de proprietários de dados e especialistas, os administradores estão preparados para resolver problemas de qualidade de dados com rapidez e precisão.

Correspondência e sobrevivência

Com dados de origem enriquecidos e de alta qualidade, você está posicionado para produzir um disco dourado master que representa as informações mais precisas em seus diferentes sistemas de linha de negócios. A figura a seguir ilustra como todas as etapas culminam em dados de alta qualidade que estão prontos para uso em análise de negócios. A qualquer momento, você pode sincronizar esses dados em seu acervo de dados.

O mecanismo de correspondência Profisee MDM produz um disco dourado master como parte do processo de sobrevivência. As regras de sobrevivência preenchem seletivamente o registro dourado com informações que você escolheu em todos os seus sistemas de origem.

O subsistema de rastreamento de auditoria e histórico do Profisee MDM rastreia as alterações feitas pelos usuários. Esse subsistema também rastreia as mudanças que os processos do sistema, como a sobrevivência, fazem. A correspondência e a sobrevivência possibilitam rastrear o fluxo de informações de seus registros de origem até o master. O Profisee MDM tem um registro do sistema de origem responsável por um registro de origem específico. Você também sabe como os registros de origem díspares preenchem o disco de ouro. Como resultado, você pode obter a linhagem de dados de sua análise de volta aos dados de origem aos quais seus relatórios fazem referência.

Casos de uso do MDM

Embora existam vários casos de uso para o MDM, alguns casos de uso abrangem a maioria das implementações de MDM do mundo real. Esses casos de uso se concentram em um único domínio, mas é improvável que sejam criados apenas desse domínio. Mesmo esses casos de uso focados provavelmente envolvem vários domínios. Em cada caso de uso, o MDM atende à meta de fornecer uma exibição unificada ou de 360 graus dos tipos de dados essenciais.

Dados do cliente

Consolidar e padronizar os dados do cliente para análise de BI é o caso de uso mais comum do MDM. As organizações capturam dados de clientes em um número cada vez maior de sistemas e aplicativos. Resultado de registros de dados do cliente duplicados. Essas duplicatas estão localizadas dentro e entre aplicativos e contêm inconsistências e discrepâncias. A baixa qualidade dos dados do cliente limita o valor das soluções de análise modernas. Os sintomas incluem os seguintes desafios:

• É difícil responder a perguntas básicas de negócios como: "Quem são nossos principais clientes?" e "Quantos novos clientes temos?" Responder a essas perguntas requer um esforço manual significativo.
• Você tem informações de clientes ausentes e imprecisas, o que dificulta o acúmulo ou a análise detalhada dos dados.
• Você não consegue identificar ou verificar exclusivamente um cliente além dos limites organizacionais e do sistema. Como resultado, você não poderá analisar os dados do cliente em sistemas ou unidades de negócios.
• Você tem insights de baixa qualidade de IA e aprendizado de máquina devido aos dados de entrada de baixa qualidade.

Dados do produto

Os dados do produto geralmente estão espalhados por vários aplicativos corporativos, como ERP (planejamento de recursos empresariais), PLM (gerenciamento do ciclo de vida do produto) ou aplicativos de comércio eletrônico. Como resultado, é um desafio entender o catálogo total de produtos que têm definições inconsistentes para propriedades, como nome, descrição e características do produto. Diferentes definições de dados de referência complicam essa situação. Os sintomas incluem os seguintes desafios:

• Você não pode dar suporte a diferentes caminhos alternativos de roll-up hierárquico e detalhamento para análise de produtos.
• Com o estoque de produtos acabados ou materiais, você tem dificuldade em avaliar o estoque de produtos e fornecedores estabelecidos. Você também tem produtos duplicados, o que leva ao excesso de estoque.
• É difícil racionalizar produtos devido a definições conflitantes. Essa situação leva a informações ausentes ou imprecisas na análise.

Dados de referência

No contexto da análise, os dados de referência existem como várias listas de dados. Essas listas são frequentemente usadas para descrever ainda mais outros conjuntos de dados de master. Por exemplo, os dados de referência incluem listas de países/regiões, moedas, cores, tamanhos e unidades de medida. Dados de referência inconsistentes levam a erros óbvios na análise downstream. Os sintomas são:

• Várias representações do mesmo valor. Por exemplo, o estado da Geórgia está listado como GA e Geórgia, o que dificulta a agregação e o detalhamento consistentes dos dados.
• Dificuldade de simplificar os dados entre sistemas devido à incapacidade de cruzar ou mapear valores de dados de referência entre sistemas. Por exemplo, a cor vermelha é representada por R no sistema ERP e Vermelho no sistema PLM.
• Dificuldade em vincular números entre organizações devido a diferenças nos valores de dados de referência estabelecidos que são usados para categorização de dados.

Dados financeiros

As organizações financeiras dependem muito de dados para atividades críticas, como relatórios mensais, trimestrais e anuais. As organizações que têm vários sistemas financeiros e contábeis geralmente têm dados financeiros em vários livros razão que precisam ser consolidados para produzir relatórios financeiros. O MDM pode fornecer um hub centralizado para mapear e gerenciar contas, centros de custo, entidades de negócios e outros conjuntos de dados financeiros. Por meio do hub centralizado, o MDM fornece uma exibição consolidada desses conjuntos de dados. Os sintomas incluem os seguintes desafios:

• Dificuldade em agregar dados financeiros em vários sistemas em uma exibição consolidada
• Falta de processo para adicionar e mapear novos elementos de dados em sistemas financeiros
• Atrasos na produção de relatórios financeiros de fim de período

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Considere estes fatores ao escolher uma solução de gerenciamento de dados para sua organização.

Confiabilidade

A confiabilidade garante que seu aplicativo possa atender aos compromissos assumidos com seus clientes. Para obter mais informações, consulte Visão geral do pilar confiabilidade.

O Profisee é executado nativamente no Serviço de Kubernetes do Azure (AKS) e no Banco de Dados SQL do Azure. Ambos os serviços oferecem recursos prontos para uso para dar suporte à alta disponibilidade.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para obter mais informações, consulte Visão geral do pilar segurança.

O Profisee autentica usuários usando o OpenID Connect, que implementa um fluxo de autenticação OAuth 2.0. A maioria das organizações configura o Profisee MDM para autenticar usuários em relação ao Microsoft Entra ID, o que garante que você possa aplicar e impor suas políticas corporativas de autenticação.

Otimização de custos

A otimização de custos consiste em procurar maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

Os custos operacionais consistem em uma licença de software e consumo do Azure. Para mais informações, entre em contato com Profisee.

Eficiência de desempenho

A eficiência de desempenho é a capacidade de sua carga de trabalho ser dimensionada para atender às demandas impostas pelos usuários de maneira eficiente. Para obter mais informações, consulte Visão geral do pilar Eficiência de desempenho.

O Profisee MDM é executado nativamente no AKS e no Banco de Dados SQL. Você pode configurar o AKS para dimensionar o Profisee MDM para cima, para baixo e entre suas funções de negócios. Você pode implantar o Banco de Dados SQL em várias configurações para equilibrar desempenho, escalabilidade e custos.

O dimensionamento dinâmico é inerente à arquitetura nativa da nuvem do Profisee, que usa microsserviços e contêineres. Se você executar o Profisee em seu locatário de nuvem via Kubernetes, poderá escalar e reduzir verticalmente dinamicamente com base em sua carga. Com o serviço Profisee SaaS executado no AKS, você pode configurar grandes pools de nós para seus pods. Esses pools são dimensionados dinamicamente com base na carga no sistema em toda a infraestrutura multilocatário.

Para obter informações detalhadas sobre como implantar o Profisee e o Microsoft Purview no AKS, confira Microsoft Purview - integração MDM do Profisee.

Implantar este cenário

O Profisee MDM é um serviço Kubernetes empacotado. Você pode implantar o Profisee MDM como um PaaS em seu locatário do Azure, em qualquer outro locatário de nuvem ou no local. Você também pode implantar o Profisee MDM como um SaaS que o Profisee hospeda e gerencia.

1. Obtenha o arquivo de licença do Profisee criando um tíquete de suporte no https://support.profisee.com/. O único pré-requisito para esta etapa é a necessidade de pré-determinar a URL resolvida pelo DNS que seu Profisee configurou no Azure. Em outras palavras, mantenha o nome do host DNS do balanceador de carga usado na implantação. Será algo como "[profisee_name]. [região].cloudapp.azure.com". Por exemplo, DNSHOSTNAME="purviewprofisee.southcentralus.cloudapp.azure.com". Forneça esse nome DNSHOST ao suporte do Profisee quando você levantar o tíquete de suporte e o Profisee será revertido com o arquivo de licença. Você precisará fornecer esse arquivo durante as próximas etapas de configuração abaixo.

2. Crie uma identidade gerenciada atribuída pelo usuário no Azure. Você deve ter uma identidade gerenciada criada para executar a implantação. Após a conclusão da implantação, a identidade gerenciada pode ser excluída. Com base em suas escolhas de modelo ARM, você precisará de algumas ou todas as seguintes funções e permissões atribuídas à sua identidade gerenciada:

   • Colaborador do grupo de recursos em que o AKS será implantado. Ela pode ser atribuída diretamente ao grupo de recursos OU no nível da assinatura e abaixo.
   • Função de Colaborador de Zona DNS para a zona DNS específica em que a entrada será criada OU função de Colaborador para o grupo de recursos da Zona DNS. Essa função DNS será necessária somente se a atualização do DNS estiver hospedada no Azure.
   • Função de Administrador de Aplicativos no Microsoft Entra ID para que as permissões necessárias para o registro do aplicativo possam ser atribuídas.
   • Colaborador de Identidade Gerenciada e Administrador de Acesso de Usuário no nível da assinatura. Necessário para que a identidade gerenciada do modelo ARM possa criar uma identidade gerenciada específica do Key Vault que será usada pelo Profisee para extrair os valores armazenados no Key Vault.

   

3. Crie um registro de aplicativo que atuará como a identidade de login assim que o Profisee for instalado. Ele precisa fazer parte do Microsoft Entra ID que será usado para entrar no Profisee. Salve a ID do aplicativo (cliente) para usar mais tarde.

   • Defina a autenticação para corresponder às configurações abaixo:
     • Tokens de ID de suporte (usados para fluxos implícitos e híbridos)
     • Defina a URL de redirecionamento como: https://< your-deployment-url>/profisee/auth/signin-microsoft
       • Sua URL de implantação é a URL que você forneceu ao Profisee na etapa 1

4. Crie uma entidade de serviço que o Microsoft Purview usará para executar algumas ações durante esta implantação do Profisee. Para criar uma entidade de serviço, crie um aplicativo como você fez na etapa anterior e, em seguida, crie um segredo do aplicativo. Salve a ID do Objeto do aplicativo e o Valor do segredo que você criou para uso posterior.

   • Conceda a essa entidade de serviço (usando o nome ou a ID de objeto para localizá-la) permissões de Curador de Dados na coleção raiz de sua conta do Microsoft Purview.

5. Vá para https://github.com/Profisee/kubernetes e selecione Microsoft Purview ARM do Azure.

   • O modelo ARM implantará o Profisee em uma infraestrutura de carga balanceada do AKS (Serviço de Kubernetes do Azure) usando um controlador de entrada.
   • O Leiame inclui etapas de solução de problemas.
   • Leia todas as etapas e solução de problemas da página wiki com atenção.

6. Selecione "Implantar no Azure"

   

   • O assistente do configurador solicitará as entradas conforme descrito aqui – Implantando o cluster do AKS usando o modelo ARM
   • Certifique-se de fornecer exatamente o mesmo RG (Grupo de Recursos) na implantação que você concedeu permissões para a identidade gerenciada na Etapa 1.

7. Quando a implantação for concluída, selecione "Ir para o Grupo de Recursos" do Microsoft Purview e abra o Cluster do Profisee AKS.

Etapas de uma execução típica de implantação do Microsoft Purview - Profisee

1. Na página de noções básicas, selecione a identidade gerenciada atribuída ao usuário que você criou anteriormente para implantar os recursos.

2. Para a configuração do Profisee, você pode ter suas informações armazenadas no Key Vault ou fornecer os detalhes durante a implantação.

   1. Escolha sua versão do Profisee e forneça sua conta de usuário administrador e licença.
   2. Selecione para configurar usando o Microsoft Purview.
   3. Para a ID do Cliente de Registro de Aplicativo, forneça a ID do aplicativo (cliente) para o registro de aplicativo que você criou anteriormente.
   4. Selecione sua conta do Microsoft Purview.
   5. Adicione a ID de objeto para a entidade de serviço criada anteriormente.
   6. Adicione o valor do segredo que você criou para essa entidade de serviço.
   7. Dê um nome ao seu aplicativo Web.

   

3. Na página Kubernetes, você pode escolher uma versão mais antiga do Kubernetes, se necessário, mas deixe o campo em branco para implantar a versão mais recente .

   

   Dica

   Na maioria dos casos, deixar o campo de versão em branco é suficiente, a menos que haja um motivo para você implantar usando uma versão mais antiga do Kubernetes AKS especificamente.

4. Na página de configuração do SQL, você pode optar por implantar um novo servidor SQL do Azure ou usar um servidor SQL do Azure existente. Você fornecerá detalhes de logon e um nome de banco de dados a ser usado para esta implantação.

   

5. Na página configuração de armazenamento, você pode optar por criar uma nova conta de armazenamento ou usar uma conta existente. Você precisará fornecer uma chave de acesso e o nome de um compartilhamento de arquivo existente se escolher uma conta existente.

   

6. Na página de configuração de rede, você optará por usar o DNS do Azure padrão ou fornecer seu próprio nome de host DNS.

   Dica

   Sim, usar o DNS do Azure padrão é a configuração recomendada. Ao escolher Sim, o implantador cria automaticamente um certificado Let's Encrypt para HTTP/TLS. Se você escolher Não , precisará fornecer vários parâmetros de configuração de rede e seu próprio certificado HTTPS/TLS.

   

   Aviso

   O URL DNS Azure padrão (por exemplo, URL="https://purviewprofisee.southcentralus.cloudapp.azure.com/profisee") será selecionado pelo assistente de implantação de modelo ARM do arquivo de licença fornecido a você pelo Profisee. Se você pretende fazer alterações e não usar o DNS do Azure padrão, certifique-se de comunicar o DNS completo e o URL totalmente qualificado do Profisee DNS à equipe de suporte do Profisee para que eles possam gerar novamente e fornecer a você o arquivo de licença atualizado. Não fazer isso resultará em uma instalação com defeito do Profisee.

7. Na página Revisar + Criar, examine seus dados para garantir que estejam corretos enquanto o assistente valida sua configuração. Depois que a validação for aprovada, selecione Criar.

   

8. Levará cerca de 45 a 50 minutos para que a implantação conclua a instalação do Profisee. Durante a implantação, você verá os aspectos que estão em andamento e poderá atualizar a página para revisar o progresso. A implantação será exibida como concluída quando tudo estiver concluído. A conclusão do estágio "InstallProfiseePlatform" também indica que a implantação foi concluída!

   

   

9. Depois que a implantação for concluída, abra o grupo de recursos em que você implantou sua integração.

   

10. Em saídas, busque a URL de implantação final. O WEBURL final é o que você precisa colar na barra de endereços do navegador e começar a aproveitar Profisee-Purview integração! Esse URL será o mesmo que você forneceu ao suporte do Profisee ao obter o arquivo de licença. A menos que você opte por alterar o formato do URL, ele será semelhante a - "https://[profisee_name]. [região].cloudapp.azure.com/profisee/

    

11. Preencha e hidrate os dados no ambiente Profisee recém-instalado instalando o FastApp. Vá para o URL de implantação do Profisee e selecione /Profisee/api/client. Deve ser algo como - "https://[profisee_name]. [region].cloudapp.azure.com/profisee/api/client". Selecione os downloads do utilitário "Profisee FastApp Studio" e as "Ferramentas da plataforma Profisee". Instale ambas as ferramentas no computador cliente local.

    

12. Faça login no FastApp Studio e execute o restante do gerenciamento de configuração e administração do MDM para o Profisee. Depois de fazer login com o endereço de e-mail do administrador fornecido durante a configuração; você deve ser capaz de ver o menu de administração no painel esquerdo do Profisee FastApp Studio. Navegue até esses menus e execute o restante da jornada de MDM usando a ferramenta FastApp. Ser capaz de ver o menu de administração como visto na imagem abaixo confirma a instalação bem-sucedida do Profisee na plataforma do Azure.

    

13. Como uma etapa final de validação para garantir a instalação bem-sucedida e para verificar se o Profisee foi conectado com sucesso à sua instância do Microsoft Purview, acesse /Profisee/api/governance/health Deve ser algo como - "https://[profisee_name]. [região].cloudapp.azure.com//Profisee/api/governance/health". A resposta de saída indicará as palavras "Status": "Íntegro" em todos os subsistemas do Microsoft Purview.

{
  "OverallStatus": "Healthy",
  "TotalCheckDuration": "0:XXXXXXX",
  "DependencyHealthChecks": {
    "purview_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Successfully connected to Purview."
    },
    "governance_service_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": "Purview cache loaded successfully. 
      Total assets: NNN; Instances: 1; Entities: NNN; Attributes: NNN; Relationships: NNN; Hierarchies: NNN"
    },
    "messaging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    },
    "logging_db_health_check": {
      "Status": "Healthy",
      "Duration": "00:00:NNNN",
      "Description": null
    }
  }
}

Uma resposta de saída semelhante à acima confirma a instalação bem-sucedida e conclui todas as etapas de implantação; e valida se o Profisee foi conectado com êxito ao seu Microsoft Purview e indica que os dois sistemas podem se comunicar adequadamente.

Próximas etapas

• Entenda os recursos do conector de cópia REST no Data Factory.
• Saiba mais sobre o Profisee em execução nativa no Azure.
• Saiba como implantar o Profisee no Azure usando um modelo de Azure Resource Manager (modelo ARM).
• Veja os modelos do Profisee Data Factory.