Integração do Microsoft Purview e Semarchy para gerenciamento de dados master

As organizações modernas geram grandes quantidades de dados, muitas vezes de fontes numerosas e díspares. A Semarchy Data Platform é o hub de dados inteligente para integração de dados, gerenciamento de dados master (MDM), gerenciamento de dados de referência (RDM), gerenciamento de dados de aplicativos (ADM), integração de dados, qualidade e governança. O Semarchy Gerenciamento de Dados (xDM) traz extrema agilidade para definir e implementar aplicativos de gerenciamento de dados e liberá-los para produção.

Essa arquitetura demonstra como incluir o MDM (Master Gerenciamento de Dados) no ecossistema Azure para permitir qualidade, validação, correspondência, eliminação de duplicação, criação, curadoria e colaboração para seus ativos de dados críticos.

Arquitetura

A arquitetura a seguir ilustra a arquitetura e o fluxo de dados do Semarchy xDM.

Fluxo de Dados

Os metadados e o fluxo de dados incluem as seguintes etapas:

• Integração de dados de origem de sistemas de origem identificados:

  • Essa integração usa o Azure Data Factory, o Semarchy xDI (componente de integração de dados da Semarchy) ou sua solução de integração.
  • semarchy xDM expõe pontos de extremidade SQL ou REST para integração em lote e em tempo real.
  • Os dados recebidos podem ser criados com o Semarchy xDM Discovery e revisados para ajudar a definir a estrutura e as regras do modelo de dados master.
  • A qualquer momento, os pontos de extremidade REST também podem ser usados por aplicativos para interagir (ler/gravar) com os dados master gerenciados no xDM e usar o xDM como back-end de dados master.

• Certificação Automática de Dados

  • Os dados passam por enriquecimento, padronização e validação de qualidade por meio de uma combinação de regras, plug-ins, modelos de IA (incluindo o Azure Machine Learning e o Azure OpenAI) e serviços de terceiros. O Semarchy xDM oferece suporte a esses processos de qualidade automatizados com reciclagem de dados e incorpora correções do usuário para garantir a qualidade ideal dos dados.
  • Os processos de correspondência, fusão e sobrevivência são realizados automaticamente, combinando automação sofisticada com decisões informadas do usuário, para produzir registros dourados consolidados precisos e confiáveis.
  • Os registros dourados produzidos pelo processo de certificação apresentam linhagem completa para os sistemas de origem, rastreamento de alterações do usuário e histórico opcional. Isso garante integridade de dados, rastreabilidade e rastreamento abrangente de registros históricos.

• Aplicativos de Gerenciamento de Dados Personalizados estão disponíveis para que os usuários:

  • Autenticação por meio do Microsoft Entra ID.
  • Navegue e pesquise dados certificados com rastreabilidade completa em cada estágio da certificação, juntamente com uma historização abrangente.
  • Gerenciar e coletar dados. Os usuários podem:
    • Crie e importe novos dados.
    • Examinar e corrigir erros.
    • Combine e mescle registros manualmente com opções de substituição
    • Execute exclusões temporárias ou irreversíveis conforme necessário.
  • Colabore com Data-Driven fluxos de trabalho.

• A distribuição de dados dourados para aplicativos operacionais e analíticos de consumo, como o Azure Synapse Analytics, o Power BI, o Azure Machine Learning e o Azure OpenAI, garante integração e uso ininterruptos entre plataformas:

  • Essa integração usa o Azure Data Factory, o Semarchy xDI ou sua solução de integração.
  • O Semarchy xDM fornece pontos de extremidade SQL e REST internos e Notificações de Dados para propagação baseada em eventos no Barramento de Serviço do Azure.

• Sincronize metadados xDM com o Microsoft Purview para obter visibilidade e linhagem abrangentes de todo o fluxo de dados master.

Componentes

Essa arquitetura envolve os seguintes componentes.

Componentes principais

• O Semarchy xDM é uma plataforma sem código que permite que as equipes de dados desenvolvam rapidamente soluções personalizadas de gerenciamento de dados master, oferecendo uma ampla gama de recursos para ecossistemas de dados complexos.
• O Banco de Dados do Azure para SQL Server e PostgreSQL são bancos de dados totalmente gerenciados como serviço com recursos internos, como alta disponibilidade e inteligência. Eles armazenam os metadados Semarchy e os hubs de dados master gerenciados no xDM. O processamento de dados é realizado na camada de banco de dados, garantindo o melhor desempenho e escalabilidade.
• Microsoft Entra ID, para autenticação do usuário e logon único na plataforma Semarchy.
• Azure Key Vault é um serviço de nuvem que fornece armazenamento seguro para segredos. Você pode usá-lo para criptografar, descriptografar e armazenar segredos (senhas, por exemplo) usados no xDM.

Componentes de IA

• O Azure Machine Learning é um serviço de nuvem para acelerar e gerenciar projetos de ML (aprendizado de máquina). O Semarchy xDM pode usar modelos personalizados do Azure Machine Learning nos processos de certificação do hub de dados.
• O OpenAI do Azure é um conjunto de serviços de IA que fornece acesso aos poderosos modelos de linguagem do OpenAI. O Semarchy xDM inclui plug-ins integrados usando esses modelos de linguagem para enriquecer e certificar dados, por exemplo, para geração, resumo ou tradução de conteúdo.

Componentes de governança

• O Microsoft Purview é uma solução de governança de dados que fornece ampla visibilidade de propriedades de dados locais e na nuvem. O Semarchy xDM integra-se ao Microsoft Purview para fornecer insights sobre os Semarchy Data Hubs como produtos de dados e linhagem de dados master de ponta a ponta.

Sistemas de origem e consumidor Entre outros, essa arquitetura inclui os seguintes sistemas a partir dos quais você coleta dados master a serem gerenciados no Semarchy xDM ou para os quais você envia dados dourados produzidos pelo Semarchy xDM.

• O Azure Synapse Analytics é um data warehouse de nuvem rápido, flexível e confiável que usa uma arquitetura de processamento paralelo massivo. Os Semarchy Data Hubs atuam como provedores de metadados certificados para o Azure Synapse.
• O Power BI é um pacote de análise de negócios que fornece insights em toda a sua organização. Você pode usar o Power BI para criar dashboards e relatórios com base nas métricas do Semarchy Discovery e nos Semarchy Data Hubs.

Detalhes do cenário

Iniciativas baseadas em dados, como transformação digital, business intelligence ou projetos de IA, exigem dados precisos e confiáveis. O Master Gerenciamento de Dados é uma etapa essencial para fornecer esses dados limpos e precisos.

Um caso de uso comum para uma solução MDM é consolidar dados master de várias fontes, permitindo a criação colaborativa e a administração desses dados master para atender a aplicativos analíticos e operacionais com dados dourados.

Projetar aplicativos de dados

Os aplicativos de Gerenciamento de Dados do Semarchy xDM fornecem a todos os usuários uma experiência personalizada para acessar e gerenciar seus dados. Por meio desses aplicativos, master registros de dados são exibidos em interfaces totalmente personalizáveis, dando suporte a operações de gerenciamento de dados, criação e administração. Usuários com diferentes funções e personas colaboram em fluxos de trabalho Data-Driven para gerenciar dados. O poder do Semarchy xDM está na flexibilidade no design de seus aplicativos de dados, permitindo que eles se adaptem aos seus domínios, organização e necessidades de negócios.

Integrar e certificar os dados master

Os dados coletados em sistemas de origem externa, como CRM (Customer Relationship Management), ERP (Enterprise Resource Planning) ou outros sistemas (conhecidos como editores) são enviados para os hubs de dados do Semarchy xDM por meio de uma camada de integração, como o Azure Data Factory ou o Semarchy xDI.

À medida que as alterações de dados aparecem no hub de dados, por meio de carregamentos de dados ou criação, elas passam por todo o processo de certificação, durante o qual são enriquecidas, padronizadas, validadas quanto à qualidade dos dados e, em seguida, correspondidas e mescladas os registros.

Consumir dados do hub

Os dados podem ser enviados ou consumidos do Semarchy xDM usando pontos de extremidade da API REST ou por meio de SQL. As alterações feitas nos dados por meio do hub de dados também podem ser propagadas em tempo real para sistemas downstream usando notificações de dados.

Considerações

A Semarchy Data Platform possui vários recursos que abordam as questões de confiabilidade, segurança, otimização de custos, excelência operacional e eficiência de desempenho. Mais informações sobre excelência arquitetônica podem ser encontradas nos pilares do Microsoft Azure Well-Architected Framework.

Confiabilidade

A confiabilidade garante que seu aplicativo cumpra as promessas que você faz aos seus clientes. Encontre orientações sobre Confiabilidade.

O Semarchy xDM é executado nativamente no Serviço de Kubernetes do Azure e no Banco de Dados SQL do Azure, que oferece recursos prontos para uso para dar suporte à alta disponibilidade.

Segurança

Blindagens de segurança contra ataques intencionais e uso indevido de seus dados e sistemas valiosos. Encontre orientações sobre Segurança.

O Semarchy xDM autentica usuários por meio de sua camada de gerenciamento de identidade que oferece suporte a mapeamento de funções, pesquisa e sincronização de perfil. Ele fornece suporte nativo para vários IDPs, incluindo o Microsoft Entra ID. Ele também inclui recursos avançados de segurança, como privilégios refinados para proteger o acesso e as operações.

Desempenho Eficiência

A eficiência de desempenho é a capacidade do seu sistema de escalar e atender efetivamente às necessidades do usuário. Encontre orientações sobre Eficiência de Desempenho.

O Semarchy xDM é executado nativamente no Serviço de Kubernetes do Azure e no Banco de Dados SQL do Azure. Você pode configurar o Serviço de Kubernetes do Azure para escalar verticalmente e reduzir verticalmente. Você pode implantar e configurar o Banco de Dados SQL do Azure para equilibrar desempenho, escalabilidade e custos.

Otimização de custos

A otimização de custos envolve encontrar maneiras de reduzir despesas desnecessárias e aumentar a eficiência operacional. Encontre orientações sobre Otimização de Custo.

Os custos operacionais consistem na licença de assinatura do software Semarchy e no consumo do Azure. Entre em contato com a Semarchy para obter mais informações.

Implantar este cenário

Para implantar este cenário:

1. Implante o Semarchy xDM usando os Serviços de Kubernetes do Azure.
2. Configure o Gerenciamento de segredos para usar Azure Key Vault.
3. Configurar a autenticação com o Microsoft Entra ID.
4. Projete e implante seu modelo de dados master personalizado no xDM
5. Integre seus dados ao xDM usando o Azure Data Factory.

Colaboradores deste documento

• David Cox
• Cedric Blanc
• François-Xavier Nicolas (FX)

Documento de referência

• Implantar o Semarchy xDM
• Copiar Gerenciamento de segredos
• Configurar a autenticação com o Microsoft Entra ID
• Integrar seus dados ao xDM usando o Azure Data Factory