Integrar o Dataverse com dados corporativos no Microsoft Fabric usando uma arquitetura Medallion

Essa arquitetura de referência mostra como integrar o Dataverse a dados corporativos no Microsoft Fabric para criar uma plataforma de análise governada usando uma abordagem do Medallion. Uma arquitetura de medalhão organiza dados em camadas de bronze, prata e ouro para que as equipes possam preservar dados brutos de origem, criar conjuntos de dados compatíveis e reutilizáveis e publicar modelos coletados otimizados para análise e experiências de IA. Saiba mais sobre os princípios de uma arquitetura Medallion em O que é arquitetura Medallion do lakehouse?

Diagrama de arquitetura

Em um alto nível, a arquitetura separa as responsabilidades de ingestão, transformação, governança e consumo para que cada camada possa ser dimensionada de forma independente. Você replica dados do Dataverse no OneLake por meio da opção Vincular ao Fabric, ingere fontes que não são do Dataverse por meio de pipelines do Fabric e publica produtos de dados curados por meio de modelos governados da camada gold para consumo empresarial.

O diagrama mostra controles de identidade e acesso em toda a arquitetura. Os dados entram por espelhamento do Dataverse ou ingestão externa e se movem pelas camadas bronze, silver e gold. Power BI, Copilot, agentes de dados e experiências de relatórios operacionais consomem os dados.

Trate a governança como um aspecto transversal, e não como um componente único de arquitetura. Identidade, controle de acesso baseado em função (RBAC), linhagem, pipelines de implantação e modelos semânticos certificados funcionam em conjunto para controlar o acesso, gerenciar alterações e preservar a confiança em todo o ciclo de vida dos dados.

Workflow

O fluxo de trabalho segue o ciclo de vida de dados desde acesso seguro e ingestão por meio de operações de transformação, modelagem, consumo e implantação governadas.

Identidade e segurança

Configure primeiro os controles de identidade e acesso para que cada artefato subsequente do Fabric herde um modelo de segurança governado.

• Use o logon único com o JumpCloud como provedor de identidade integrado ao Microsoft Entra ID para acessar o Power Platform, o Fabric e as ferramentas de consumo.

• Aplique o RBAC (controle de acesso baseado em função) no workspace, item (Lakehouse, Warehouse, Eventhouse, Modelo Semântico), objeto (tabela, exibição, arquivo) e níveis de linha e coluna (RLS, CLS).

• Alinhe grupos de segurança a personas: desenvolvedores de engenharia, BI (business intelligence), cientistas de dados, analistas de negócios e criadores de aplicativos.

Ingestão: Nível bronze

A camada Bronze usa dois fluxos de ingestão: espelhamento gerenciado do Dataverse por meio de Vincular ao Fabric e ingestão baseada em pipeline para fontes que não sejam do Dataverse.

• Lakehouse do Dataverse Vinculado (Bronze): Provisionado e totalmente gerenciado por meio de Vincular ao Fabric. Espelha tabelas do Dataverse no OneLake com atualizações incrementais e formatos Parquet/Delta, servindo como a entrada bruta e autoritativa para do sistema de registro para domínios do Dataverse.

• Lakehouse do Data Warehouse Corporativo (EDW) (Bronze – fontes que não são do Dataverse): Ingere dados de sistemas externos, como arquivos, APIs e futuros aplicativos de origem. Os pipelines de dados do Fabric dão suporte à orquestração em lote e de ELT (extrair, carregar, transformar), enquanto o Dataflow Gen2 dá suporte à ingestão sem código e com pouco código, quando apropriado.

Transformação e conformidade: Nível prata

Aplique a lógica de transformação usando a carga de trabalho de Fabric certa para cada tarefa:

• Pipelines para orquestração, dependências e agendamento.
• Dataflow Gen2 para modelagem de entidade de baixo código, decodificação de conjunto de opções e conformidade leve.
• Notebooks (Spark/Python) para junções escalonáveis, SCD (historização) e engenharia de dados avançada.

Prata (Em conformidade): Normalizar entidades do Dataverse (por exemplo, Conta, Contato, Oportunidade, Atividades). Entidades niveladas. Materializar consultas. Mapeie conjuntos de opções para rótulos legíveis. Alinhar identificadores entre sistemas. Padronizar fontes que não são do Dataverse para dimensões comuns e chaves compatíveis.

Modelagem com curadoria: nível Gold

Gold (esquema em estrela): modelos de fatos e dimensões curados, alinhados aos domínios de negócios (por exemplo, Vendas, Pipeline, Customer 360, Serviço). O design orientado ao desempenho inclui chaves substitutas, dimensões de data, dimensões degeneradas quando necessário e estratégias incrementais ou de partição. O diagrama mostra a camada gold como uma lakehouse porque a eficiência de custo é uma meta de design principal. Você também pode usar um warehouse quando a carga de trabalho exige uma modelagem relacional mais robusta, desenvolvimento centrado em SQL ou recursos de desempenho e governança específicos de warehouse.

Depois de coletar produtos de dados gold, os modelos semânticos fornecem a camada de negócios com governança usada por relatórios, pelo Copilot e por agentes de dados.

Modelos semânticos e consumo

• Crie modelos semânticos na camada Gold, certifique-os e governe-os para atender ao Power BI, às experiências do Copilot e aos agentes de dados.

• Use o Dataverse Lakehouse vinculado para relatórios operacionais com modelagem mínima. Use prata ou ouro para conteúdo corporativo para dar suporte à consistência e escala.

DevOps e ciclo de vida

O gerenciamento do ciclo de vida encapsula o fluxo de trabalho para que os artefatos se movam consistentemente do desenvolvimento para a produção com controle do código-fonte, validação e configuração específica do ambiente.

• Integre o Git Source Control (Azure DevOps) ao workspace de desenvolvimento para controle de versão e revisão de pares.

• Use os pipelines de implantação do Fabric para automatizar a promoção do desenvolvimento para teste e, depois, para produção, com variáveis específicas do ambiente, regras de fonte de dados e etapas de validação.

• Atribua uma responsabilidade clara pelos artefatos: a engenharia é responsável por pipelines e notebooks, a equipe de BI (business intelligence) é responsável por modelos semânticos, e os proprietários do produto gerenciam KPIs (indicadores-chave de desempenho) e definições.

O resultado é um pipeline analítico governado no qual os dados brutos de origem são preservados, os dados padronizados são reutilizáveis, os modelos curados são confiáveis e as experiências de consumo são sustentadas por camadas semânticas certificadas.

Detalhes do cenário

Objetivo principal: Oferecer uma base analítica escalável e com suporte adequado para fontes Dataverse e não Dataverse, que acelere os cenários do Power Platform e prepare a camada de dados para o Copilot e Enterprise BI.

Os principais objetivos incluem:

• Produtos de dados consistentes (gold, esquema em estrela) que alimentam modelos semânticos certificados.
• Integração direta com Power Apps (Dataverse) via Link para Fabric (espelhamento gerenciado).
• Desenvolvimento controlado com integração do Git e pipelines de implantação de Fabric (Desenvolvimento → Teste → Produção).
• Acesso seguro, com reconhecimento de perfis, em nível de espaço de trabalho, item, objeto, linha e coluna.
• Dados centralizados de vários sistemas.
• Limpeza de dados aprimorada, organização e segurança.
• Suporte para o Copilot e cenários de análise.
• Escolhas de ferramentas e configurações com foco em custos.

A arquitetura traduz essas metas em um padrão governado do Fabric: os dados do Dataverse entram por meio de Vincular ao Fabric, e fontes externas são ingeridas por meio de pipelines do Fabric. Ambos os fluxos são moldados por meio de camadas bronze, silver e gold antes de serem expostos por meio de modelos semânticos certificados para Power BI, Copilot, agentes de dados e relatórios operacionais.

Components

Os componentes a seguir compõem a arquitetura de referência e a identidade de suporte, ingestão, transformação, governança, gerenciamento de ciclo de vida e consumo.

Considerations

Essas considerações implementam os pilares do Power Platform Well-Architected, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Saiba mais em Microsoft Power Platform Well-Architected.

Reliability

Essa arquitetura foi projetada para fornecer entrega de dados consistente e resiliente em camadas de ingestão, transformação e consumo.

• O espelhamento Vincular ao Fabric reduz a lógica de extração personalizada e diminui o risco de falhas na ingestão.

• A arquitetura Medallion isola falhas nas camadas bronze, silver e gold para que problemas em uma camada não interrompam o pipeline analítico completo.

• O processamento incremental, o ELT particionado e a orquestração sensível a dependências reduzem o tempo de atualização e a contenção de capacidade.

• Monitoramento, alertas e tratamento de novas tentativas ajudam a identificar falhas no pipeline precocemente e a se recuperar delas sem retrabalho manual.

Segurança

Implemente a segurança como uma preocupação de primeira classe e aplique-a consistentemente entre camadas de identidade, dados e análise.

• Use o logon único com o JumpCloud como provedor de identidade integrado ao Microsoft Entra ID para acessar o Power Platform, o Fabric e as ferramentas de consumo aprovadas.

• Aplique o RBAC nos níveis de espaço de trabalho, item, objeto e modelo semântico para dar suporte ao acesso de menor privilégio, alinhado com as personas da empresa.

• Use a segurança em nível de linha e coluna para proteger dados comerciais confidenciais em modelos semânticos e dar suporte à reutilização segura em vários relatórios.

• Use rótulos de confidencialidade, endosso, linhagem e revisões periódicas de acesso para ajudar a manter o acesso a dados confiável e compatível.

Excelência operacional

Alcance a excelência operacional por meio da padronização, automação e propriedade clara em todo o ciclo de vida da análise.

• Use a integração do Git com Azure DevOps para habilitar o controle de versão, a revisão de pares e a rastreabilidade para artefatos Fabric.

• Use os pipelines de implantação do Fabric para padronizar a promoção entre Desenvolvimento, Teste e Produção, aplicar controles de validação e reduzir erros manuais de implantação.

• Defina responsabilidades claras entre as funções de engenharia, inteligência de negócios e negócios para aumentar a responsabilização operacional.

• Defina responsáveis, caminhos de remediação, linhagem de dados e runbooks para exceções de qualidade de dados, de modo a resolver problemas antes que afetem modelos certificados.

Eficiência de desempenho

A arquitetura otimiza o desempenho em camadas de armazenamento, computação e semântica para dar suporte a cenários de BI corporativo e Copilot.

• Os formatos de armazenamento Delta e Parquet oferecem suporte a pushdown de predicados eficiente e junções em escala para grandes cargas de trabalho analíticas.

• Os esquemas estrela da camada Gold usam chaves substitutas, dimensões conformadas e estratégias incrementais para melhorar o desempenho das consultas.

• Modelos semânticos certificados com cache e agregações reduzem a latência da consulta e descarregam a computação repetida de camadas de dados subjacentes.

• O aplicativo Fabric Capacity Metrics monitora o armazenamento e o uso de computação, analisa as necessidades de dimensionamento e identifica gargalos de desempenho.

Otimização da Experiência

Essa arquitetura prioriza usabilidade, confiança e produtividade para consumidores de dados, criadores e analistas.

• Os modelos semânticos certificados fornecem uma superfície de lógica de negócios e KPI consistente para relatórios aprovados e experiências assistidas por IA.

• As pistas de transformação alinhadas ao conjunto de habilidades, como o Dataflow Gen2 para criadores de baixo código e notebooks para engenheiros, ajudam as equipes a trabalhar com eficiência em uma única plataforma.

• As definições de glossário de negócios e KPI vinculadas a modelos semânticos melhoram a interpretabilidade e reduzem a ambiguidade para usuários empresariais.

• Relatórios diretos do Lakehouse do Dataverse Vinculado limitados a cenários operacionais em que a formatação mínima é aceitável e a consistência semântica corporativa não é necessária.

Em conjunto, essas considerações ajudam a manter a arquitetura confiável, segura, de fácil manutenção, com custos sob controle, com bom desempenho e de fácil adoção à medida que o uso aumenta.

Colaboradores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autores principais:

• Terra Gilbert, Consultor Técnico Sênior

Recursos relacionados

• Noções básicas sobre a arquitetura medallion do lakehouse para o Fabric com o OneLake
• Automatizar a integração do Git com uma entidade de serviço no Azure DevOps
• Introdução aos pipelines de implantação