Integre o Dataverse com dados empresariais no Microsoft Fabric usando uma arquitetura em medalhão

Esta arquitetura de referência mostra como integrar o Dataverse com dados empresariais no Microsoft Fabric para criar uma plataforma de analítica governada, utilizando uma abordagem em medalhão. Uma arquitetura medallion organiza os dados em camadas de bronze, prata e ouro para que as equipas possam preservar dados de origem bruta, criar conjuntos de dados conformes e reutilizáveis, e publicar modelos selecionados otimizados para análises e experiências de IA. Saiba mais sobre os princípios de uma arquitetura medallion em O que é a arquitetura medallion lakehouse?

Diagrama de arquitetura

A um nível geral, a arquitetura separa as responsabilidades de ingestão, transformação, governação e consumo para que cada camada possa escalar de forma independente. Os dados do Dataverse são espelhados no OneLake através da Ligação ao Fabric, as origens que não sejam do Dataverse são ingeridas através de pipelines do Fabric e os produtos de dados selecionados são publicados através de modelos da camada gold de governação, para consumo empresarial.

O diagrama mostra os controlos de identidade e acesso em toda a arquitetura. Os dados entram através do espelhamento do Dataverse ou ingestão externa e movem-se pelas camadas de bronze, prata e ouro. Power BI, Copilot, agentes de dados e experiências de relatórios operacionais consomem os dados.

Trate a governação como uma preocupação transversal em vez de um único componente de arquitetura. Identidade, controlo de acesso baseado em funções (RBAC), linhagem, pipelines de implementação e modelos semânticos certificados trabalham em conjunto para controlar o acesso, gerir mudanças e preservar a confiança ao longo do ciclo de vida dos dados.

Workflow

O fluxo de trabalho acompanha o ciclo de vida dos dados, desde o acesso seguro e ingestão até à transformação, modelação governada, consumo e operações de implementação.

Identidade e segurança

Configurar primeiro os controlos de identidade e de acesso para que cada artefacto subsequente do Fabric herde um modelo de segurança sujeito a governação.

• Utilize o início de sessão único com JumpCloud como fornecedor de identidade integrado com o Microsoft Entra ID para aceder ao Power Platform, ao Fabric e às ferramentas de consumo.

• Aplicar controlo de acesso baseado em funções (RBAC) no espaço de trabalho, item (Lakehouse, Armazém, Casa de Eventos, Modelo Semântico), objeto (tabela, vista, ficheiro), e níveis de linha e coluna (RLS, CLS).

• Alinhe os grupos de segurança a personas: engenharia, programadores de business intelligence (BI), cientistas de dados, analistas de negócios e criadores de aplicações.

Ingestão: nível Bronze

O Bronze utiliza duas faixas de ingestão: espelhamento gerido do Dataverse através da Ligação ao Fabric e ingestão condicionada por pipelines para origens que não sejam do Dataverse.

• Lakehouse do Dataverse Ligado (Bronze): aprovisionado e totalmente gerido através da funcionalidade Ligação ao Fabric. Espelha tabelas do Dataverse no OneLake com atualizações incrementais e formatos Parquet/Delta, funcionando como a entrada autoritativa, não processada e system‑of‑record para os domínios do Dataverse.

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze – fontes não Dataverse): Ingere dados de sistemas externos, como ficheiros, APIs e aplicações de origem futura. Os pipelines de dados do Fabric suportam orquestração por lotes e ELT (extrair, carregar e transformar), enquanto o Dataflow Gen2 suporta ingestão no-code e low-code, quando adequado.

Transformação e conformidade: Nível prateado

Aplique lógica de transformação usando a carga de trabalho Fabric correta para cada tarefa:

• Pipelines para orquestração, dependências e agendamento.
• Dataflow Gen2 para modelagem de entidades low-code, descodificação de conjuntos de opções e conformidade leve.
• Notebooks (Spark/Python) para junções escaláveis, historização (SCD) e engenharia avançada de dados.

Silver (em conformidade): Normalizar entidades do Dataverse (por exemplo, Conta, Contacto, Oportunidade, Atividades). Aplanar entidades. Materializar pesquisas. Mapear conjuntos de opções para etiquetas legíveis. Alinhar identificadores entre sistemas. Padronize fontes não-Dataverse para dimensões comuns e chaves conformes.

Modelação selecionada: Nível Ouro

Gold (Esquema em Estrela): modelos de factos e de dimensões selecionados, alinhados com os domínios de negócio (por exemplo, Vendas, Pipeline, Cliente 360, Serviço). O design orientado para desempenho inclui chaves de substituição, dimensões de data, dimensões degeneradas quando necessário e estratégias incrementais ou de partição. O diagrama mostra a camada de ouro como uma casa lacustre porque a eficiência de custos é um objetivo principal de design. Também pode usar um armazém quando a carga de trabalho exige modelação relacional mais forte, desenvolvimento SQL-first ou funcionalidades específicas de desempenho e governação do armazém.

Depois de selecionar os produtos de dados gold, os modelos semânticos fornecem a camada empresarial governada utilizada por relatórios, Copilot e agentes de dados.

Modelos semânticos e consumo

• Crie modelos semânticos com base na camada Gold, certifique-os e governe-os para suportar o Power BI, as experiências do Copilot e os agentes de dados.

• Use o Linked Dataverse Lakehouse para relatórios operacionais com modelação mínima. Use prata ou ouro para conteúdos empresariais para apoiar consistência e escalação.

DevOps e ciclo de vida

A gestão do ciclo de vida envolve o fluxo de trabalho para que os artefactos avancem consistentemente do desenvolvimento para a produção, com controlo de versão, validação e configuração específica do ambiente.

• Integre o controlo de versões Git (Azure DevOps) com o espaço de trabalho de desenvolvimento para versões e revisão por pares.

• Utilize os pipelines de implementação do Fabric para automatizar a promoção do desenvolvimento para teste e para produção, com variáveis específicas por ambiente, regras de origens de dados e portas de validação.

• Definir claramente a responsabilidade pelos artefactos: a equipa de engenharia é responsável pelos pipelines e blocos de notas, a equipa de business intelligence (BI) é responsável pelos modelos semânticos e os responsáveis pelo produto gerem os indicadores chave de desempenho (KPIs) e as definições.

O resultado é um pipeline de análise governado onde os dados de origem bruta são preservados, os dados conformes são reutilizáveis, os modelos curados são confiáveis e as experiências de consumo são suportadas por camadas semânticas certificadas.

Detalhes do cenário

Objetivo principal: Fornecer uma base analítica escalável e suportável para fontes Dataverse e não Dataverse, acelerando cenários Power Platform e preparando a superfície de dados para Copilot e Enterprise BI.

Os principais objetivos incluem:

• Produtos de dados consistentes (star-schema gold) que alimentam modelos semânticos certificados.
• Integração direta com Power Apps (Dataverse) através do Link to Fabric (espelhamento gerido).
• Desenvolvimento governado com integração do Git e pipelines de implementação do Fabric (Dev → Test → Production).
• Acesso seguro, em função da função, ao nível do espaço de trabalho, do item, do objeto e da linha/coluna.
• Dados centralizados de múltiplos sistemas.
• Melhoria da limpeza, organização e segurança dos dados.
• Suporte para Copilot e cenários de análise.
• Escolhas de ferramentas e configurações conscientes de custos.

A arquitetura traduz estes objetivos num padrão Fabric governado: os dados do Dataverse entram através da Ligação ao Fabric e as origens externas são ingeridas através dos pipelines do Fabric. Ambos os fluxos são moldados através de camadas de bronze, prata e ouro antes de serem expostos através de modelos semânticos certificados para Power BI, Copilot, agentes de dados e relatórios operacionais.

Components

Os seguintes componentes compõem a arquitetura de referência e suportam identidade, ingestão, transformação, governação, gestão do ciclo de vida e consumo.

Considerações

Essas considerações implementam os pilares do Power Platform Well-Architected, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Saiba mais em Microsoft Power Platform Well-Architected.

Reliability

Esta arquitetura foi concebida para fornecer uma entrega consistente e resiliente de dados através das camadas de ingestão, transformação e consumo.

• O espelhamento Ligação ao Fabric Gerida reduz a lógica de extração personalizada e diminui o risco de falhas de ingestão.

• A arquitetura medallion isola falhas nas camadas bronze, silver e gold, para que problemas numa das camadas não comprometam todo o pipeline de análise.

• O processamento incremental, o ELT particionado e a orquestração com reconhecimento de dependências reduzem o tempo de atualização e a contenção de capacidade.

• A monitorização, os alertas e a gestão de repetições ajudam a detetar precocemente falhas no pipeline e a recuperar sem necessidade de retrabalho manual.

Segurança

Implemente a segurança como uma preocupação de primeira classe e aplique-a de forma consistente entre as camadas de identidade, dados e análise.

• Utilize o início de sessão único com JumpCloud como fornecedor de identidade integrado com o Microsoft Entra ID para aceder ao Power Platform, ao Fabric e a ferramentas de consumo aprovadas.

• Impor o RBAC aos níveis do espaço de trabalho, do item, do objeto e do modelo semântico para suportar o acesso com privilégios mínimos, alinhado com perfis empresariais.

• Utilize a segurança ao nível de linha e coluna para proteger dados empresariais sensíveis em modelos semânticos e apoiar a reutilização segura em múltiplos relatórios.

• Utilize rótulos de confidencialidade, endosso, linhagem de dados e revisões periódicas de acesso para ajudar a manter um acesso a dados fidedigno e em conformidade.

Excelência Operacional

Alcançar a excelência operacional através da normalização, automação e uma propriedade clara ao longo do ciclo de vida da análise.

• Use a integração do Git com o Azure DevOps para permitir controlo de versões, revisão por pares e rastreabilidade para artefactos do Fabric.

• Utilize os pipelines de implementação do Fabric para normalizar a promoção entre Desenvolvimento, Teste e Produção, aplicar portas de validação e reduzir erros de implementação manual.

• Atribuir uma responsabilidade clara entre a engenharia, inteligência de negócio e funções empresariais para melhorar a responsabilidade operacional.

• Defina proprietários, caminhos de remediação, linhagem e runbooks para exceções de qualidade dos dados, de modo a resolver problemas antes que afetem modelos certificados.

Eficiência de desempenho

A arquitetura otimiza o desempenho entre as camadas de armazenamento, computação e semântica para suportar tanto cenários de BI empresarial como de Copilot.

• Os formatos de armazenamento Delta e Parquet suportam pushdown de predicado e associações dimensionáveis para cargas de trabalho analíticas de grande dimensão.

• Os esquemas em estrela de camada gold utilizam chaves de substituição, dimensões conformes e estratégias incrementais para melhorar o desempenho das consultas.

• Modelos semânticos certificados com cache e agregações reduzem a latência de consulta e descarregam o cálculo repetido das camadas de dados subjacentes.

• A aplicação Fabric Capacity Metrics monitoriza o armazenamento e o uso de computação, analisa necessidades de escalabilidade e identifica gargalos de desempenho.

Otimização da Experiência

Esta arquitetura dá prioridade à usabilidade, confiança e produtividade para consumidores de dados, fabricantes e analistas.

• Modelos semânticos certificados fornecem um KPI consistente e uma superfície de lógica de negócio para relatórios aprovados e experiências assistidas por IA.

• As vias de transformação alinhadas com o conjunto de competências, como o Dataflow Gen2 para criadores low-code e os notebooks para engenheiros, ajudam as equipas a trabalhar de forma eficiente numa única plataforma.

• Glossário empresarial e definições de KPIs ligadas a modelos semânticos melhoram a interpretabilidade e reduzem a ambiguidade para os utilizadores empresariais.

• O relatório direto do Linked Dataverse Lakehouse limita-se a cenários operacionais onde a modelação mínima é aceitável e não é necessária consistência semântica empresarial.

Em conjunto, estas considerações ajudam a manter a arquitetura fiável, segura, sustentável, consciente de custos, desempenho e fácil de adotar à medida que o uso cresce.

Contributors

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Principais autores:

• Terra Gilbert, Consultora Técnica Sénior

Recursos relacionados

• Compreender a arquitetura medallion lakehouse no Fabric com o OneLake
• Automatize a integração do Git com um service principal no Azure DevOps
• Introdução aos pipelines de implementação