Arquitetura moderna de medalhão de data warehouse no Microsoft Fabric

Esta carga de trabalho de exemplo descreve uma arquitetura de medalhão do MDW (data warehouse moderno) do SQL. Um data warehouse moderno usa armazenamentos de dados baseados em SQL para organizar dados estruturados para análise e relatórios. Essa arquitetura implementa as camadas bronze, prata e ouro em Fabric Data Warehouse e usa Fabric Data Factory para orquestrar a ingestão e a transformação de dados.

Fabric Data Warehouse armazena dados relacionais no formato Delta no OneLake e dá suporte ao desenvolvimento de T-SQL por meio de tabelas, exibições, transações e procedimentos armazenados. Power BI, clientes SQL e outros aplicativos consomem dados coletados da camada de ouro.

Architecture

Carrege um arquivo PowerPoint desta arquitetura.

No diagrama, o Espelhamento gerencia a replicação do banco de dados operacional, e os pipelines do Fabric Data Factory fazem a ingestão de fontes não espelhadas na camada bronze.

Fluxo de dados

O fluxo de dados a seguir corresponde ao diagrama anterior:

1. Bancos de dados operacionais, aplicativos SaaS, arquivos e outros sistemas de origem produzem dados.

2. A ingestão de dados introduz dados de origem no Fabric por duas vias. Para bancos de dados operacionais com suporte, o Espelhamento em Fabric replica continuamente os dados em um item de banco de dados espelhado no OneLake. Em seguida, um warehouse CTAS ou INSERT ... SELECT etapa mantém esses dados no armazém de bronze. Para arquivos, aplicativos SaaS e outras fontes não espelhadas, use pipelines do Fabric Data Factory ou o T-SQL do warehouse, como COPY INTO, para carregar tabelas da camada bronze.

3. A camada bronze armazena dados brutos e minimamente processados em tabelas de warehouse. Os metadados de ingestão, como marcas de data e hora de carregamento e identificadores de origem, dão suporte à auditoria e ao reprocessamento.

4. O primeiro estágio de transformação (Bronze to silver) valida e transforma dados de bronze na camada de prata.

5. A camada de prata contém dados limpos, duplicados e em conformidade. Quando a análise histórica é necessária, as tabelas de prata retêm as alterações de origem com datas efetivas e indicadores de linha atual.

6. Procedimentos armazenados ou trabalhos dbt normalmente implementam o Bronze to silver estágio usando padrões SQL como CREATE TABLE AS SELECT (CTAS) INSERT ... SELECTe MERGE.

7. A camada de ouro fornece esquemas de estrela, data marts e tabelas pré-configuradas prontas para consumo.

8. O segundo estágio de transformação (Silver to gold) transforma os dados da camada silver em entidades de negócio, dimensões, fatos e dados agregados na camada gold.

9. O Power BI usa dados da camada gold por meio de modelos semânticos. Outros consumidores, como clientes SQL, notebooks e aplicativos, podem consultar o endpoint SQL do data warehouse.

Components

• Fabric Data Warehouse fornece as tabelas relacionais e de computação T-SQL para as camadas bronze, prata e ouro.
• O OneLake armazena dados do data warehouse no formato Delta e dados replicados pelo espelhamento do Fabric.
• O espelhamento no Fabric replica continuamente bancos de dados operacionais compatíveis no OneLake.
• Fabric Data Factory ingere dados e orquestra procedimentos armazenados, pipelines e outras atividades de transformação.
• Power BI fornece modelos semânticos, relatórios e dashboards sobre dados em ouro coletados.

Diretrizes de design

A orientação a seguir descreve como implementar as camadas bronze, prata e ouro e organizar os espaços de trabalho de suporte. Adapte essas recomendações às fontes de dados e aos requisitos de governança da carga de trabalho e às habilidades da sua equipe.

Camada de bronze: ingestão de dados brutos

A camada bronze ingere dados brutos e captura todos os dados de origem em sua forma original sem aplicar nenhuma lógica de negócios. Ele serve como o sistema de registro, habilitando a rastreabilidade completa e o reprocessamento. As tabelas nessa camada espelham de perto os esquemas de origem e evitam intencionalmente filtragem, eliminação de duplicação ou enriquecimento. Colunas de metadados opcionais, como registros de data e hora de ingestão ou nomes de arquivos de origem, geralmente auxiliam na auditoria.

Para bancos de dados operacionais com suporte, use o Espelhamento em Fabric para replicar continuamente as tabelas de origem no OneLake. Para origens de arquivo, SaaS ou sem suporte, use os pipelines do Fabric Data Factory, COPY INTO para ingestão em massa ou OPENROWSET com CTAS ou INSERT ... SELECT para persistir os dados de arquivos externos no data warehouse bronze.

Nesta fase, a ingestão continua fazendo o mínimo de transformação para que a camada bronze permaneça como o sistema de registro reprocessável. Quando necessário para fontes não espelhadas, um procedimento armazenado de carga na camada bronze (ou um modelo dbt equivalente) pode padronizar os registros recebidos e adicionar metadados de carga.

As práticas recomendadas para a camada bronze enfatizam a preservação de todos os dados brutos, incluindo registros inválidos, o uso de ingestão em lote para evitar problemas de arquivos pequenos, alinhar esquemas de perto com sistemas de origem e automatizar fluxos de trabalho de ingestão usando Fabric pipelines para garantir a consistência e a confiabilidade em escala.

Camada prata: limpeza e conformidade de dados

A camada silver concentra-se na limpeza e na conformidade dos dados, refinando os dados da camada bronze por meio da aplicação de regras de qualidade de dados, padronização, eliminação de duplicatas e integração de múltiplas fontes. Em última análise, ele produz uma única fonte de verdade para dados limpos e confiáveis.

Normalmente, você implementa transformações neste estágio usando T-SQL, usando padrões como CREATE TABLE AS SELECT (CTAS) INSERT … SELECTe MERGE instruções para dar suporte ao processamento em lote e incremental. Embora Fabric Data Warehouse não dê suporte a exibições materializadas, você pode usar exibições materializadas do lago, implementadas usando o Spark, para gerar tabelas Delta. O endpoint de análise SQL expõe essas tabelas Delta como tabelas que o data warehouse pode ler.

As práticas recomendadas para a camada prata incluem projetar transformações idempotentes, aplicar regras de qualidade de dados de forma consistente e usar MERGE para atualizações incrementais. Quando a carga de trabalho exigir historização, mantenha as versões de linha com datas de início e término efetivas e um indicador de linha atual. As dimensões Gold podem usar esse histórico para implementar o comportamento de dimensão de mudança lenta (SCD) do tipo 1 ou tipo 2.

Camada Gold: dados selecionados para análise

A camada gold fornece dados selecionados e prontos para uso nos negócios, otimizados para análises, relatórios e consumo por ferramentas de BI, como o Power BI. Essa camada foi concebida com base em padrões de modelagem analítica, geralmente usando esquemas em estrela com tabelas de fatos e de dimensões, data marts específicos de domínio e tabelas de resumo pré-agregadas para viabilizar consultas de alto desempenho e análises intuitivas.

Normalmente, você deriva tabelas de ouro exclusivamente de dados silver e as expõe a usuários finais e ferramentas de relatório.

Use chaves alternativas estáveis para dimensões para que os fatos não dependam de chaves mutáveis do sistema de origem. Fabric Data Warehouse oferece suporte a BIGINT IDENTITY colunas para geração de chaves substitutas. Os valores de identidade são exclusivos, mas não têm garantia de serem sequenciais ou ordenados, e lacunas podem ocorrer. Se essas limitações não forem apropriadas para a carga de trabalho, gere e persista chaves substitutas na lógica de transformação e mantenha um mapeamento durável para cada chave natural. Não regenerar chaves substitutas durante uma atualização completa.

As práticas recomendadas para a camada Gold incluem modelar os dados de modo que se alinhem estreitamente aos casos de uso analíticos e de negócios, realizar a pré-agregação dos dados sempre que possível para melhorar o desempenho, aplicar controles de segurança como RLS (segurança em nível de linha), CLS (segurança em nível de coluna) e mascaramento de dados, além de documentar de forma abrangente a linhagem dos dados e as transformações.

Estratégia de espaço de trabalho

Uma estratégia de workspace define como as camadas bronze, prata e ouro são separadas logicamente e fisicamente para equilibrar a governança, a segurança e a simplicidade operacional. Você pode implementar camadas com workspaces separados para cada camada, abordagem que recomendamos quando são necessárias fronteiras de segurança robustas, responsabilidade claramente definida ou separação estrita de responsabilidades. Por exemplo, você deve isolar a ingestão de dados brutos dos dados de negócios tratados.

Como alternativa, você pode implementar camadas em um único workspace usando armazéns separados para dados de bronze, prata e ouro. Essa abordagem pode reduzir a sobrecarga de gerenciamento e simplificar o desenvolvimento e os testes multicamadas, preservando a separação em nível de warehouse entre as camadas da arquitetura de medalhão.

A escolha entre essas abordagens normalmente depende de fatores como escala organizacional, requisitos de segurança, estrutura de equipe e maturidade de governança. Muitas empresas adotam um modelo híbrido à medida que sua implementação de Fabric evolui. É recomendável usar workspaces separados quando os limites de isolamento, governança e propriedade forem necessários.

Diretrizes de implementação

Fabric Data Warehouse fornece consistência transacional e processamento de dados confiáveis nas camadas bronze, prata e ouro. Use gravações orientadas em lote para minimizar problemas de arquivos pequenos e melhorar a eficiência de armazenamento e consulta. Use MERGE instruções para lidar com dados que chegam com atraso ou foram alterados em cenários de processamento incremental.

Mantenha as transações de curta duração para reduzir a contenção e otimizar a simultaneidade, especialmente em ambientes de alta ingestão. Monitore ativamente o desempenho e a integridade operacional por meio de insights de consulta do Fabric e DMVs (modos de exibição de gerenciamento dinâmico). A separação arquitetônica de cargas de trabalho de leitura e gravação no Fabric permite que trabalhos de ingestão e transformação sejam executados simultaneamente sem bloquear consultas analíticas, garantindo um desempenho previsível para análise downstream e relatórios.

Use procedimentos armazenados em T-SQL e os pipelines do Fabric Data Factory para transformação e orquestração nativas em SQL. As equipes que preferem modelos SQL modulares e testes podem usar o adaptador dbt para o Fabric Data Warehouse mantido pela Microsoft. Execute testes de unicidade, de integridade referencial e de valores aceitos como critérios de validação da implantação ou do pipeline antes de publicar dados em camadas subsequentes.

Alternatives

Essa arquitetura inclui vários componentes que você pode substituir por outros serviços ou abordagens do Azure, dependendo dos requisitos funcionais e não funcionais da carga de trabalho. Considere as alternativas a seguir e suas compensações.

Para cenários que enfatizam a engenharia de dados em larga escala, análise avançada, aprendizado de máquina ou dados não estruturados, uma arquitetura de lakehouse-first em Microsoft Fabric pode ser uma melhor opção. Nessa abordagem, um Fabric lakehouse serve como o repositório de dados primário no OneLake e as transformações são implementadas principalmente usando ferramentas baseadas em Spark, como notebooks ou Dataflow Gen2. Esse padrão fornece a computação distribuída, os notebooks e as ferramentas de machine learning que não são o foco dessa arquitetura de armazém sql-first.

Para organizações com forte foco em ciência de dados, IA ou processamento distribuído complexo, Azure Databricks é outra alternativa. Azure Databricks normalmente é selecionado quando as cargas de trabalho exigem integração profunda com estruturas de aprendizado de máquina de software livre, controle refinado sobre a execução do Spark ou portabilidade multinuvem.

Para análise quase em tempo real ou orientada a eventos, Fabric Real-Time Intelligence, Hubs de Eventos do Azure ou Azure Stream Analytics podem ser mais adequados do que um design de medalhão orientado em lote centrado em Fabric Data Warehouse.

Detalhes do cenário

O Fabric Data Warehouse é uma excelente opção para essa arquitetura medallion quando o objetivo principal é fornecer dados governados e prontos para análise em escala, usando padrões SQL familiares.

Cenário 1: semântica relacional e desempenho do SQL para conjuntos de dados prontos para análise

Fabric Data Warehouse é adequado porque fornece tabelas relacionais e exibições, transações ACID e operações T-SQL sobre dados Delta. Esse conjunto de recursos dá suporte a cargas de trabalho em que os dados já estão limpos e em conformidade e devem ser consultados consistentemente por meio do SQL.

Exemplo: Uma companhia aérea cria conjuntos de dados de ouro coletados para operações de voo e análise de receita. Os analistas dependem do desempenho estável da consulta SQL para avaliar as tendências de desempenho pontual, a rentabilidade da rota e a utilização da tripulação. O uso de tabelas e views do warehouse garante consistência transacional e comportamento confiável das consultas, algo mais difícil de assegurar com acesso ad hoc baseado em arquivos.

Cenário 2: governança centralizada com uma experiência centrada em SQL

Fabric Data Warehouse permite a governança centralizada por meio de permissões de espaço de trabalho, segurança em nível de objeto e linhagem integrada, ao mesmo tempo que expõe os dados por meio de uma interface SQL familiar para equipes de engenharia analítica. Essa abordagem reduz o atrito operacional, simplifica o controle de acesso e acelera a adoção entre equipes sem introduzir novos paradigmas de acesso.

Exemplo: Uma empresa global impõe a separação estrita de tarefas: as equipes de plataforma gerenciam a ingestão e as transformações e as equipes de análise consomem apenas dados coletados. Ao expor apenas tabelas de camadas de ouro por meio de um warehouse e controlar o acesso centralmente, a organização evita o acesso descontrolado a dados brutos ou intermediários, mantendo um fluxo de trabalho familiar baseado em SQL.

Cenário 3: consumo otimizado para BI em relatórios e dashboards

O armazém de dados é otimizado para cargas de trabalho com alta simultaneidade e intensivas em leitura, o que o torna uma excelente opção quando um grande número de usuários de negócios consome painéis e relatórios baseados em modelos semânticos consistentes. Essa otimização é especialmente importante quando o desempenho, a estabilidade e o comportamento previsível da consulta são necessários durante o pico de uso.

Exemplo: As equipes de finanças e operações acessam Power BI painéis durante o horário comercial para monitorar KPIs, como receita, eficiência operacional e conformidade do SLA. O Fabric Data Warehouse isola SELECT e cargas de trabalho não-SELECT em pools de computação separados, reduzindo a contenção direta entre consultas de painel e a ingestão no data warehouse.

Cenário 4: Suporte de modelagem dimensional para uma camada de ouro reutilizável

Fabric Data Warehouse se alinha naturalmente com padrões de modelagem dimensional, incluindo tabelas de fatos e dimensões, que você normalmente usa na camada de ouro para expor conjuntos de dados reutilizáveis e amigáveis aos negócios. Esses modelos simplificam a análise, reduzem a duplicação lógica e promovem definições de métrica consistentes entre as equipes.

Exemplo: Uma organização de varejo cria tabelas de dimensão compartilhada para clientes, produtos e lojas, juntamente com tabelas de fatos para vendas e inventário. Esses conjuntos de dados de ouro são reutilizados em vários relatórios Power BI e unidades de negócios, garantindo que KPIs, como vendas líquidas ou volume de negócios de estoque, sejam definidos uma vez e aplicados de forma consistente.

Considerations

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho.

Confiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você faz aos seus clientes. Para obter mais informações, consulte a lista de verificação de revisão de design para Confiabilidade.

Consulte Confiabilidade no Microsoft Fabric para conhecer o modelo de resiliência documentado, incluindo o comportamento em caso de indisponibilidade de zona e considerações regionais. Valide as expectativas de recuperação em relação a essas diretrizes para seus requisitos de região e carga de trabalho.

Para cenários de recuperação de desastre entre regiões, projete e documente uma estratégia de recuperação que se alinhe aos requisitos organizacionais e ao modelo de responsabilidade compartilhada.

• Fabric Data Warehouse dá suporte a PRIMARY KEY, e UNIQUEFOREIGN KEY apenas como NOT ENFORCED. O data warehouse não valida a unicidade nem a integridade referencial. A lógica de ingestão e transformação deve detectar registros duplicados ou órfãos e impedi-los de atingir camadas downstream.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte a lista de verificação de revisão de design para Segurança.

Microsoft Fabric fornece recursos para gerenciar, controlar e auditar as configurações de segurança com base nos requisitos organizacionais. Considere as seguintes práticas de segurança:

• Use Microsoft Entra ID SSO (logon único) para autenticar usuários e fornecer gerenciamento de identidade consistente entre dispositivos e locais.

• Aplique permissões baseadas no workspace para controlar quem pode criar, modificar ou consumir artefatos do Fabric.

• Use Fabric controles de segurança de rede de entrada e saída ao acessar dados ou serviços dentro ou fora da rede. Esses controles incluem Acesso Condicional, links privados, acesso de workspace confiável e pontos de extremidade privados gerenciados.

• Use os logs de auditoria do Fabric para acompanhar as atividades do usuário, as alterações de configuração e o acesso a dados em toda a plataforma.

Para obter mais informações, consulte Segurança no Fabric.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte a lista de verificação de revisão de design para Otimização de Custos.

Microsoft Fabric fornece reservas de capacidade para um número definido de CUs (unidades de capacidade). As reservas anuais podem ajudar a reduzir custos com cargas de trabalho previsíveis e estáveis.

Para maximizar a utilização da capacidade do Fabric, considere as seguintes práticas:

• Comece com capacidades de teste ou SKUs F com pagamento conforme o uso para entender o comportamento da carga de trabalho. Realize uma prova de conceito de escopo definido com cargas de trabalho representativas de ingestão, transformação e geração de relatórios. Monitore o consumo de CU e extrapole os resultados para estimar as necessidades de produção. Você pode escalar as capacidades do Fabric à medida que a demanda aumenta.

• Analise o uso histórico para identificar períodos de pico e fora do pico. Agende cargas de trabalho não críticas ou em segundo plano para períodos de menor demanda a fim de reduzir a pressão sustentada sobre as CUs.

• Reduza o consumo de computação desnecessário otimizando consultas SQL, DAX (Expressões de Análise de Dados) e trabalhos em segundo plano.

• O Fabric oferece suporte à absorção de picos e à suavização para absorver picos de curto prazo na demanda computacional e distribuir, ao longo do tempo, o consumo das cargas de trabalho em segundo plano. Esses recursos ajudam a dimensionar capacidades para uso médio em vez de pico de demanda. Para obter mais informações, consulte Avaliar e otimizar a capacidade do Fabric.

• Coordene transformações de execução longa e operações de atualização para evitar sobreposição de cargas de trabalho de alta computação na mesma capacidade. Para obter mais informações, consulte Gerenciamento de carga de trabalho no Fabric Data Warehouse.

Tenha em mente as seguintes considerações sobre preços:

• O volume de armazenamento do OneLake, o período de retenção e os padrões de acesso a dados afetam diretamente o custo total. Estimar o crescimento de dados esperado por camada de medalhão e alinhar a retenção aos requisitos de negócios e conformidade.

• O preço do Microsoft Fabric se baseia em uma capacidade F atribuída, medida em CUs. As licenças por usuário do Power BI são separadas e não provisionam capacidade do Fabric.

Use a estimativa prefigurada na calculadora de preços Azure para obter um custo inicial para essa arquitetura. Ajuste os valores para corresponder à carga de trabalho esperada.

Excelência operacional

A Excelência Operacional abrange os processos operacionais que implantam, monitoram e mantêm uma carga de trabalho em produção. Para obter mais informações, consulte a lista de verificação de revisão de design para Excelência Operacional.

Microsoft Fabric fornece visibilidade operacional interna em cargas de trabalho de engenharia de dados, armazenagem e análise. Use o aplicativo Fabric Métricas de Capacidade para monitorar o consumo de capacidade, identificar artefatos com uso intensivo de recursos e entender como cargas de trabalho interativas e em segundo plano contribuem para a utilização geral. Esses insights ajudam as equipes a tomar decisões operacionais informadas sobre dimensionamento, agendamento e otimização.

Configure alertas proativos para que os administradores de capacidade possam identificar com antecedência condições de alta utilização ou de limitação de taxa e responder antes que os usuários sejam impactados.

Eficiência de desempenho

Eficiência de desempenho refere-se à capacidade de uma carga de trabalho de dimensionar e atender à demanda do usuário com eficiência. Para obter mais informações, consulte a lista de verificação de revisão de design para Eficiência de Desempenho.

Microsoft Fabric inclui vários mecanismos para ajudar a gerenciar o desempenho e a utilização da capacidade:

• A intermitência e a suavização permitem que picos de curto prazo na demanda de computação se concluam mais rapidamente, espalhando o uso ao longo do tempo. As operações interativas normalmente suavizam em minutos e as operações em segundo plano são suaves em janelas mais longas.

• A limitação é aplicada quando uma capacidade apresenta uso de computação sustentado acima dos limites do SKU atribuído. A limitação atrasa ou rejeita novas operações para proteger a estabilidade da plataforma.

• O aplicativo Fabric De Métricas de Capacidade fornece visibilidade detalhada do consumo de capacidade e distingue entre operações interativas (como consultas de relatório) e operações em segundo plano (como ingestão ou atualização de modelo). Essa distinção permite otimizações de desempenho direcionadas para diferentes tipos de carga de trabalho.

Contribuidores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

• Prabhjot Kaur | Arquiteto sênior de soluções de nuvem

Para ver perfis de LinkedIn não públicos, entre em LinkedIn.

Próximas etapas

• O que é Fabric Data Warehouse?
• Conectividade do warehouse
• O que é Copilot no Data Warehouse?
• CI/CD em Fabric Data Warehouse
• Arquitetura de Armazém de Dados

Recursos relacionados

• Escolha um armazenamento de dados analítico no Microsoft Fabric
• O que é um data lake?
• Armazenamento de dados e análise