Escolher um armazenamento de dados analíticos no Azure

A arquitetura de Big Data geralmente precisa de um armazenamento de dados analíticos que atenda dados processados em um formato estruturado. Você pode consultar esses dados usando ferramentas analíticas. Os armazenamentos de dados analíticos que dão suporte à consulta de dados de caminho quente e de caminho frio são coletivamente conhecidos como a camada de serviço ou o armazenamento de serviço de dados.

A camada de serviço manipula dados processados do caminho quente e do caminho frio. Na arquitetura lambda, a camada de serviço é subdividida em duas camadas. A camada de fornecimento rápido contém os dados processados incrementalmente. A camada de serviço em lote contém a saída processada em lote.

Embora a camada de serviço geral exija suporte forte para leituras aleatórias com baixa latência, o armazenamento de dados para a camada de velocidade também deve dar suporte a gravações aleatórias porque o carregamento em lote de dados nesse repositório apresenta atrasos indesejados. Por outro lado, o armazenamento de dados para a camada de lote precisa dar suporte a gravações em lote, não gravações aleatórias.

Nenhuma solução de gerenciamento de dados se ajusta a cada tarefa de armazenamento de dados. Soluções diferentes são ideais para tarefas específicas. A maioria dos aplicativos de nuvem do mundo real e os processos de Big Data têm vários requisitos de armazenamento de dados e geralmente usam uma combinação de soluções de armazenamento.

Soluções analíticas modernas, como Microsoft Fabric, fornecem uma plataforma abrangente que integra vários serviços de dados e ferramentas para atender às diversas necessidades analíticas. O Fabric inclui o OneLake, que é um data lake único, unificado e lógico para toda a sua organização. O OneLake foi projetado para armazenar, gerenciar e proteger todos os dados organizacionais em um único local. Essa flexibilidade permite que sua organização resolva uma ampla gama de requisitos de armazenamento e processamento de dados.

Escolha um armazenamento de dados analíticos

Microsoft oferece várias opções para o armazenamento de serviço de dados, dependendo de suas necessidades:

Modelos de banco de dados diferentes se adaptam a diferentes tipos de tarefas:

Os armazenamentos de dados chave-valor contêm um único objeto serializado para cada valor de chave. Eles podem gerenciar grandes volumes de dados quando a recuperação é baseada em uma chave específica, sem a necessidade de consultar outras propriedades de item.
Os armazenamentos de dados de documentos são armazenamentos de dados chave-valor nos quais os valores são documentos. Nesse contexto, um documento é uma coleção de campos e valores nomeados. O armazenamento de dados normalmente armazena os dados em um formato como XML, YAML, JSON ou JSON binário, mas pode usar texto sem formatação. Os armazenamentos de dados de documentos podem consultar campos não chave e definir índices secundários para melhorar a eficiência da consulta. Essa funcionalidade torna um banco de dados de documento mais adequado para aplicativos que precisam recuperar dados com base em critérios mais complexos do que o valor da chave do documento. Por exemplo, você pode consultar campos como ID do produto, ID do cliente ou nome do cliente.
Os armazenamentos de dados da família de colunas são armazenamentos de dados chave-valor que mantêm cada coluna separadamente no disco. Um banco de dados de colunas largas armazena famílias de colunas, não apenas colunas individuais. Por exemplo, um banco de dados censitário pode ter uma família de colunas separada para cada um dos atributos de um indivíduo:
- Primeiro nome, nome do meio e sobrenome
- Endereço para correspondência
- Informações de perfil, como data de nascimento ou sexo
O armazenamento de dados pode armazenar cada família de colunas em uma partição separada, mantendo todos os dados para uma pessoa relacionada à mesma chave. Um aplicativo pode ler uma única família de colunas sem verificar todos os dados de uma entidade.
Os armazenamentos de dados do Graph contêm informações como uma coleção de objetos e relações. Um repositório de dados de grafo pode executar com eficiência consultas que atravessam a rede de objetos e as relações entre eles. Por exemplo, os objetos podem ser funcionários em um banco de dados de recursos humanos e talvez você deseje facilitar consultas como "encontrar todos os funcionários que trabalham direta ou indiretamente para Scott".
Os bancos de dados de telemetria e séries temporais são uma coleção que permite somente acréscimos de objetos. Os bancos de dados de telemetria indexam dados com eficiência em vários repositórios de colunas e estruturas na memória. Essa funcionalidade os torna a opção ideal para armazenar e analisar grandes quantidades de dados de telemetria e série temporal.

Fabric dá suporte a vários modelos de banco de dados, incluindo bancos de dados chave-valor, documento, repositório de colunas, grafo e telemetria. Essa flexibilidade garante a escalabilidade de uma ampla gama de tarefas analíticas. Para escolher o armazenamento de dados Fabric certo para suas cargas de trabalho analíticas, consulte Fabric guia de decisão: escolha um armazenamento de dados.

Principais critérios de seleção

Para refinar o processo de seleção, considere os seguintes critérios:

Você precisa de um armazenamento de serviço que pode atuar como um caminho quente para os dados? Em caso afirmativo, escolha as opções mais adequadas para uma camada de entrega rápida.
Você precisa de suporte de processamento paralelo maciço, em que as consultas são distribuídas automaticamente em vários processos ou nós? Em caso afirmativo, selecione uma opção que dê suporte à expansão da consulta.
Você prefere usar um armazenamento de dados relacionais? Se você fizer isso, escolha as opções que têm um modelo de banco de dados relacional. No entanto, alguns armazenamentos de dados não relacionais oferecem suporte à sintaxe SQL para consultas, e você pode usar ferramentas como endpoints de análise SQL para consultar armazenamentos de dados não relacionais, como o OneLake.
Você coleta dados de série temporal? Você usa dados somente de anexação? O OneLake dá suporte a vários mecanismos analíticos, incluindo Analysis Services, T-SQL e Apache Spark. O Eventhouse é adequado para diversas necessidades de processamento e consulta de dados de série temporal.

Matriz de funcionalidades

As tabelas a seguir resumem as principais diferenças de recursos entre esses serviços gerenciados.

Funcionalidades gerais

Funcionalidade	Lakehouse	data warehouse	Eventhouse	Banco de Dados SQL do Fabric	Banco de Dados SQL do Azure	Azure Cosmos DB	Analysis Services
Modelo de banco de dados primário	Formato de delta lake unificado, relacional e gerenciado pelo usuário usando o Apache Parquet	Formato de lago de dados unificado, relacional e gerenciado pelo sistema delta lake usando Apache Parquet	Banco de dados de séries temporais orientado à anexação, grafo, vetor	Relacional (formato de armazenamento em coluna quando você usa índices de armazenamento em coluna)	Relacional (formato de armazenamento em coluna quando você usa índices de armazenamento em coluna)	Repositório de documentos, gráfico, repositório de chave-valor, repositório de coluna grande	Modelos semânticos de tabela
Suporte à linguagem SQL	Sim¹	Sim	Sim²	Sim	Sim	Sim	Não
Otimizado para camada de entrega rápida	Sim	Sim	Sim³	Sim⁴	Sim⁵	Sim	Não

T-SQL via ponto de extremidade do SQL Analytics.

[2] A KQL (Linguagem de Consulta Kusto) tem suporte parcial à linguagem T-SQL.

[3] Suporta ingestão em fila e ingestão de streaming.

[4] Dá suporte à precisão transacional com acesso de baixa latência e atualizações em tempo real.

[5] Usando tabelas com otimização de memória e índices hash ou não clusterizados.

Funcionalidades de escalabilidade

Funcionalidade	Lakehouse	data warehouse	Eventhouse	Banco de Dados SQL do Fabric	Banco de Dados SQL do Azure	Azure Cosmos DB	Analysis Services
Servidores regionais redundantes para alta disponibilidade	Sim^{, 1,2}	Sim^{, 1,2}	Sim	Sim	Sim	Sim	Sim
Dá suporte à expansão da consulta	Sim³	Sim⁴	Sim⁵	Sim	Não	Sim	Sim
Escalabilidade dinâmica (escalar verticalmente)	Sim³	Sim⁴	Sim⁵	Sim	Sim	Sim	Sim
Dá suporte ao cache em memória de dados	Sim⁶	Sim⁶	Sim, ⁷	Sim	Sim	Sim	Não

Os endpoints SQL passam por gerenciadores globais de tráfego, mas a região atribuída da capacidade do Fabric sempre processa os dados.

[2] O Lakehouse e o Warehouse armazenam dados no OneLake no formato Delta Parquet, que oferece suporte a consultas e à replicação entre mecanismos.

[3] O Lakehouse dá suporte à expansão baseada em Spark para dados não estruturados e estruturados.

[4] O Warehouse usa T-SQL e dá suporte a transações multitable, gerenciamento de carga de trabalho autônoma e DQP (processamento de consulta distribuída). O DQP atua como um gerenciador de clusters, alocando dinamicamente recursos de computação com base na complexidade da consulta.

[5] O Eventhouse dá suporte à federação de KQL e SQL para análise em tempo real em várias fontes e para dimensionar recursos de computação se o uso de cache frequente exceder cerca de 95%.

[6] Cache inteligente para tarefas do Spark, cache na memória, cache de conjunto de resultados para endpoints de análise SQL.

[7] Os dados acessados com frequência são armazenados em um cache quente que inclui armazenamento em memória e em SSD.

Funcionalidades de segurança

Funcionalidade	Lakehouse	data warehouse	Eventhouse	Banco de Dados SQL do Fabric	Banco de Dados SQL do Azure	Azure Cosmos DB	Analysis Services
Autenticação	Microsoft Entra ID	Microsoft Entra ID	Microsoft Entra ID	Microsoft Entra ID	SQL ou Microsoft Entra ID	Usuários de banco de dados ou Microsoft Entra ID por controle de acesso (gerenciamento de identidade e acesso)	Microsoft Entra ID
Criptografia de dados em repouso	Sim	Sim	Sim	Sim	Sim¹	Sim	Sim
Segurança em nível de linha	Sim	Sim	Sim	Sim	Sim	Não	Sim
Dá suporte a firewalls	Sim²	Sim²	Sim³	Sim	Sim	Sim	Sim
Mascaramento de dados dinâmicos	Sim⁴	Sim⁴	Não	Sim	Sim	Não	Não

[1] Requer que você use criptografia de dados transparente para criptografar e descriptografar seus dados em repouso.

[2] Use links privados e Acesso condicional do Microsoft Entra para restringir o acesso a recursos de Fabric.

[3] As cargas de trabalho do Fabric Eventhouse e do Real-Time Intelligence podem ingerir dados de fontes seguras, como Kafka, Hubs de Eventos do Azure e AMQP, com roteamento por meio de pontos de extremidade seguros.

[4] Aplique isso no nível do endpoint SQL do Fabric.

Contribuidores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

Mohit Agarwal | Arquiteto principal de soluções de nuvem

Para ver perfis não públicos no LinkedIn, entre no LinkedIn.

Próximas etapas

Comentários

Esta página foi útil?

Last updated on 2026-08-29