Serviços de análise no Azure e AWS

Este artigo compara serviços de análise na Amazon Web Services (AWS) e no Azure. Abrange a ingestão e orquestração de dados, data lakes, processamento em lote, data warehouses, processamento de fluxos, governação, partilha e inteligência de negócio.

Para armazenamentos de dados relacionais e não relacionais operacionais, veja Serviços de base de dados no Azure e AWS. Para serviços de aprendizagem automática e IA de aplicação, veja IA e serviços de aprendizagem automática no Azure e AWS.

Abordagens de plataforma

A AWS oferece serviços de análise individual que deve integrar numa solução. Microsoft Fabric fornece cargas integradas de Data Factory, Data Engineering, Data Warehouse, Real-Time Intelligence, Data Science e Power BI através do OneLake. O Azure também fornece serviços independentes, incluindo Azure Data Factory, Azure Databricks, Hubs de Eventos do Azure, Azure Stream Analytics e Azure Data Explorer.

Uma plataforma integrada não é automaticamente a escolha certa para todas as cargas de trabalho. Compare suporte de origem e formato, motores e APIs obrigatórios, isolamento de rede, disponibilidade regional, limites de governação, controlo operacional, competências existentes e preços. A capacidade do Fabric é partilhada entre as cargas de trabalho do Fabric, enquanto os serviços autónomos do Azure têm os seus próprios modelos de capacidade e faturação.

Integração e orquestração de dados

Use serviços de integração de dados para ingerir, copiar, transformar e orquestrar dados entre sistemas operacionais e armazenamentos analíticos.

Serviço do AWS Serviço do Azure Orientação de seleção
AWS Glue Data Factory em Microsoft Fabric ou Azure Data Factory Todos os três fornecem integração de dados geridos. Compare conectores, motores de transformação, redes privadas, posicionamento em tempo de execução, funcionalidades de orquestração e integração com a plataforma de análise alvo.
Fluxos de Trabalho Geridos pela Amazon para Apache Airflow Tarefas do Apache Airflow no Microsoft Fabric Ambos executam fluxos de trabalho Apache Airflow. Validar versões suportadas do Airflow, instalação de pacotes, rede, identidade, escalabilidade e requisitos de migração.
AWS Database Migration Service Azure Database Migration Service ou Fabric Assistente de Migração for Data Warehouse Estas ferramentas têm diferentes alcances. Utilize o Azure Database Migration Service para pares de origem-destino de bases de dados suportados. Use Fabric Assistente de Migração para mover esquemas SQL suportados e dados para Fabric Data Warehouse.
Amazon AppFlow Conectores do Data Factory ou Azure Logic Apps Use o Data Factory para ingestão analítica e transformação. Use Logic Apps para integração de aplicações e processos de negócio. Verifique as operações do conector, autenticação e requisitos de volume de dados.

Lagos de dados e casas lacustres

A Amazon S3 fornece normalmente a camada de armazenamento para os data lakes da AWS. No Azure, o Azure Data Lake Storage fornece armazenamento de objetos com um namespace hierárquico. OneLake é o data lake lógico incorporado no Microsoft Fabric.

Serviço do AWS Serviço do Azure Orientação de seleção
Amazon S3 Azure Data Lake Storage Ambos fornecem armazenamento durável de objetos para dados analíticos. Compare o comportamento do namespace, segurança, gestão do ciclo de vida, replicação, integração do ecossistema e custos de transferência de dados.
Amazon S3 Microsoft OneLake O OneLake faz parte do Fabric e fornece armazenamento partilhado para cargas de trabalho do Fabric. O OneLake não é um substituto geral para todas as cargas de trabalho do S3. Utilize-o quando o Fabric for a plataforma de análise e a sua capacidade, região, segurança e modelo de carga de trabalho correspondam aos seus requisitos.
Formação de lagos da AWS Segurança do OneLake e Microsoft Purview em Fabric O AWS Lake Formation gere o acesso a data lakes baseados em S3. O Fabric separa permissões de armazenamento, permissões de itens e capacidades de governação. Mapeie os requisitos de autorização e governação em vez de assumir um equivalente de um único serviço.
Dados externos do Amazon S3 Atalhos do OneLake Os atalhos referenciam dados suportados no S3, Azure Data Lake Storage, Google Cloud Storage e outros locais sem os copiar. Use o movimento de dados quando precisar de transformações complexas, agendamento personalizado ou um destino fora do OneLake.

Engenharia de dados por lote

Serviço do AWS Serviço do Azure Orientação de seleção
Amazon EMR Azure Databricks Ambos oferecem suporte a Apache Spark gerido e a outras cargas de trabalho de engenharia de dados. Compare a compatibilidade de runtime, o controlo de clusters, o autoescalonamento, a governação, os notebooks, as tarefas e as integrações com ecossistemas.
Sessões interativas Amazon EMR e AWS Glue Engenharia de Dados Fabric A Fabric Data Engineering fornece Spark gerido, notebooks, ambientes e trabalhos integrados com o OneLake. Não é um substituto direto para todas as estruturas de EMR ou configurações de cluster. Validar requisitos de runtime, biblioteca, rede e desempenho.
AWS Glue Studio Fabric Data Factory ou Azure Data Factory Estes serviços proporcionam experiências visuais e de transformação de dados baseadas em código. Selecione com base no motor de transformação, orquestração, suporte de origem e alvo, e modelo operacional.

Armazéns de dados e análise SQL

Serviço do AWS Serviço do Azure Orientação de seleção
Amazon Redshift Fabric Data Warehouse Ambos fornecem armazéns de dados SQL distribuídos. Compare compatibilidade SQL, isolamento de carga de trabalho, escalabilidade, ingestão, partilha de dados, concorrência, governação e preços. O Fabric Data Warehouse funciona com base no OneLake e consome capacidade do Fabric.
Amazon Redshift Azure Databricks SQL Considere o Azure Databricks SQL quando a carga de trabalho utiliza uma arquitetura lakehouse e o Databricks é a principal plataforma de dados. Não é uma substituição relacional do motor para todas as cargas de trabalho do Redshift.
Espectro de Redshift da Amazon Fabric lakehouse, atalhos OneLake, e Direct Lake O Redshift Spectrum consulta dados no S3. O Fabric fornece capacidades separadas de armazenamento, computação e modelo semântico. O Direct Lake requer tabelas Delta suportadas e capacidade do Fabric. Revise os formatos das fontes e os limites de capacidade.
Amazon Athena Fabric lakehouse SQL analytics endpoint ou Azure Databricks SQL O Athena é SQL sem servidor para dados em S3. As opções do Azure diferem em armazenamento, metadados, computação e faturação. Selecione com base na localização dos dados, compatibilidade SQL, latência, concorrência e governação.

Análise em tempo real

Separa a ingestão de eventos do processamento de fluxo e do armazenamento analítico quando comparas serviços. Um endpoint compatível com Kafka não fornece todas as funcionalidades do broker Apache Kafka.

Serviço do AWS Serviço do Azure Orientação de seleção
Fluxos de Dados Amazon Kinesis Hubs de Eventos do Azure Ambos ingerem e retêm fluxos de eventos de alto débito para consumidores independentes. Compare particionamento, retenção, reprodução, throughput, protocolos e escalabilidade.
Serviço Gerido da Amazon para Apache Flink Azure Stream Analytics ou Fabric eventstreams Estes serviços processam fluxos, mas utilizam linguagens e modelos de execução diferentes. A Stream Analytics utiliza uma linguagem de consulta baseada em SQL. O Fabric eventstreams fornece ingestão, transformações sem código e roteamento dentro do Fabric.
Amazon Managed Streaming para Apache Kafka Hubs de Eventos para Apache Kafka A Amazon MSK corre o Apache Kafka open-source. O Event Hubs fornece um endpoint compatível com Kafka e não é um cluster Apache Kafka. Validar funcionalidades do protocolo, transações, compressão, suporte a Kafka Streams, retenção, quotas e requisitos de níveis.
Serviço Amazon OpenSearch Azure Data Explorer ou Fabric Eventhouse Use Azure Data Explorer ou Eventhouse para análise de logs, telemetria e séries temporais com a Kusto Query Language. O OpenSearch também oferece capacidades de pesquisa em texto integral, por isso estes serviços não são substitutos completos das cargas de trabalho de pesquisa.
Amazon Timestream Azure Data Explorer ou Fabric Eventhouse Estes serviços suportam análises de séries temporais. Compare os protocolos de ingestão, a linguagem de consulta, a retenção, o armazenamento por camadas, o comportamento de atualização e os requisitos de integração.

Inteligência de negócio e partilha de dados

Serviço do AWS Serviço do Azure Orientação de seleção
Amazon QuickSight Power BI Ambos fornecem modelação semântica, relatórios, dashboards, partilha e análises embutidas. Compare requisitos de licenciamento, capacidade, identidade, governação, autoria e incorporação.
Grafana Gerida pela Amazon Azure Managed Grafana Ambos fornecem Grafana gerida. Compare integrações com fontes de dados, autenticação, redes privadas, alta disponibilidade, plugins e níveis de preços.
Intercâmbio de dados da AWS Microsoft Marketplace e partilha externa de dados do Fabric O AWS Data Exchange combina um mercado de dados com a entrega. O Microsoft Marketplace e o Fabric data sharing abordam diferentes partes desse fluxo de trabalho. A partilha externa de dados do Fabric fornece acesso interlocatário governado para itens Fabric suportados, mas não é um mercado de dados.

Governação de dados

O Microsoft Purview e uma combinação de serviços AWS fornecem capacidades de descoberta, classificação, linhagem, governação de acesso e conformidade. A AWS combina frequentemente o Glue Catálogo de Dados, Lake Formation, Amazon Macie, AWS Identity and Access Management e AWS Config. O Microsoft Purview oferece um catálogo unificado e capacidades de governação entre fontes suportadas de Azure, Fabric, on-premises, multicloud e software como serviço.

A cobertura de governança depende da fonte e da funcionalidade. Verifique o suporte à digitalização, recolha de linhagem, aplicação de políticas, rótulos de sensibilidade, acesso à rede e disponibilidade regional para cada fonte de dados na arquitetura.

Considerações sobre migração

Não migre uma plataforma de analítica como se fosse uma lista de substituições diretas de serviços. Fontes de dados de inventário, formatos, tipos de tabelas, pipelines, dependências de orquestração, código de transformação, dialetos de consulta, modelos semânticos, relatórios, políticas de segurança, residência de dados, objetivos de nível de serviço e processos operacionais. Utilize testes de desempenho e custos representativos antes de selecionar os serviços-alvo.