Serviços de análise em Azure e AWS

Este artigo compara os serviços de análise no Amazon Web Services (AWS) e Azure. Ele abrange a ingestão e orquestração de dados, data lakes, processamento em lote, data warehouses, processamento de fluxo, governança, compartilhamento e business intelligence.

Para armazenamentos de dados relacionais e não relacionais operacionais, consulte os serviços de banco de dados no Azure e no AWS. Para serviços de IA de aplicativo e machine learning, consulte serviços de IA e machine learning em Azure e AWS.

Abordagens de plataforma

O AWS fornece serviços de análise individuais que você compõe em uma solução. Microsoft Fabric fornece cargas de trabalho integradas de Data Factory, Engenharia de Dados, Data Warehouse, Inteligência de Real-Time, Ciência de Dados e Power BI no OneLake. Azure também fornece serviços autônomos, incluindo Azure Data Factory, Azure Databricks, Hubs de Eventos do Azure, Azure Stream Analytics e Azure Data Explorer.

Uma plataforma integrada não é automaticamente a escolha certa para cada carga de trabalho. Compare o suporte de origem e formato, mecanismos e APIs necessários, isolamento de rede, disponibilidade regional, limites de governança, controle operacional, habilidades existentes e preços. A capacidade do Fabric é compartilhada entre as cargas de trabalho do Fabric, enquanto os serviços autônomos do Azure têm sua própria capacidade e seus próprios modelos de cobrança.

Integração e orquestração de dados

Use os serviços de integração de dados para ingerir, copiar, transformar e orquestrar dados em sistemas operacionais e repositórios analíticos.

Serviço AWS serviço Azure Diretrizes de seleção
AWS Glue Data Factory em Microsoft Fabric ou Azure Data Factory Todos os três fornecem integração de dados gerenciados. Compare conectores, mecanismos de transformação, rede privada, posicionamento em runtime, recursos de orquestração e integração com a plataforma de análise de destino.
Amazon Managed Workflows for Apache Airflow Trabalhos do Apache Airflow no Microsoft Fabric Ambos executam fluxos de trabalho do Apache Airflow. Valide as versões do Airflow com suporte, a instalação do pacote, a rede, a identidade, o dimensionamento e os requisitos de migração.
AWS Serviço de Migração de Banco de Dados Azure Serviço de Migração de Banco de Dados ou Fabric Assistente de Migração para Armazém de Dados Essas ferramentas têm escopos diferentes. Use o Azure Serviço de Migração de Banco de Dados para pares de origem e destino de banco de dados com suporte. Use Fabric Assistente de Migração para mover dados e esquemas SQL compatíveis para Fabric Data Warehouse.
Amazon AppFlow Conectores do Data Factory ou Aplicativos Lógicos do Azure Use o Data Factory para ingestão e transformação analíticas. Use aplicativos lógicos para integração entre aplicativos e processos comerciais. Verifique as operações do conector, a autenticação e os requisitos de volume de dados.

Lagos de dados e casas de dados

O Amazon S3 normalmente fornece a camada de armazenamento para data lakes do AWS. Em Azure, Azure Data Lake Storage fornece armazenamento de objetos com um namespace hierárquico. OneLake é o data lake lógico integrado a Microsoft Fabric.

Serviço AWS serviço Azure Diretrizes de seleção
Amazon S3 Azure Data Lake Storage Ambos fornecem armazenamento de objetos duráveis para dados analíticos. Compare o comportamento do namespace, a segurança, o gerenciamento do ciclo de vida, a replicação, a integração do ecossistema e os custos de transferência de dados.
Amazon S3 Microsoft OneLake O OneLake faz parte do Fabric e fornece armazenamento compartilhado para cargas de trabalho Fabric. O OneLake não é uma substituição geral para todas as cargas de trabalho do S3. Use-o quando Fabric for a plataforma de análise e seu respectivo recurso, região, segurança e modelo de carga de trabalho atenderem aos requisitos.
AWS Lake Formation Segurança do OneLake e Microsoft Purview em Fabric A AWS Lake Formation gerencia o acesso a data lakes baseados no Amazon S3. Fabric separa permissões de armazenamento, permissões de item e recursos de governança. Mapeie os requisitos de autorização e governança em vez de assumir um equivalente de serviço único.
Dados externos do Amazon S3 Atalhos do OneLake Atalhos fazem referência a dados com suporte em S3, Azure Data Lake Storage, Google Cloud Storage e outros locais sem copiá-los. Use a movimentação de dados quando precisar de transformações complexas, agendamento personalizado ou um destino fora do OneLake.

Engenharia de dados em lote

Serviço AWS serviço Azure Diretrizes de seleção
Amazon EMR Azure Databricks Ambos dão suporte a cargas de trabalho gerenciadas do Apache Spark e outras cargas de trabalho de engenharia de dados. Compare a compatibilidade de runtime, o controle de cluster, o escalonamento automático, a governança, os notebooks, as tarefas e as integrações com o ecossistema.
Sessões interativas do Amazon EMR e AWS Glue engenharia de dados Fabric A engenharia de dados no Fabric oferece Spark gerenciado, notebooks, ambientes e tarefas integrados ao OneLake. Não é uma substituição direta de cada framework do EMR ou configuração de cluster. Valide os requisitos de runtime, de biblioteca, de rede e de desempenho.
AWS Glue Studio Fabric Data Factory ou Azure Data Factory Esses serviços fornecem experiências de transformação de dados baseadas em código e visuais. Selecione com base no mecanismo de transformação, orquestração, suporte de origem e destino e modelo operacional.

Data warehouses e análise de SQL

Serviço AWS serviço Azure Diretrizes de seleção
Amazon Redshift Fabric Data Warehouse Ambos fornecem data warehouses de SQL distribuídos. Compare a compatibilidade do SQL, o isolamento da carga de trabalho, o dimensionamento, a ingestão, o compartilhamento de dados, a simultaneidade, a governança e os preços. Fabric Data Warehouse opera sobre o OneLake e consome capacidade do Fabric.
Amazon Redshift AZURE DATABRICKS SQL Considere Azure Databricks SQL quando a carga de trabalho usa uma arquitetura lakehouse e o Databricks é a plataforma de dados primária. Não é uma substituição de mecanismo relacional para cada carga de trabalho do Redshift.
Amazon Redshift Spectrum Fabric lakehouse, atalhos do OneLake, e Direct Lake O Redshift Spectrum consulta dados no S3. Fabric fornece recursos separados de armazenamento, computação e modelo semântico. O Direct Lake requer tabelas Delta com suporte e capacidade do Fabric. Revise os formatos de origem e os limites de capacidade.
Amazônia Athena endpoint de análise SQL do lakehouse no Fabric ou SQL do Azure Databricks Athena é SQL sem servidor sobre os dados em S3. Azure opções diferem em armazenamento, metadados, computação e cobrança. Selecione com base na localização de dados, compatibilidade do SQL, latência, simultaneidade e governança.

Análise em tempo real

Separar a ingestão de eventos do processamento de fluxo e do armazenamento analítico ao comparar serviços. Um endpoint compatível com Kafka não oferece todos os recursos de um broker do Apache Kafka.

Serviço AWS serviço Azure Diretrizes de seleção
Fluxos de dados do Amazon Kinesis Hubs de eventos do Azure Ambos ingerem e retêm fluxos de eventos de alta taxa de transferência para consumidores independentes. Compare particionamento, retenção, reprodução, taxa de transferência, protocolos e dimensionamento.
Serviço Gerenciado da Amazon para Apache Flink Azure Stream Analytics ou fluxos de eventos do Fabric Esses serviços processam fluxos, mas usam diferentes idiomas e modelos de execução. O Stream Analytics usa uma linguagem de consulta baseada em SQL. Os fluxos de eventos do Fabric fornecem ingestão, transformações sem necessidade de código e roteamento no Fabric.
Amazon Managed Streaming para Apache Kafka Hubs de Eventos para Apache Kafka O AMAZON MSK executa o Apache Kafka de software livre. O Event Hubs fornece um ponto de extremidade compatível com o Kafka e não é um cluster do Apache Kafka. Validar recursos de protocolo, transações, compactação, suporte ao Kafka Streams, retenção, cotas e requisitos de camada.
Serviço Amazon OpenSearch Azure Data Explorer ou Fabric Eventhouse Use o Azure Data Explorer ou o Eventhouse para análise de logs, telemetria e séries temporais com a linguagem de consulta Kusto. O OpenSearch também fornece recursos de pesquisa de texto completo, portanto, esses serviços não são substituições completas para cargas de trabalho de pesquisa.
Amazon Timestream Azure Data Explorer ou Fabric Eventhouse Esses serviços dão suporte à análise de série temporal. Compare protocolos de ingestão, linguagem de consulta, retenção, estratificação, comportamento de atualização e requisitos de integração.

Business intelligence e compartilhamento de dados

Serviço AWS serviço Azure Diretrizes de seleção
Amazon QuickSight Power BI Ambos fornecem modelagem semântica, relatórios, dashboards, compartilhamento e análise inserida. Compare os requisitos de licenciamento, capacidade, identidade, governança, autoria e incorporação.
Grafana gerenciado pela Amazon Espaço Gerenciado do Azure para Grafana Ambos fornecem o Grafana gerenciado. Compare integrações de fonte de dados, autenticação, rede privada, alta disponibilidade, plug-ins e tipos de preço.
Troca de dados do AWS Microsoft Marketplace e compartilhamento externo de dados do Fabric O AWS Data Exchange combina um marketplace de dados com entrega. O Microsoft Marketplace e o compartilhamento de dados do Fabric abordam diferentes partes desse fluxo de trabalho. O compartilhamento de dados externos do Fabric fornece acesso entre locatários com governança para itens do Fabric com suporte, mas não é um mercado de dados.

Governança de dados

Microsoft Purview e uma combinação de serviços AWS fornecem recursos de descoberta, classificação, linhagem, governança de acesso e conformidade de dados. O AWS geralmente combina Glue Catálogo de Dados, Lake Formation, Amazon Macie, AWS Identity and Access Management e AWS Config. Microsoft Purview fornece um catálogo unificado e recursos de governança em Azure, Fabric, local, multinuvem e software como fontes de serviço com suporte.

A cobertura de governança depende da origem e do recurso. Verifique o suporte à varredura, a coleta de linhagem, a aplicação de políticas, os rótulos de confidencialidade, o acesso à rede e a disponibilidade regional para cada fonte de dados na arquitetura.

Considerações sobre migração

Não migre uma plataforma analítica como uma lista de substituições um a um de serviços. Fontes de dados de inventário, formatos, tipos de tabela, pipelines, dependências de orquestração, código de transformação, dialetos de consulta, modelos semânticos, relatórios, políticas de segurança, residência de dados, objetivos de nível de serviço e processos operacionais. Use testes de custo e desempenho representativos antes de selecionar os serviços de destino.