Services d’analyse sur Azure et AWS

Cet article compare les services d’analyse sur Amazon Web Services (AWS) et les Azure. Il couvre l’ingestion et l’orchestration des données, les lacs de données, le traitement par lots, les entrepôts de données, le traitement des flux de données, la gouvernance, le partage et l’informatique décisionnelle.

Pour les bases de données opérationnelles relationnelles et non relationnelles, consultez Services de base de données sur Azure et AWS. Pour les services d’IA d’apprentissage automatique et d’application, consultez les services IA et Machine Learning sur Azure et AWS.

Approches de plateforme

AWS fournit des services d’analytique individuels que vous composez dans une solution. Microsoft Fabric fournit des charges de travail intégrées Data Factory, Ingénierie des données, Entrepôt de données, Intelligence en temps réel, Science des données et Power BI via OneLake. Azure fournit également des services autonomes, notamment Azure Data Factory, Azure Databricks, Azure Event Hubs, Azure Stream Analytics et Azure Data Explorer.

Une plateforme intégrée n’est pas automatiquement le bon choix pour chaque charge de travail. Comparez la prise en charge de la source et du format, les moteurs et LES API requis, l’isolation réseau, la disponibilité régionale, les limites de gouvernance, le contrôle opérationnel, les compétences existantes et la tarification. La capacité Fabric est partagée entre les workloads Fabric, tandis que les services Azure autonomes ont leurs propres modèles de capacité et de facturation.

Intégration et orchestration des données

Utilisez les services d’intégration de données pour ingérer, copier, transformer et orchestrer des données entre les systèmes opérationnels et les magasins analytiques.

Service d'AWS Service d'Azure Conseils de sélection
AWS Glue Data Factory dans Microsoft Fabric ou Azure Data Factory Les trois fournissent une intégration de données managées. Comparez les connecteurs, les moteurs de transformation, la mise en réseau privée, le placement du runtime, les fonctionnalités d’orchestration et l’intégration à la plateforme d’analyse cible.
Amazon Managed Workflows pour Apache Airflow Travaux Apache Airflow dans Microsoft Fabric Les deux exécutent des flux de travail Apache Airflow. Validez les versions airflow prises en charge, l’installation du package, la mise en réseau, l’identité, la mise à l’échelle et les exigences de migration.
AWS Database Migration Service Azure Database Migration Service ou Fabric Assistant Migration pour Data Warehouse Ces outils ont des étendues différentes. Utilisez Azure Database Migration Service pour les paires source-cible de base de données prises en charge. Utilisez Fabric Assistant Migration pour déplacer les schémas et données SQL pris en charge dans Fabric Data Warehouse.
Amazon AppFlow Connecteurs de Data Factory ou Azure Logic Apps Utilisez Data Factory pour l’ingestion et la transformation analytiques. Utilisez Logic Apps pour l’intégration d’applications et de processus métier. Vérifiez les opérations du connecteur, l’authentification et les besoins en volume de données.

Data lakes et lakehouses

Amazon S3 fournit généralement la couche de stockage pour les lacs de données AWS. Sur Azure, Azure Data Lake Storage fournit un stockage d’objets avec un espace de noms hiérarchique. OneLake est le lac de données logique intégré à Microsoft Fabric.

Service d'AWS Service d'Azure Conseils de sélection
Amazon S3 Azure Data Lake Storage Les deux fournissent un stockage d’objets durable pour les données analytiques. Comparez le comportement de l’espace de noms, la sécurité, la gestion du cycle de vie, la réplication, l’intégration de l’écosystème et les coûts de transfert de données.
Amazon S3 Microsoft OneLake OneLake fait partie de Fabric et fournit un stockage partagé pour les charges de travail Fabric. OneLake n’est pas un remplacement général pour chaque charge de travail S3. Utilisez-la quand Fabric est la plateforme d’analyse et sa capacité, sa région, sa sécurité et son modèle de charge de travail répondent à vos besoins.
AWS Lake Formation Sécurité OneLake et Microsoft Purview dans Fabric AWS Lake Formation gère l’accès aux lacs de données S3. Fabric sépare les autorisations de stockage, les autorisations d’élément et les fonctionnalités de gouvernance. Cartographiez les exigences en matière d’autorisation et de gouvernance au lieu de supposer l’existence d’un équivalent reposant sur un service unique.
Données externes Amazon S3 Raccourcis OneLake Les raccourcis référencent les données prises en charge dans S3, Azure Data Lake Storage, Google Cloud Storage et d’autres emplacements sans les copier. Utilisez plutôt le déplacement des données lorsque vous avez besoin de transformations complexes, de planification personnalisée ou d’une destination en dehors de OneLake.

Ingénierie des données batch

Service d'AWS Service d'Azure Conseils de sélection
Amazon EMR Azure Databricks Les deux prennent en charge Apache Spark managé et d’autres charges de travail d’ingénierie des données. Comparez la compatibilité des environnements d’exécution, la gestion des clusters, la mise à l’échelle automatique, la gouvernance, les notebooks, les tâches et les intégrations à l’écosystème.
Sessions interactivesAmazon EMR et AWS Glue Fabric Data Engineering L'ingénierie des données Fabric fournit Spark, des notebooks, des environnements et des travaux gérés intégrés à OneLake. Il n’est pas un remplacement direct pour chaque infrastructure EMR ou configuration de cluster. Validez les exigences en matière de runtime, de bibliothèque, de mise en réseau et de performances.
AWS Glue Studio Fabric Data Factory ou Azure Data Factory Ces services fournissent des expériences de transformation de données visuelles et basées sur du code. Sélectionnez en fonction du moteur de transformation, de l’orchestration, de la prise en charge source et cible et du modèle d’exploitation.

Entrepôts de données et analytique SQL

Service d'AWS Service d'Azure Conseils de sélection
Amazon Redshift Entrepôt de données Fabric Les deux fournissent des entrepôts de données SQL distribués. Comparez la compatibilité SQL, l’isolation des charges de travail, la mise à l’échelle, l’ingestion, le partage de données, la concurrence, la gouvernance et la tarification. Fabric Data Warehouse s’appuie sur OneLake et consomme de la capacité Fabric.
Amazon Redshift Azure Databricks SQL Envisagez Azure Databricks SQL lorsque la charge de travail utilise une architecture lakehouse et Databricks est la plateforme de données principale. Il ne s’agit pas d’un remplacement de moteur relationnel pour chaque charge de travail Redshift.
Amazon Redshift Spectrum Fabric lakehouse, raccourcis OneLake et Direct Lake Redshift Spectrum interroge les données dans S3. Fabric fournit des fonctionnalités de stockage, de calcul et de modèle sémantique distinctes. Direct Lake nécessite des tables Delta prises en charge et une capacité Fabric. Passez en revue les formats sources et les garde-fous de capacité.
AmazonThéna Fabric point de terminaison d’analytique SQL lakehouse ou Azure Databricks SQL Athéna est un service de requêtes SQL serverless sur des données stockées dans S3. Azure options diffèrent dans le stockage, les métadonnées, le calcul et la facturation. Sélectionnez en fonction de l’emplacement des données, de la compatibilité SQL, de la latence, de la concurrence et de la gouvernance.

Analyse en temps réel

Séparez l’ingestion d’événements du traitement de flux et du stockage analytique lorsque vous comparez des services. Un point de terminaison compatible Kafka ne fournit pas chaque fonctionnalité de répartiteur Apache Kafka.

Service d'AWS Service d'Azure Conseils de sélection
Flux de données Amazon Kinesis Azure Event Hubs Ingestion et conservation des flux d’événements à débit élevé pour les consommateurs indépendants. Comparez le partitionnement, la rétention, la relecture, le débit, les protocoles et la mise à l’échelle.
Amazon Managed Service pour Apache Flink Azure Stream Analytics ou Fabric eventstreams Ces services traitent des flux, mais utilisent des langages et des modèles d’exécution différents. Stream Analytics utilise un langage de requête SQL. Fabric eventstreams fournit l’ingestion, des transformations sans code et le routage au sein de Fabric.
Amazon Managed Streaming pour Apache Kafka Event Hubs pour Apache Kafka Amazon MSK exécute Apache Kafka open source. Event Hubs fournit un point de terminaison compatible Kafka et n’est pas un cluster Apache Kafka. Validez les fonctionnalités de protocole, les transactions, la compression, la prise en charge des flux Kafka, la rétention, les quotas et les exigences de niveau.
Amazon OpenSearch Service Azure Data Explorer ou Fabric Eventhouse Utilisez Azure Data Explorer ou Eventhouse pour l’analyse des journaux, des données de télémétrie et de séries chronologiques avec le langage de requête Kusto. OpenSearch fournit également des fonctionnalités de recherche en texte intégral. Ces services ne sont donc pas des remplacements complets pour les charges de travail de recherche.
Amazon Timestream Azure Data Explorer ou Fabric Eventhouse Ces services prennent en charge l’analytique de série chronologique. Comparez les protocoles d’ingestion, le langage de requête, la rétention, la hiérarchisation, le comportement de mise à jour et les exigences d’intégration.

Informatique décisionnelle et partage de données

Service d'AWS Service d'Azure Conseils de sélection
Amazon QuickSight Power BI Les deux fournissent la modélisation sémantique, les rapports, les tableaux de bord, le partage et l’analytique incorporée. Comparez les exigences de licence, de capacité, d’identité, de gouvernance, de création et d’incorporation.
Grafana géré par Amazon Grafana géré par Azure Les deux fournissent des Grafana managés. Comparez les intégrations de source de données, l’authentification, la mise en réseau privée, la haute disponibilité, les plug-ins et les niveaux tarifaires.
Échange de données AWS Microsoft Marketplace et partage de données externe dans Fabric AWS Data Exchange combine une place de marché de données avec la livraison. Microsoft Marketplace et le partage de données dans Fabric répondent à différents aspects de ce flux de travail. Le partage externe de données Fabric fournit un accès inter-locataires gouverné aux éléments Fabric pris en charge, mais ne constitue pas une place de marché de données.

Gouvernance des données

Microsoft Purview et une combinaison de services AWS fournissent des fonctionnalités de découverte, de classification, de traçabilité, de gouvernance d’accès et de conformité des données. AWS combine généralement Glue Data Catalog, Lake Formation, Amazon Macie, AWS Identity and Access Management et AWS Config. Microsoft Purview fournit des fonctionnalités de catalogue et de gouvernance unifiées dans les Azure, les Fabric, les sources locales, multiclouds et logicielles en tant que service.

La couverture de gouvernance dépend de la source et de la fonctionnalité. Vérifiez la prise en charge de l’analyse, la collecte de lignage, l’application des politiques, les étiquettes de sensibilité, l’accès réseau et la disponibilité régionale pour chaque source de données dans l’architecture.

Considérations relatives à la migration

Ne migrez pas une plateforme d’analytique en tant que liste de substitutions de service un-à-un. Sources de données d’inventaire, formats, types de tables, pipelines, dépendances d’orchestration, code de transformation, dialectes de requête, modèles sémantiques, rapports, stratégies de sécurité, résidence des données, objectifs de niveau de service et processus opérationnels. Utilisez des tests de performances et de coûts représentatifs avant de sélectionner les services cibles.