Azure 與 AWS 上的分析服務

本文比較了亞馬遜網路服務(AWS)與 Azure 上的分析服務。 涵蓋資料擷取與協調、資料湖、批次處理、資料倉儲、串流處理、治理、共享及商業智慧。

關於操作性的關聯式與非關聯式資料儲存,請參見 Azure 與 AWS 上的資料庫服務。 關於機器學習與應用 AI 服務,請參閱 Azure 與 AWS 上的 AI 與機器學習服務。

平台方法

AWS 提供個別分析服務,您可以自行組合成解決方案。 Microsoft Fabric 透過 OneLake 提供整合的資料工廠、資料工程、資料倉儲、即時智慧、資料科學以及 Power BI 工作負載。 Azure 也提供獨立服務,包括 Azure Data Factory、Azure Databricks、Azure 事件中樞、Azure 串流分析 及 Azure Data Explorer。

整合式平台不一定適合每一種工作負載。 比較原始碼與格式支援、所需引擎與API、網路隔離、區域可用性、治理邊界、營運控制、現有技能及價格。 Fabric 的容量在 Fabric 工作負載間共享,而獨立的 Azure 服務則有自己的容量與計費模式。

資料整合與協調

利用資料整合服務在營運系統與分析儲存庫間擷取、複製、轉換及協調資料。

AWS 服務 Azure 服務 選擇指引
AWS Glue Microsoft Fabric 中的 Data Factory 或 Azure Data Factory 這三者皆提供管理式資料整合。 比較連接器、轉換引擎、私有網路、執行時配置、編排功能,以及與目標分析平台的整合。
Amazon 管理的 Apache Airflow 工作流程 Microsoft Fabric 中的 Apache Airflow 作業 兩者都執行 Apache Airflow 工作流程。 驗證支援的 Airflow 版本、套件安裝、網路、身份、擴展及遷移需求。
AWS 資料移轉服務 Azure 資料移轉服務 或 適用於 Data Warehouse 的 Fabric 移轉小幫手 這些工具有不同的範圍。 針對受支援的資料庫來源與目標配對,請使用 Azure 資料移轉服務。 利用 Fabric 移轉小幫手 將支援的 SQL 架構和資料移到 Fabric Data Warehouse。
亞馬遜 AppFlow Data Factory 連接器 或 Azure Logic Apps 使用 Data Factory 進行分析性擷取與轉換。 使用 Logic Apps 進行應用程式與業務流程整合。 確認連接器作業、驗證及資料量需求。

資料湖與湖倉

Amazon S3 通常提供 AWS 資料湖的儲存層。 在 Azure 上,Azure Data Lake Storage 提供具有階層命名空間的物件儲存。 OneLake 是內建於 Microsoft Fabric 中的邏輯資料湖。

AWS 服務 Azure 服務 選擇指引
Amazon S3 Azure Data Lake Storage 兩者都提供持久的物件儲存以儲存分析資料。 比較命名空間的行為、安全性、生命週期管理、複製、生態系統整合及資料傳輸成本。
Amazon S3 Microsoft OneLake OneLake 是 Fabric 的一部分,提供 Fabric 工作負載的共享儲存。 OneLake 並不是所有 S3 工作負載的通用替代品。 當 Fabric 是分析平台,且其容量、區域、安全性與工作負載模型符合你的需求時,才會使用它。
AWS Lake Formation OneLake 安全性和 Fabric 中的 Microsoft Purview AWS Lake Formation 管理對以 S3 為基礎的資料湖的存取權限。 Fabric 將儲存權限、項目權限與治理能力分開。 將授權與治理需求映射出來,而非假設單一服務的對應條件。
Amazon S3 外部資料 OneLake 快捷方式 捷徑會引用 S3、Azure Data Lake Storage、Google Cloud Storage 及其他地點中支援的資料,且不會複製資料。 當你需要複雜的轉換、自訂排程或是 OneLake 以外的目的地時,請改用資料移動。

批次資料工程

AWS 服務 Azure 服務 選擇指引
亞馬遜 EMR Azure Databricks 兩者都支援託管的 Apache Spark 及其他資料工程工作負載。 比較執行時相容性、叢集控制、自動擴展、治理、筆記本、工作與生態系統整合。
Amazon 電子病歷 與 AWS Glue 互動式課程 Fabric 資料工程 Fabric Data Engineering 提供與 OneLake 整合的託管 Spark、筆記本、環境與工作。 它並非所有電子病歷框架或叢集配置的直接替代品。 驗證執行時、函式庫、網路及效能需求。
AWS Glue Studio Fabric Data Factory 或 Azure Data Factory 這些服務提供視覺化與程式碼化的資料轉換體驗。 根據轉換引擎、編排、來源與目標支援,以及作業系統模型選擇。

資料倉儲與 SQL 分析

AWS 服務 Azure 服務 選擇指引
Amazon Redshift Fabric Data Warehouse 兩者都提供分散式 SQL 資料倉儲。 比較 SQL 相容性、工作負載隔離、擴展、擷取、資料共享、並行性、治理與定價。 Fabric Data Warehouse 在 OneLake 上運作,並消耗Fabric容量。
Amazon Redshift Azure Databricks SQL 當工作負載使用 lakehouse 架構且 Databricks 是主要資料平台時,可以考慮 Azure Databricks 的 SQL。 它並不是適用於所有 Redshift 工作負載的關聯式引擎替代方案。
亞馬遜紅移頻譜 Fabric 湖倉、OneLake 捷徑與 Direct Lake Redshift Spectrum 在 S3 中查詢資料。 Fabric 提供獨立的儲存、運算與語意模型功能。 Direct Lake 需要有受支援的 Delta 資料表和 Fabric 容量。 檢視來源格式與容量限制。
亞馬遜雅典娜 Fabric lakehouse SQL 分析端點或Azure Databricks SQL Athena 是可直接對 S3 中的資料執行查詢的無伺服器 SQL 服務。 Azure 的選項在儲存、元資料、計算和計費方面有所不同。 根據資料位置、SQL 相容性、延遲、並發性及治理來選擇。

即時分析

比較服務時,將事件擷取與串流處理及分析儲存分開。 Kafka 相容端點並不會提供所有 Apache Kafka 代理的功能。

AWS 服務 Azure 服務 選擇指引
Amazon Kinesis 資料流 Azure 事件中樞 兩者都能接收並保留供獨立取用者使用的高吞吐量事件串流。 比較分割、保留、重播、吞吐量、協定與擴展。
Amazon 適用於 Apache Flink 的受管服務 Azure 串流分析 或 Fabric eventstreams 這些服務處理串流,但使用不同的語言和執行模型。 Stream Analytics 採用基於 SQL 的查詢語言。 Fabric 事件串流提供 Fabric 內的擷取、無程式碼轉換及路由功能。
Amazon Managed Streaming for Apache Kafka Apache Kafka 的事件中樞 Amazon MSK 運行開源的 Apache Kafka。 Event Hubs 提供一個與 Kafka 相容的端點,並非 Apache Kafka 叢集。 驗證協議功能、交易、壓縮、Kafka Streams 支援、保留、配額及層級要求。
Amazon OpenSearch 服務 Azure Data Explorer 或 Fabric Eventhouse 使用 Azure Data Explorer 或 Eventhouse 來進行日誌、遙測和時間序列分析,搭配 Kusto Query Language。 OpenSearch 也提供全文搜尋功能,因此這些服務並非完全取代搜尋工作負載。
亞馬遜時間流 Azure Data Explorer 或 Fabric Eventhouse 這些服務支援時間序列分析。 比較擷取協定、查詢語言、保留、分層、更新行為及整合需求。

商業智慧與資料共享

AWS 服務 Azure 服務 選擇指引
亞馬遜 QuickSight Power BI 兩者皆提供語意建模、報告、儀表板、分享及內嵌分析。 比較授權、容量、身份、治理、撰寫與嵌入需求。
亞馬遜管理型 Grafana Azure 受控 Grafana 兩人都曾提供受管理的Grafana。 比較資料來源整合、認證、私有網路、高可用性、外掛及價格層級。
AWS 資料交換 Microsoft Marketplace 與 Fabric 外部資料共享 AWS Data Exchange 結合了資料市集與交付服務。 Microsoft Marketplace 與 Fabric 資料共享涵蓋了該工作流程的不同部分。 Fabric 外部資料共享可為支援的 Fabric 項目提供受控的跨租用戶存取,但它不是資料市集。

數據控管

Microsoft Purview 與 AWS 服務的組合提供資料發現、分類、血統、存取治理及合規功能。 AWS 通常結合 Glue 資料目錄、Lake Formation、Amazon Macie、AWS 身份與存取管理,以及 AWS Config。Microsoft Purview 提供統一的目錄與治理能力,涵蓋支援的 Azure、Fabric、本地部署、多雲及軟體即服務來源。

治理覆蓋範圍取決於來源和功能。 確認掃描支援、沿源收集、政策執行、敏感性標籤、網路存取,以及架構中每個資料來源的區域可用性。

移轉考慮

不要將分析平台的遷移視為一份一對一服務替代項目的清單。 清單資料來源、格式、資料表類型、管線、編排相依、轉換程式碼、查詢方言、語意模型、報告、安全政策、資料駐留、服務層級目標及營運流程。 在選擇目標服務前,請先進行具代表性的績效與成本測試。