本文比較了亞馬遜網路服務(AWS)與 Azure 上的分析服務。 涵蓋資料擷取與協調、資料湖、批次處理、資料倉儲、串流處理、治理、共享及商業智慧。
關於操作性的關聯式與非關聯式資料儲存,請參見 Azure 與 AWS 上的資料庫服務。 關於機器學習與應用 AI 服務,請參閱 Azure 與 AWS 上的 AI 與機器學習服務。
平台方法
AWS 提供個別分析服務,您可以自行組合成解決方案。 Microsoft Fabric 透過 OneLake 提供整合的資料工廠、資料工程、資料倉儲、即時智慧、資料科學以及 Power BI 工作負載。 Azure 也提供獨立服務,包括 Azure Data Factory、Azure Databricks、Azure 事件中樞、Azure 串流分析 及 Azure Data Explorer。
整合式平台不一定適合每一種工作負載。 比較原始碼與格式支援、所需引擎與API、網路隔離、區域可用性、治理邊界、營運控制、現有技能及價格。 Fabric 的容量在 Fabric 工作負載間共享,而獨立的 Azure 服務則有自己的容量與計費模式。
資料整合與協調
利用資料整合服務在營運系統與分析儲存庫間擷取、複製、轉換及協調資料。
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| AWS Glue | Microsoft Fabric 中的 Data Factory 或 Azure Data Factory | 這三者皆提供管理式資料整合。 比較連接器、轉換引擎、私有網路、執行時配置、編排功能,以及與目標分析平台的整合。 |
| Amazon 管理的 Apache Airflow 工作流程 | Microsoft Fabric 中的 Apache Airflow 作業 | 兩者都執行 Apache Airflow 工作流程。 驗證支援的 Airflow 版本、套件安裝、網路、身份、擴展及遷移需求。 |
| AWS 資料移轉服務 | Azure 資料移轉服務 或 適用於 Data Warehouse 的 Fabric 移轉小幫手 | 這些工具有不同的範圍。 針對受支援的資料庫來源與目標配對,請使用 Azure 資料移轉服務。 利用 Fabric 移轉小幫手 將支援的 SQL 架構和資料移到 Fabric Data Warehouse。 |
| 亞馬遜 AppFlow | Data Factory 連接器 或 Azure Logic Apps | 使用 Data Factory 進行分析性擷取與轉換。 使用 Logic Apps 進行應用程式與業務流程整合。 確認連接器作業、驗證及資料量需求。 |
資料湖與湖倉
Amazon S3 通常提供 AWS 資料湖的儲存層。 在 Azure 上,Azure Data Lake Storage 提供具有階層命名空間的物件儲存。 OneLake 是內建於 Microsoft Fabric 中的邏輯資料湖。
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| Amazon S3 | Azure Data Lake Storage | 兩者都提供持久的物件儲存以儲存分析資料。 比較命名空間的行為、安全性、生命週期管理、複製、生態系統整合及資料傳輸成本。 |
| Amazon S3 | Microsoft OneLake | OneLake 是 Fabric 的一部分,提供 Fabric 工作負載的共享儲存。 OneLake 並不是所有 S3 工作負載的通用替代品。 當 Fabric 是分析平台,且其容量、區域、安全性與工作負載模型符合你的需求時,才會使用它。 |
| AWS Lake Formation | OneLake 安全性和 Fabric 中的 Microsoft Purview | AWS Lake Formation 管理對以 S3 為基礎的資料湖的存取權限。 Fabric 將儲存權限、項目權限與治理能力分開。 將授權與治理需求映射出來,而非假設單一服務的對應條件。 |
| Amazon S3 外部資料 | OneLake 快捷方式 | 捷徑會引用 S3、Azure Data Lake Storage、Google Cloud Storage 及其他地點中支援的資料,且不會複製資料。 當你需要複雜的轉換、自訂排程或是 OneLake 以外的目的地時,請改用資料移動。 |
批次資料工程
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| 亞馬遜 EMR | Azure Databricks | 兩者都支援託管的 Apache Spark 及其他資料工程工作負載。 比較執行時相容性、叢集控制、自動擴展、治理、筆記本、工作與生態系統整合。 |
| Amazon 電子病歷 與 AWS Glue 互動式課程 | Fabric 資料工程 | Fabric Data Engineering 提供與 OneLake 整合的託管 Spark、筆記本、環境與工作。 它並非所有電子病歷框架或叢集配置的直接替代品。 驗證執行時、函式庫、網路及效能需求。 |
| AWS Glue Studio | Fabric Data Factory 或 Azure Data Factory | 這些服務提供視覺化與程式碼化的資料轉換體驗。 根據轉換引擎、編排、來源與目標支援,以及作業系統模型選擇。 |
資料倉儲與 SQL 分析
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| Amazon Redshift | Fabric Data Warehouse | 兩者都提供分散式 SQL 資料倉儲。 比較 SQL 相容性、工作負載隔離、擴展、擷取、資料共享、並行性、治理與定價。 Fabric Data Warehouse 在 OneLake 上運作,並消耗Fabric容量。 |
| Amazon Redshift | Azure Databricks SQL | 當工作負載使用 lakehouse 架構且 Databricks 是主要資料平台時,可以考慮 Azure Databricks 的 SQL。 它並不是適用於所有 Redshift 工作負載的關聯式引擎替代方案。 |
| 亞馬遜紅移頻譜 | Fabric 湖倉、OneLake 捷徑與 Direct Lake | Redshift Spectrum 在 S3 中查詢資料。 Fabric 提供獨立的儲存、運算與語意模型功能。 Direct Lake 需要有受支援的 Delta 資料表和 Fabric 容量。 檢視來源格式與容量限制。 |
| 亞馬遜雅典娜 | Fabric lakehouse SQL 分析端點或Azure Databricks SQL | Athena 是可直接對 S3 中的資料執行查詢的無伺服器 SQL 服務。 Azure 的選項在儲存、元資料、計算和計費方面有所不同。 根據資料位置、SQL 相容性、延遲、並發性及治理來選擇。 |
即時分析
比較服務時,將事件擷取與串流處理及分析儲存分開。 Kafka 相容端點並不會提供所有 Apache Kafka 代理的功能。
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| Amazon Kinesis 資料流 | Azure 事件中樞 | 兩者都能接收並保留供獨立取用者使用的高吞吐量事件串流。 比較分割、保留、重播、吞吐量、協定與擴展。 |
| Amazon 適用於 Apache Flink 的受管服務 | Azure 串流分析 或 Fabric eventstreams | 這些服務處理串流,但使用不同的語言和執行模型。 Stream Analytics 採用基於 SQL 的查詢語言。 Fabric 事件串流提供 Fabric 內的擷取、無程式碼轉換及路由功能。 |
| Amazon Managed Streaming for Apache Kafka | Apache Kafka 的事件中樞 | Amazon MSK 運行開源的 Apache Kafka。 Event Hubs 提供一個與 Kafka 相容的端點,並非 Apache Kafka 叢集。 驗證協議功能、交易、壓縮、Kafka Streams 支援、保留、配額及層級要求。 |
| Amazon OpenSearch 服務 | Azure Data Explorer 或 Fabric Eventhouse | 使用 Azure Data Explorer 或 Eventhouse 來進行日誌、遙測和時間序列分析,搭配 Kusto Query Language。 OpenSearch 也提供全文搜尋功能,因此這些服務並非完全取代搜尋工作負載。 |
| 亞馬遜時間流 | Azure Data Explorer 或 Fabric Eventhouse | 這些服務支援時間序列分析。 比較擷取協定、查詢語言、保留、分層、更新行為及整合需求。 |
商業智慧與資料共享
| AWS 服務 | Azure 服務 | 選擇指引 |
|---|---|---|
| 亞馬遜 QuickSight | Power BI | 兩者皆提供語意建模、報告、儀表板、分享及內嵌分析。 比較授權、容量、身份、治理、撰寫與嵌入需求。 |
| 亞馬遜管理型 Grafana | Azure 受控 Grafana | 兩人都曾提供受管理的Grafana。 比較資料來源整合、認證、私有網路、高可用性、外掛及價格層級。 |
| AWS 資料交換 | Microsoft Marketplace 與 Fabric 外部資料共享 | AWS Data Exchange 結合了資料市集與交付服務。 Microsoft Marketplace 與 Fabric 資料共享涵蓋了該工作流程的不同部分。 Fabric 外部資料共享可為支援的 Fabric 項目提供受控的跨租用戶存取,但它不是資料市集。 |
數據控管
Microsoft Purview 與 AWS 服務的組合提供資料發現、分類、血統、存取治理及合規功能。 AWS 通常結合 Glue 資料目錄、Lake Formation、Amazon Macie、AWS 身份與存取管理,以及 AWS Config。Microsoft Purview 提供統一的目錄與治理能力,涵蓋支援的 Azure、Fabric、本地部署、多雲及軟體即服務來源。
治理覆蓋範圍取決於來源和功能。 確認掃描支援、沿源收集、政策執行、敏感性標籤、網路存取,以及架構中每個資料來源的區域可用性。
移轉考慮
不要將分析平台的遷移視為一份一對一服務替代項目的清單。 清單資料來源、格式、資料表類型、管線、編排相依、轉換程式碼、查詢方言、語意模型、報告、安全政策、資料駐留、服務層級目標及營運流程。 在選擇目標服務前,請先進行具代表性的績效與成本測試。