統一資料平台架構

本文協助決策者為其 Azure 登陸區域做出架構決策,打造統一的資料平台。

組織需要確定平台著陸區需要哪些更新,以及 Azure 工作負載應如何整合到統一的資料平台。 若沒有明確的架構,資料可能分散在不同工作負載與平台間,或在缺乏一致治理與安全性的情況下在其間移轉。 本文提供更新平台著陸區及設計工作負載著陸區的指引,讓 Azure 工作負載能產生 Microsoft Fabric 的資料並從中取用受控資料。

架構與決策樹

1. Azure 登陸區

我們該如何更新 Azure 登陸區域? 統一的資料平台應使用組織現有的 Azure 著陸區架構。 組織不應僅為 Microsoft Fabric 或資料負載建立獨立的 Azure 架構。

1.1. 平台登陸區更新

平台登陸區需要做哪些變更? 平台登陸區域應持續提供組織內共用的 Azure 功能。 除非新的監管、安全、主權或營運需求需要不同的原則範圍,否則組織應保留其現有的管理群組階層。

治理基準:平台團隊應對統一資料平台引入的每項 Azure 服務,對照現有原則基準進行評估。 審查應確定現有管控是否適用,以及是否需要額外的管控。 相關的內建政策參考包括:

1.2. 工作負載登陸區

我們應該在工作負載的登陸區加什麼? 支援統一資料平台的 Azure 資源,除非它們提供由組織 Azure 登陸區架構定義的核心 Azure 平台能力,否則應該置於工作負載登陸區。

Service 典型管理團隊配置
Microsoft Purview 內部工作負載降落區
Microsoft Fabric 容量 內部工作負載降落區
Azure 工作負載(消費數據產品或 AI) 內部、線上或本地端工作負載登陸區
Azure 資料庫 內部、線上或本地端工作負載登陸區
Azure Databricks 內部工作負載降落區
Azure Machine Learning 內部工作負載降落區
Azure Data Lake Storage 內部工作負載降落區
AI 基礎架構(訓練/GPU) 內部工作負載降落區

1.3 Fabric 整合

Azure 工作負載應該如何與 Microsoft Fabric 整合? Azure 工作負載應透過經批准的全組織通用模式與 Microsoft Fabric 整合,以透過 OneLake 提供資料並使用受控資料產品。 與 Fabric 整合不應該改變工作負載的部署位置。

該架構應支援以 Fabric 建立的資料產品,以及透過其他核准平台(如 Azure Databricks)建立的資料產品。 整合模式應識別權威系統記錄,避免處理或資料不必要的重複。 請參閱 Azure Databricks 與 OneLake 的整合及 Azure Data Lake Storage (ADLS) Gen2 捷徑。

組織應透過 營運標準定義支援的整合模式。

2. Microsoft Fabric 架構

組織應該如何設計 Microsoft Fabric? Microsoft Fabric 應提供供資料領域透過其來創建、發布及使用資料產品的共享平台。 組織應在資料領域部署生產資料產品前,建立共同的 Fabric 架構。

2.1 Fabric 容量佈建

我們應該如何部署 Fabric 能力? 每個資料域應透過其指定的工作負載著陸區訂用帳戶部署其 Fabric 容量。 資料領域應在其核准預算及組織整體標準內管理其 Fabric 容量。

  • 容量需求:當現有資源無法符合核准的效能、隔離、區域或生命週期需求時,資料領域應新增 Fabric 容量。 資料領域不應該只是為了配合資料產品或團隊的組織劃分而增加 Fabric 容量。

  • Azure 訂閱要求:資料域僅在需要明確的 Azure 治理或管理邊界時,才應使用其他工作負載登陸區訂閱。 另一個工作空間、環境或資料產品本身並不足以成為另一個訂閱的理由。

  • 共享 Fabric 容量:當共享資源提供可接受的效能與更好的資源利用率時,多個資料域可共享 Fabric 容量。

  • 區域部署:組織應建立 Fabric 容量的預設 Azure 區域。 資料領域應使用該區域,除非經核准的需求可作為使用其他區域的正當理由。 可接受的例外包括資料駐留法規要求、資料主權、延遲、Fabric 功能可用性,或經核准的災難復原設計。 便利性或團隊所在地不足以成為另一個地區的理由。 請參見 Fabric 及 Fabric 部署模式的多地理支援。

  • 例外核准:組織應定義誰核准另一個區域,或核准跨資料域共享的 Fabric 容量。 例外申請應指出需求、受影響的資料產品、預期成本及結束條件。

2.2 Fabric 工作區

我們應該如何使用工作空間? Fabric 工作區應提供資料領域在 Microsoft Fabric 中建立和管理資料產品的作業界限。 每個資料領域應依組織整體標準決定其工作空間結構。

  • 工作空間使用:當 Fabric 項目需要不同的管理、存取、部署或網路邊界時,建立獨立的工作區。

  • 工作空間整理 資料網域應該與相關的工作區建立關聯。 Fabric 網域邏輯上將 Fabric 工作區分組並支援委派治理,但網域分配並不決定對 Fabric 項目的存取權限。 請參閱 Microsoft Fabric 中規劃與建立網域的最佳實務。

3. Microsoft Purview 架構

我們應該如何設計 Microsoft Purview? Microsoft Purview 架構應反映組織的資料領域,而不應將 Purview 治理領域、資料地圖領域、集合或 Fabric 領域視為可互換。

3.1 Microsoft Purview 帳戶放置

我們應該把 Purview 帳號部署在哪裡? 組織應將Microsoft Purview Azure資源置於內部工作負載的著陸區。 所選訂閱及區域應符合組織的法規與營運要求。

組織應集中指派 Purview 服務的負責單位。 資料領域應透過核准的 Purview 角色,對其元資料與商業概念獲得委派權限。 他們不應僅為了取得行政自主而部署獨立的 Purview 環境。

請參閱 Microsoft Purview 常見問題集。

3.2 範圍結構

我們應該如何建構 Purview? 組織應在資料領域開始註冊資料來源及發布資料產品前,先建立治理領域與資料地圖結構。

  • 治理領域:治理領域提供資料產品及相關概念的商業背景。 它們可以包含詞彙表術語、目標與關鍵結果,以及關鍵資料元素。 治理領域應與組織的資料領域對齊。 當治理擁有權需要時,使用不同的界線。 參見 治理領域。

  • Data Map 結構:Data Map 網域應代表頂層技術管理或生命週期邊界。 由於 Data Map 領域有限,建議將其用於廣泛的技術管理邊界,而非對應組織資料領域。

  • 集合:集合應在資料地圖領域內提供更細緻的管理與中繼資料存取。 當營運團隊需要授權註冊與掃描資料來源時,組織應使用集合。 當生產來源與非生產來源不足以另外劃分出另一個 Data Map 網域時,集合也可以區分這些來源。 每個資料來源必須註冊於一個 Data Map 網域內的一個集合。 從該來源掃描的資產仍與該結構相關聯。 因此,組織應在廣泛導入前先定義來源置入規則。

請參閱治理領域與領域建議,以及 Microsoft Purview 領域與集合架構與最佳實務。