重要事項
僅淘汰 Microsoft Purview 資料控管功能
Microsoft Purview 統一目錄和傳統 Microsoft Purview 資料控管功能 (先前的 Azure Purview) 即將淘汰。 整個 Microsoft Purview 並未淘汰。 Microsoft Purview 資料安全性與合規性功能不受此公告影響,且 Microsoft 會繼續投資於此功能。
Microsoft 正在 Microsoft Fabric 中合併 其資料控管 功能。 無法再建立新的 Microsoft Purview 資料控管帳戶,而且現有的資料控管功能將維持在維護模式,直到 2027 年 11 月 12 日為止。
如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。
現代組織會產生大量資料,通常來自眾多不同的來源。 Semarchy 資料平台是用於資料整合、MDM) (主資料管理、RDM) (參考資料管理、ADM) (應用程式資料管理、資料整合、品質和治理的智慧資料中心。 Semarchy 資料管理 (xDM) 為定義和實作資料管理應用程式並將其發佈至生產環境帶來了極高的敏捷性。
此架構示範如何將主資料管理 (MDM) 納入 Azure 生態系統,以針對重要資料資產啟用品質、驗證、比對、重複資料刪除、撰寫、策劃和共同作業。
架構
下列架構說明 Semarchy xDM 架構和資料流程。
資料流
中繼資料和資料流程包含下列步驟:
來自已識別來源系統的來源資料整合:
- 此整合會使用 Azure Data Factory、Semarchy xDI (Semarchy 的資料整合元件) 或您的整合解決方案。
- semarchy xDM 公開 SQL 或 REST 端點以進行批次和即時整合。
- 傳入資料可以使用 Semarchy xDM 探索進行分析,並加以檢閱,以協助定義主資料模型結構和規則。
- 應用程式也可以隨時使用 REST 端點來與 xDM 中管理的主要資料互動 (讀/寫) ,並使用 xDM 作為其主要資料後端。
自動資料認證
- 資料會透過規則、外掛程式、AI 模型 (包括 Azure Machine Learning 和 Azure OpenAI) ,以及第三方服務的組合來進行擴充、標準化和品質驗證。 Semarchy xDM 透過資料回收支援這些自動化品質流程,並結合使用者校正以確保最佳資料品質。
- 透過將複雜的自動化與明智的使用者決策相結合,自動執行匹配、合併和倖存過程,以產生準確、可靠的合併黃金記錄。
- 認證流程產生的黃金記錄具有來源系統的完整沿襲、使用者變更追蹤和可選的歷程記錄。 這保證了資料完整性、可追溯性和全面的歷史記錄追蹤。
自訂資料管理應用程式 可供使用者:
- 透過 Microsoft Entra ID 驗證。
- 瀏覽和搜尋認證數據,在每個認證階段具有完全可追溯性,以及全面的歷史記錄。
- 管理和彙整資料。 使用者可以:
- 撰寫和匯入新資料。
- 檢閱並修正錯誤。
- 使用覆寫選項手動比對和合併記錄
- 視需要執行虛刪除或實刪除。
- 使用 Data-Driven 工作流程共同作業。
將黃金資料發佈 到消費者營運和分析應用程式,例如 Azure Synapse Analytics、Power BI、Azure Machine Learning 和 Azure OpenAI,確保跨平台不間斷的整合和使用:
- 此整合會使用 Azure Data Factory、Semarchy xDI 或您的整合解決方案。
- Semarchy xDM 提供內建的 SQL 和 REST 端點,以及用於 Azure 服務匯流排中以事件為基礎傳播的資料通知。
將 xDM 中繼資料與 Microsoft Purview 同步處理,以取得整個主要資料流程的完整可見度和沿襲。
元件
此架構涉及下列元件。
核心元件
- Semarchy xDM 是一個無程式碼平台,允許資料團隊快速開發客製化的主資料管理解決方案,為複雜的資料生態系統提供廣泛的功能。
- 適用於 SQL Server 和 PostgreSQL 的 Azure 資料庫是完全受控的資料庫即服務,具有內建功能,例如高可用性和智慧。 它們儲存在 xDM 中管理的 Semarchy 中繼資料和主資料中心。 資料處理在資料庫層中執行,保證最佳效能和可擴展性。
- Microsoft Entra ID,用於使用者驗證和單一登入 Semarchy 平台。
- Azure Key Vault 是一項雲端服務,可為密碼提供安全的儲存體。 您可以使用它來加密、解密和儲存密碼 (密碼,例如在 xDM 中使用的) 。
AI 元件
- Azure Machine Learning 是一項雲端服務,可加速和管理機器學習 (ML) 專案。 Semarchy xDM 可以在資料中樞認證程序中使用自訂的 Azure 機器學習模型。
- Azure OpenAI 是一套 AI 服務,提供 OpenAI 強大的語言模型存取權。 Semarchy xDM 包含內建外掛程式,可使用這些語言模型來擴充和認證資料,例如內容產生、摘要或翻譯。
治理元件
- Microsoft Purview 是一種資料控管解決方案,可提供內部部署和雲端資料資產的廣泛可見度。 Semarchy xDM 與 Microsoft Purview 整合,以資料產品和端對端主資料沿襲的形式提供 Semarchy 資料中樞的深入解析。
來源和消費者系統 除此之外,此架構包括下列系統,您可以從這些系統收集要在 Semarchy xDM 中管理的主要資料,或將 Semarchy xDM 產生的黃金資料傳送到該系統。
- Azure Synapse Analytics 是一種快速、靈活且受信任的雲端資料倉儲,它使用大規模平行處理架構。 Semarchy 資料中樞可作為 Azure Synapse 認證中繼資料的提供者。
- Power BI 是一種業務分析套件,可在整個組織中提供深入解析。 您可以使用 Power BI 在 Semarchy 探索指標和 Semarchy 資料中樞的基礎上建立儀表板和報告。
案例詳細資料
數位轉型、商業智慧或 AI 專案等資料驅動計畫需要準確且可信任的資料。 主資料管理是提供這些乾淨、準確的資料的重要步驟。
MDM 解決方案的常見使用案例是合併來自多個來源的主資料,同時允許此主資料的共同編寫和管理,以使用黃金資料為分析和營運應用程式提供服務。
設計資料應用程式
Semarchy xDM 資料管理應用程式為所有使用者提供自訂體驗來存取和管理其資料。 透過這些應用程式,主資料記錄會顯示在完全可自訂的介面中,支援資料管理、編寫和管理作業。 具有不同角色和角色的使用者在 Data-Driven 工作流程中共同作業以管理資料。 Semarchy xDM 的強大之處在於資料應用程式設計的靈活性,使它們能夠適應您的網域、組織和業務需求。
整合和認證主資料
在外部來源系統中策劃的資料,例如客戶關係管理 (CRM) 、企業資源規劃 (ERP) 或其他系統, (稱為發行者) 透過整合層推送到 Semarchy xDM 的資料中樞,例如 Azure Data Factory 或 Semarchy xDI。
當資料變更出現在資料中樞時,透過資料載入或編寫,它會經歷整個認證流程,在此期間,它會進行擴充、標準化、驗證資料品質,然後比對和合併記錄。
取用來自中樞的資料
可以使用 REST API 端點或透過 SQL 將資料推送到 Semarchy xDM 或從 Semarchy xDM 取用資料。 透過資料中心對資料所做的變更也可以使用資料通知即時傳播到下游系統。
考量
Semarchy 資料平台具有多項功能,可解決可靠性、安全性、成本最佳化、卓越營運和效能效率等問題。 您可以在 Microsoft Azure Well-Architected 架構的支柱中找到最佳架構的詳細資訊。
可靠性
可靠性可確保您的應用程式兌現您對客戶的承諾。 尋找 可靠性指南。
Semarchy xDM 會在 Azure Kubernetes Service 和 Azure SQL Database 原生執行,提供現成可用的功能來支援高可用性。
安全性
安全防護可防止故意攻擊和濫用您的寶貴資料和系統。 尋找 安全性指南。
Semarchy xDM 透過其支援角色對應、查詢和設定檔同步處理的身分識別管理層來驗證使用者。 它為多個 IDP 提供原生支援,包括 Microsoft Entra ID。 它還包括高級安全功能,例如用於保護訪問和操作的細粒度權限。
效能效率
效能效率是系統擴展並有效滿足用戶需求的能力。 尋找 效能效率的指引。
Semarchy xDM 會在 Azure Kubernetes Service 和 Azure SQL Database 上原生執行。 您可以將 Azure Kubernetes Service 設定為相應增加和相應縮小。您可以部署和設定 Azure SQL 資料庫,以平衡效能、延展性和成本。
成本最佳化
成本優化涉及尋找減少不必要開支和提高營運效率的方法。 尋找 成本最佳化的指引。
執行成本包括 Semarchy 軟體訂閱授權和 Azure 使用量。 如需詳細資訊,請聯絡 Semarchy。
部署此案例
若要部署此案例:
- 使用 Azure Kubernetes Services 部署 Semarchy xDM。
- 將密碼管理設定為使用 Azure Key Vault。
- 使用 Microsoft Entra ID 設定驗證。
- 在 xDM 中設計和部署您的自訂主資料模型
- 使用 Azure Data Factory 將您的資料整合到 xDM 中。
本文件的貢獻者
- 大衛·考克斯
- 塞德里克·布蘭克
- François-Xavier Nicolas (FX)