解決方案構想
本文說明解決方案概念。 您的雲端架構設計人員可以使用本指南,協助可視化此架構的一般實作的主要元件。 使用本文作為起點,設計符合您工作負載特定需求的架構良好解決方案。
本文說明中小企業如何藉由將 Azure Databricks 中的現有投資與完全受控的軟體即服務 (SaaS) 數據平臺,例如 Microsoft Fabric,來建置現代化數據平臺。 SaaS 資料平台是端到端的資料分析解決方案,能整合 Azure Machine Learning、Foundry Tools、Power Platform、Microsoft Dynamics 365 及其他Microsoft技術等工具。
簡化的架構
下載此架構的 Visio 檔案。
Azure Databricks 與 Fabric 之間的互通性提供強大的解決方案,可將資料片段降到最低,同時增強分析功能。
Fabric 提供開放且受控管的資料湖 (稱為 OneLake) 作為基礎 SaaS 儲存體。 OneLake 和 Azure Databricks 都使用 Delta Parquet 格式。 若要從 OneLake 存取您的 Azure Databricks 資料,您可以在 Fabric 中鏡像 Azure Databricks Unity Catalog,以整合資料,而無須進行複寫或資料移動。 透過此整合,您可以在 OneLake 之上為 Azure Databricks 分析系統擴增生成式 AI 功能。
你也可以在 Power BI 裡用 Direct Lake 模式來處理 OneLake 裡的 Azure Databricks 資料。 直接湖模式簡化了服務層,並提升報表效能。 OneLake 支援 Azure Data Lake Storage 的 API,並以 Delta Parquet 格式儲存所有表格式數據。
因此,Azure Databricks 筆記本可以使用 OneLake 端點來存取儲存的數據。 體驗與透過 Fabric 倉儲存取資料相同。 透過這種整合,你可以使用 Fabric 或 Azure Databricks,而不必重新整理資料。
建築
下載此架構的 Visio 檔案。
數據流
下列資料流程對應至上一個圖表:
利用現有的 Azure Data Factory 管線,從來源系統匯入結構化與非結構化資料,並將其置於現有的資料湖中。
你可以利用Microsoft Dynamics 365資料來源,透過 Azure Synapse Link 或 Microsoft Fabric Link 建立擴充資料集上的集中式 BI 儀表板。 將融合、已處理的數據帶回 Microsoft Dynamics 365 和 Power BI,以進行進一步分析。
串流資料可以透過 Azure 事件中樞 或 Azure IoT 中樞 來接收,視傳送這些訊息的協定而定。
在冷路徑中,你可以使用 Azure Databricks 將串流資料帶入集中式資料湖,以便進一步分析、儲存與報告。 然後,此數據可以與其他數據源整合,以進行批次分析。
在熱點路徑中,你可以即時分析資料,並透過 Microsoft Fabric Real-Time Intelligence 建立即時儀表板。
你可以利用現有的 Azure Databricks 筆記本來執行資料清理、統一和分析。 請考慮使用獎章架構,例如:
- 銅級,其保存原始數據。
- Silver 資料集,其中包含已清理、篩選的數據。
- Gold,其會儲存適用於商務分析的匯總數據。
對於黃金資料或資料倉儲,請繼續使用 Azure Databricks SQL 或在 Fabric 中建立 Azure Databricks Unity 目錄的鏡像。 要在 Fabric 湖屋上啟用報告與分析,請明確建立語意模型,並使用 Direct Lake 或 DirectQuery 建立 Power BI 儀表板以達到高效能。 更多資訊請參閱Fabric<>中的
語意模型。
以下工具用於治理、協作、安全、效能及成本監控。
探索與治理:
Microsoft Purview 提供跨數據資產的數據探索服務、敏感數據分類和治理深入解析。
Unity 目錄提供 Azure Databricks 工作區的集中式訪問控制、稽核、譜系和數據探索功能。
平台資源:
Microsoft Entra ID 為 Azure Databricks 使用者提供單一登入(SSO)。 Azure Databricks 支援透過 Microsoft Entra ID 進行自動化使用者設定,以:
- 建立新的使用者。
- 將存取層級指派給每個使用者。
- 拿掉使用者並拒絕他們存取權。
Microsoft成本管理為 Azure 工作負載提供財務治理服務。
Azure Key Vault 會管理秘密、金鑰和憑證。
Azure 監視器會收集和分析 Azure 資源遙測。 此服務透過主動識別問題,將效能和可靠性最大化。
適用於雲端的 Microsoft Defender 提供 Azure 資源與工作負載的安全態勢管理與威脅防護。
Azure DevOps 提供持續整合與持續部署(CI/CD)及其他整合版本控制功能。
GitHub 提供版本控制與協作開發功能,用於管理程式碼與部署流程。
元件
Data Lake Storage 是專為結構化和非結構化數據而設計的可調整數據記憶體服務。 在此架構中,Data Lake Storage 可作為 Delta Lake 的基礎基礎結構。 它是原始和已處理數據的主要儲存層,可有效擷取、儲存和擷取分析和機器學習工作負載。
Data Factory 是一項雲端資料整合服務,能協調並自動化資料的移動與轉換。 在此架構中,資料工廠建立、排程並協調資料管線,將資料在各種資料儲存與服務間移動與轉換。
Event Hubs 是一項即時資料擷取服務,能從任何來源每秒處理數百萬事件。 在此架構中,事件中樞會從各種來源擷取和串流大量數據,以啟用即時分析和事件驅動處理。
IoT 中樞 是一項管理服務,旨在提升物聯網(IoT)裝置與雲端之間的安全性與可靠通訊。 在此架構中,IoT 中樞有助於從 IoT 裝置擷取、處理和分析遙測資料,以提供即時深入解析並啟用遠端監視。
Microsoft Dataverse 是一個可擴展的資料平台,組織可用來協助安全儲存和管理商業應用程式所使用的資料。 在此架構中,它可作為數據源,透過 Azure Synapse Link 或 Microsoft Fabric Link 饋送至分析管線。
Azure Synapse Link 是一項資料整合功能,可將 Dynamics 應用程式與 Azure Synapse Analytics 或 Data Lake Storage 連線。 在此架構中,它將資料從 Dataverse 幾乎即時複製到 Data Lake Storage。
Microsoft Fabric Link 是一項資料整合功能,可將 Dynamics 應用程式連線到 Fabric。 在此架構中,它能將 Dataverse 的資料幾乎即時複製到 Fabric。
Azure Databricks 是以 Apache Spark 為基礎的分析平台,適用於巨量數據處理、機器學習和數據工程。 在此架構中,它會使用獎章架構層來執行資料清理、轉換和分析。
Delta Lake 是一個開源儲存層,為 Spark 與大數據工作負載帶來原子性、一致性、隔離性與耐久性(ACID)交易。 在此架構中,Delta Lake 增強了資料湖內的資料可靠性和效能。
Azure Databricks SQL 是以 SQL 為基礎的分析服務,可讓使用者對儲存在 Azure Databricks 中的資料執行 SQL 查詢。 在此架構中,Azure Databricks SQL 提供強大的 SQL 介面來查詢和分析資料,以啟用互動式分析。
人工智慧和機器學習 包含一系列技術和服務,可實現機器學習模型的開發、部署和管理。 在此架構中,AI 和機器學習服務會建置、定型和部署預測模型。 這項功能可啟用數據驅動決策。
Unity Catalog 是一款資料治理解決方案,提供跨Azure Databricks工作空間的集中存取控制、稽核、血統及資料發現功能。 在此架構中,Unity 目錄會藉由提供精細的存取控制、稽核和資料沿襲追蹤,協助確保資料控管和安全性。
Medallion Lakehouse 架構 是一種數據架構模式,會將數據組織成銅級、銀層和金層,以有效率地進行處理和分析。 在此架構中,它會使用 Data Lake Storage、Delta Lake 和 Azure Databricks 來建構資料處理工作流程,以支援可調整的分析。
Fabric 是一個綜合性資料平台,整合了各種資料服務和工具,提供無縫的資料管理和分析體驗。 在此架構中,Fabric 連接並整合來自多個來源的資料,從而在整個組織中實現全面的資料分析和見解。
Real-Time Intelligence 是數據處理功能,可讓組織即時內嵌、處理及分析數據。 Real-Time Intelligence 會處理來自各種來源的串流數據。 在此架構中,它提供即時洞察,並根據資料模式實現自動化操作。
OneLake 快捷方式會在 OneLake 與其他數據源之間建立就地連結。 在此架構中,它們簡化了資料存取和管理,並在整個組織中提供了統一的資料檢視。
Fabric Copilot 是一款由 AI 驅動的助理,整合於Fabric工作負載中。 它利用大型語言模型(LLMs)幫助使用者透過自然語言與資料互動。 它簡化了產生 SQL、DAX 和轉換等任務,並能建立報表或儀表板。 Copilot 支援對話上下文、建立視覺化,並協助建立分析流程。 它幫助組織加速數據洞察並優化工作流程,而無需深入的程式設計專長。
Fabric 資料代理程式是 Fabric 中一種由大型語言模型驅動的智慧型服務,供組織透過單一介面查詢及分析來自多個來源的資料,包括 Lakehouse、資料倉儲、語意模型、KQL 資料庫以及鏡像資料庫。 它支援複雜的多步驟查詢,透過範例查詢及代理或資料來源指令套用自訂邏輯,並發佈至 Microsoft 365 Copilot 或 Teams。 它為商業用戶提供安全且受規範的自然語言企業資料存取。
Power BI 是一項商業分析服務,提供互動式視覺化與商業智慧(BI)功能。 在此架構中,Power BI 透過使用 Direct Lake 模式,視覺化來自 Fabric 和 Azure Databricks 的資料,以提升效能。
Microsoft Purview 是一種統一的數據控管服務,可協助組織跨各種來源管理及管理其數據。 在此架構中,它會編目資料、追蹤譜系,並在整個資料資產中強制執行合規性。 您可以 將 Unity 目錄整合至 Purview ,以從 Purview 存取 Unity 目錄中繼資料。
Microsoft Entra ID 是雲端式身分識別和存取管理解決方案,可協助確保安全登入,以及存取 Microsoft 365、Azure 和其他 SaaS 應用程式等資源。 在此架構中,Microsoft Entra ID 為 Azure 資源提供安全的身分識別和存取管理。 此功能可啟用安全登入、管理使用者身分識別,並協助確保授權存取資料和資源。
成本管理是一套金融營運工具,組織可用來分析、監控及優化Microsoft Cloud成本。 在此架構中,這些工具提供 Azure 資源的財務控管。
金鑰保存庫 是一項雲端服務,可儲存和管理秘密,例如 API 金鑰、密碼、憑證和密碼編譯密鑰。 在此架構中,Azure Databricks 可以從金鑰保存庫擷取秘密,以驗證和存取 Data Lake Storage,以確保安全整合。
Azure 監視器 是一項監視服務,可為應用程式、基礎結構和網路提供完整堆疊可觀察性。 Azure 監視器可讓使用者從其 Azure 和內部部署環境收集、分析遙測資料,並對其採取行動。 在此架構中,Azure 監視器會主動識別問題,以確保效能和可靠性。
適用於雲端的 Defender 是一款雲端原生的應用保護平台,能在Azure、混合及多雲環境中提供安全態勢管理與威脅防護。 在此架構中,適用於雲端的 Defender 透過識別漏洞、偵測威脅,並在 Azure 資源間提供安全建議,來保護資料平台與工作負載的安全。
Azure DevOps 是一組開發工具,可支援共同作業文化特性和簡化的程式。 這些工具可讓開發人員、專案經理和參與者更有效率地開發軟體。 Azure DevOps 提供整合式功能,例如 Azure Boards、Azure Repos、Azure Pipelines、Azure Test Plans 和 Azure Artifacts。 您可以透過網頁瀏覽器或整合開發環境用戶端存取這些功能。 在此架構中,Azure DevOps 支援資料管線和筆記本的自動化部署和版本控制。
GitHub 是雲端式 Git 存放庫裝載服務,可簡化開發人員的版本控制和共同作業。 個人和團隊可以存儲和管理他們的代碼、跟踪更改以及協作項目。 在此架構中,GitHub 與 Azure DevOps 整合,強制自動化與合規,涵蓋 Data Factory、Azure Databricks 及 Fabric 的開發工作流程與部署流程。
替代方案
若要建立獨立的 Fabric 環境,請參閱 Fabric 上的 Greenfield Lakehouse。
若要將本地 SQL 分析環境遷移至 Fabric,請參見 中小企業現代資料倉儲。
此架構中的服務替代方案
批次匯入
- 您也可以使用 Fabric 中的資料管線 進行資料整合,而非使用 Data Factory 管線。 選擇取決於幾個因素。 欲了解更多資訊,請參閱 Azure Data Factory 與 Fabric Data Factory 的差異。
Microsoft Dynamics 365 資料導入
如果您使用 Data Lake Storage 作為資料湖儲存體,且想要匯入 Dataverse 資料,請使用 Azure Synapse Link for Dataverse with Data Lake Storage。 如需了解 Dynamics 365 Finance and Operations 應用程式,請參閱 在 Azure Synapse Link for Dataverse 中選擇財務與營運資料。
如果您使用 Fabric Lakehouse 作為資料湖儲存體,請參閱 將 Dataverse 環境連結至 Fabric。
串流數據擷取
- 選擇 Azure IoT 與事件集線中心(Event Hubs)的選擇取決於串流資料來源、是否需要複製與與報告設備的雙向通訊,以及所需的協定。 如需詳細資訊,請參閱 比較IoT中樞和事件中樞。
Lakehouse
- Fabric 資料湖倉是一種統一的資料架構平台,用於以開放格式管理及分析結構化與非結構化資料,且主要使用 Delta Parquet 檔案。 它支援兩種記憶體類型。 這些記憶體類型是受控數據表,例如 CSV、Parquet 或 Delta,以及 Unmanaged 檔案。 系統會自動辨識受控數據表。 非受控檔案需要明確的數據表建立。 該平台可透過 Spark 或 SQL 端點進行資料轉換,並與其他 Fabric 元件整合。 此整合允許資料共享且不重複。 此概念與分析工作負載中使用的通用獎章架構一致。 如需詳細資訊,請參閱 Fabric 中的 Lakehouse。
即時分析
Azure Databricks
- 如果你已有 Azure Databricks 解決方案,或許可以繼續使用 Spark 結構化串流來進行即時分析。 如需更多資訊,請參閱 Azure Databricks 上的串流。
織物
如果您過去使用過其他Azure服務進行即時分析,或沒有現有的即時分析解決方案,請參考即時智慧與Azure串流解決方案。
Fabric 結構化串流使用 Spark 結構化串流,將即時資料流作為持續附加的資料表來處理及擷取。 結構化串流支援各種檔案來源,例如 CSV、JSON、ORC、Parquet,以及 Kafka 和事件中樞等傳訊服務。 此方法可確保可調整且容錯的串流處理,以優化高輸送量的生產環境。 欲了解更多資訊,請參閱 使用 Spark 將資料串流至湖邊別墅。
數據工程
- 使用 Fabric 或 Azure Databricks 來撰寫 Spark 筆記本。 欲了解更多資訊,請參見 Use Fabric notebooks。 若要瞭解 Fabric 筆記本如何與 Azure Synapse Spark 提供的內容進行比較,請參閱 比較網狀架構數據工程和 Azure Synapse Spark。 欲了解更多關於Azure Databricks筆記本的資訊,請參見 Azure Databricks筆記本導論。
數據倉儲或金層
- 您可以使用 Fabric 或 Azure Databricks 來建立 SQL 型倉儲或黃金層。 關於如何在Fabric內選擇資料倉儲或金層儲存解決方案的決策指南,請參見 Choose a data store。 如需 Azure Databricks 中 SQL 倉儲類型的詳細資訊,請參閱
SQL 倉儲類型。
- 您可以使用 Fabric 或 Azure Databricks 來建立 SQL 型倉儲或黃金層。 關於如何在Fabric內選擇資料倉儲或金層儲存解決方案的決策指南,請參見 Choose a data store。 如需 Azure Databricks 中 SQL 倉儲類型的詳細資訊,請參閱
數據科學
使用 Fabric 或 Azure Databricks 來取得資料科學功能。 如需進一步了解 Fabric 資料科學供應項目,請參閱 Fabric 中的資料科學。 欲了解更多關於Azure Databricks課程的資訊,請參閱Azure Databricks上的
AI 與機器學習。 Fabric 資料科學與機器學習不同。 機器學習 提供管理工作流程和部署機器學習模型的完整解決方案。 Fabric Data Science 是針對分析和報告案例量身打造的。
Power BI
Azure Databricks 與 Power BI 整合,能實現資料處理與視覺化。 如需詳細資訊,請參閱 將 Power BI 連線至 Azure Databricks。
透過在 Fabric 中鏡像 Azure Databricks Unity Catalog,您可以直接從 Fabric 工作負載存取 Azure Databricks Unity Catalog 所管理的資料。 欲了解更多資訊,請參閱 Unity 目錄Mirror Azure Databricks。 你可以在 Power BI 的 Direct Lake 模式中查詢這些資料,而不必將資料複製到 Power BI 服務中。
案例詳細數據
擁有現有 Azure Databricks 環境,且可選擇使用湖屋架構的中小企業,也能從此模式中受益。 他們目前使用 Azure 的擷取、轉換、載入(ETL)工具,如 Data Factory,並在 Power BI 中提供報告。 然而,他們也可能在同一資料湖上使用不同專有資料格式的多個資料來源,導致資料重複及廠商鎖定問題。 這種情況可能會使數據管理複雜化,並增加對特定廠商的相依性。 他們也可能需要最新且近乎即時的報告來支援決策,並希望在其整體環境中導入 AI 工具。
Fabric 是開放、統一且受控管的 SaaS 基礎,可用來:
將資料集中於 OneLake,在單一位置儲存、管理及分析資料,無需擔心供應商綁定問題。
透過Microsoft 365 個應用程式的整合,更快速地創新。
利用 Power BI Direct Lake 模式的優勢,快速獲得洞察。
透過 Copilot,在 Fabric 的每項體驗中獲益。
藉由在單一基礎上開發 AI 模型來加速分析。
在不移動的情況下保留數據,這可減少數據科學家需要提供價值的時間。
成本優化
成本優化著重於減少不必要的費用,並提升營運效率的方式。 欲了解更多資訊,請參閱成本優化設計審查清單。
要估算此方案的成本,請使用Azure定價計算器中的預設定估算。 此估計反映本文所述架構,並具代表性規模以符合中小企業工作負載。 調整數值以符合你的實際使用模式、資料量和效能需求。
Microsoft Fabric 的定價依容量模型而定。 估算採用 F2,這是中小企業成本效益高的入門點。 考慮為可預測的工作負載保留容量以降低成本。
Azure Databricks 的定價取決於工作負載類型、層級和運算時數。 此估算採用 Premium tier All-Purpose Compute,每月 200 小時。 使用工作計算(Jobs Compute)來處理排程批次工作負載,以降低 DBU 成本。
Data Lake Storage 的定價取決於儲存容量、存取層級及交易數量。 此估算包含 1 TB 的熱層儲存體,且已啟用階層式命名空間。
Azure Data Factory 的定價取決於活動執行次數、資料移動量及管線執行時數。
Event Hubs 的價格取決於所選的層級和吞吐量單位。 估算使用標準層,並以單一吞吐量單位計算。
貢獻者
本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。
主要作者:
- Naren Jogendran |雲端解決方案架構師
- Bonita Rui |雲端解決方案架構師
若要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。
後續步驟
- 數據工程師的學習路徑
- Fabric - 開始使用 Microsoft Learn
- Fabric - Microsoft 學習模組
- 建立 Data Lake Storage 的記憶體帳戶
- Event Hubs 快速入門 - 使用 Azure 入口網站建立事件中樞
- 什麼是獎牌湖屋建築?
- 什麼是 Fabric 中的湖庫?