簡介
Azure Databricks 是一個基於雲端的資料平台,結合了資料工程、資料科學與機器學習,形成單一統一的工作空間。 它建立在 Apache Spark 之上,讓組織能夠處理、分析並視覺化大量資料。
透過連接廣泛的資料來源——從雲端供應商如 Azure SQL Database、Amazon S3 和 Google Cloud Storage,到企業系統如 SAP 和 Oracle——Azure Databricks 能夠整合並轉換來自多個地點的資料。
擷取資料後, 銷售、行銷、營運、財務、人力資源和永續發展 的團隊可以使用 Databricks 進行進階分析、機器學習、商業智慧和 AI 驅動的見解。
Azure Databricks 的核心是協助組織:
- 整合 來自多個來源的資料
- 設計 原始資料並將其轉換為可用的格式
- 透過治理和安全性有效率地儲存和管理資料
- 應用 即時分析、機器學習和 AI 模型
- 推動 更好的業務決策和成果
資料湖存放庫
資料湖倉儲是一種資料管理方法,它融合了資料湖和資料倉儲的優勢。 它提供可擴展的儲存和處理,使組織能夠處理不同的工作負載,例如機器學習和商業智慧,而無需依賴單獨的、斷開連接的系統。 透過集中資料,湖庫支援單一事實來源、降低重複成本並確保資訊保持最新狀態。
許多湖庫遵循分層設計模式,其中資料在經歷不同的處理階段時逐漸改進、豐富和精煉。 這種分層方法(通常稱為 獎章架構)將資料組織成相互構建的階段,使其更易於有效管理和使用。
Databricks 湖庫使用兩項關鍵技術:
- Delta Lake:支援 ACID 交易和結構描述強制執行的最佳化儲存層。
- Unity Catalog:適用於資料和 AI 的統一、精細的治理解決方案。
Note
我們認識到不同的人喜歡以不同的方式學習。 您可以選擇以基於視頻的格式完成此模塊,也可以將內容作為文本和圖像閱讀。 文字包含的細節比影片更多,因此在某些情況下,您可能希望將其作為影片簡報的補充資料。