什麼是 Unity Catalog?

Unity Catalog 是內建於 Azure Databricks 中的資料與人工智慧的統一治理層。 啟用工作區時,Unity Catalog 會自動在工作區中所有資料與 AI 互動之下運作:查詢資料表或呼叫模型時執行存取控制、追蹤資料與 AI 資產使用時的血統、記錄活動以供稽核,等等。 你要處理 Unity Catalog 管理的物件,包括 Catalog Explorer、SQL、Azure Databricks CLI 和 REST API。

Unity 目錄會自動啟用於 2023 年 11 月 9 日後建立的所有 Azure Databricks 工作空間。

Unity 目錄也可作為開放原始碼實作使用。 請參閱 公告部落格 和公用 Unity 目錄 GitHub 存放庫。

Unity 目錄物件模型

你在 Unity Catalog 中管理的每個資產都被建模為 一個可保護的物件,一個你可以賦予使用者、服務主體或群組權限的物件。 資料與人工智慧資產,如資料表、檢視表、磁碟區、函數、模型與服務(模型服務與 MCP 服務),遵循三層命名空間(catalog.schema.object)。 資料表與磁碟區可以是 受管理 的,此時 Unity Catalog 會同時負責治理及底層檔案儲存生命週期管理;或是 外部 的,此時 Unity Catalog 僅負責治理。 其他物件,如儲存憑證、外部位置、連線與分享,則直接位於元儲存庫下方。

Unity Catalog 物件模型圖表

以下頁面將更詳細說明 Unity 目錄的核心概念與工作流程。

主題 Description
可保護物件 了解 Unity 目錄階層中的每種物件類型,以及權限如何套用。
管理資產與外部資產 了解管理型與外部型資料表及卷的差異,以及何時使用它們。
需求與限制 檢視計算需求、支援的檔案格式、命名限制及已知限制。

Unity 目錄功能

Unity Catalog 提供內建工具,管理您資料與 AI 環境的各個面向。 以下主題涵蓋主要能力領域。

主題 Description
存取控制 透過權限、屬性導向政策、列與欄篩選器,以及工作區綁定來管理誰能存取什麼。
發現 使用 Catalog Explorer(Azure Databricks 介面)與可保護的物件互動,以發現和管理註冊於 Unity 目錄的資料與 AI 資產。
Lineage 自動追蹤資料與 AI 資產的流動與連結,從來源資料到模型、服務及儀表板。
Auditing 使用稽核日誌系統表,完整記錄所有資料存取及系統活動。
資料分類 自動分類並標記目錄中的敏感資料。
資料品質監控 主動追蹤資料健康狀況,內建分析與警示,能在異常傳入下游消費者前及時發現。
數據共用 使用開放的 OpenSharing 協議,安全地在組織與雲端間分享即時資料與 AI 資產。
人工智慧治理 使用 Unity Catalog 和 AI Gateway 來管理 AI 資產和 AI 流量。

開始

以下資源幫助你開始使用 Unity Catalog。 如果您的工作區是在 2023 年 11 月 9 日之後建立的,則會自動啟用 Unity 目錄。

主題 Description
開始使用 Unity 目錄 檢查你的工作區是否已經啟用 Unity Catalog,並設定你的第一個目錄、架構和資料存取控制。
升級至 Unity Catalog 學習如何升級尚未使用 Unity Catalog 的工作區。
人工智慧治理指南 為您的 AI 資產、AI 流量及 AI 服務行為建立治理。

其他資源