你在 Unity 目錄中註冊的每個 可保護物件 都受到中央管理。 這表示 Unity Catalog 管理物件的元資料,使其能掌控治理的所有面向,包括存取、稽核與血統。
然而,對於資料資產如表格和卷,Unity Catalog 也能控制雲端帳號底層資料檔案的儲存位置與生命週期,包括如何組織、優化,以及何時刪除。 這種區分正是 受管理的資料資產 與 外部 資料資產的區別所在。
- 管理資產:Unity Catalog 控制治理(存取控制、稽核、血統)及底層檔案儲存生命週期(檔案優化、組織方式及何時刪除)。
- 外部資產:Unity Catalog 只負責治理控制。 底層的檔案儲存生命週期由您或外部系統控制。
當你在 Unity Catalog 註冊受管理資產時,你將保留對資料的完整所有權。 資料檔案永遠會留在你的雲端帳號裡。 Unity 目錄會決定它們在你帳號中的存放位置,但不會轉移到 Azure Databricks 或擁有它們。
管理型與外部型的區別僅適用於資料表與磁碟區。 其他 Unity 目錄可保護物件,如檢視、模型和函式,則沒有管理型及外部變體。
差異摘要
下表總結了 Unity 目錄中管理資產與外部資產的差異:
| 房產 | Unity Catalog 管理的表格或磁碟區 | 外部表格或體積 |
|---|---|---|
| 儲存位置 | 由 Unity Catalog(在你的雲端帳號中)設定 | 你設定的 |
| 檔案生命週期管理 | 由 Unity Catalog 管理(優化、組織、刪除) | 由你管理 |
| 拖放行為 | 資料檔案在保存 8 天後會被永久刪除 | 資料檔案依然保留 |
| 資料擁有權 | 是的 | 是的 |
Unity 目錄中「管理」一詞的使用情況
「管理」這個詞在 Unity Catalog 中有多種用法。 本節總結了 manage 在不同情境下的意義。
當人們說一個物件 是由 Unity Catalog 管理時,通常是指 Unity Catalog 管理對該物件的存取。 此規定適用於所有註冊的 Unity 目錄物件,包括外部資料表與磁碟區。
「管理資料表」或「管理磁碟區」中的 「管理 」一詞有更具體的含義:Unity 目錄決定底層資料檔案在雲端帳號中的位置,並控制檔案生命週期(優化、組織與刪除)。 這稱為 管理儲存位置。 你的資料始終都保存在雲端帳戶中。 Azure Databricks 並不擁有或持有你的資料。
這個詞 MANAGE 也會出現在你可以指派給 Unity 目錄物件的特權中。 一般而言,允許 MANAGE 使用者在非擁有者的情況下,指派或撤銷物件的權限、轉移所有權及刪除。 請參閱 MANAGE。
下表總結了 管理的這些常見用途:
| 字詞 | Meaning | 適用對象 |
|---|---|---|
| 由 Unity Catalog 管理 | Unity 目錄負責物件的存取、稽核與血統管理。 | 所有註冊的 Unity Catalog 物件,包括外部資料表與磁碟區 |
| 管理資料表 或 管理磁碟 | Unity 目錄同時控制你雲端帳號內底層的儲存位置(管理儲存位置)和資料生命週期。 | 僅有表格與資料卷 |
| 管理儲存位置 | 在您的雲端帳號中有一個指定路徑,Unity Catalog 用於存放受管表和卷的資料檔案。 你可以在元儲存庫、目錄或結構層級設定受管理儲存位置。 請參閱 在 Unity 目錄中指定受控儲存位置。 | 僅有表格與資料卷 |
MANAGE 特權 |
此權限允許使用者在非擁有者的情況下,指派或撤銷物件的權限、轉移所有權及刪除。 請參閱 MANAGE。 | 所有 Unity 目錄可保護的物件 |
管理資料表與外部資料表
Unity 目錄管理的表格是 Unity 目錄決定底層資料檔案儲存位置的表格。 Unity 目錄將受管理的資料表存放在包含結構、目錄或元儲存庫中定義的託管儲存位置。 當你丟棄受管理的資料表時,Unity Catalog 會刪除底層的資料檔案。 受管理的資料表使用 Delta 或 Apache Iceberg 格式。
外部資料表是指用來指定底層資料檔案儲存位置的表格。 當你丟棄外部資料表時,Unity Catalog 會從中繼儲存庫移除該資料表的元資料,但底層的資料檔案仍然保留。 外部資料表支援多種格式,包括 Delta、CSV、JSON、Avro、Parquet 及 ORC。
欲了解更多資料表類型資訊,請參閱 Databricks Unity 目錄資料表類型。
管理式與外部資料表皆支援透過開放 API 從外部引擎讀取、寫入及建立存取,包括 Unity REST API 與 Iceberg REST 目錄(IRC)。 這表示受管理的資料表不會造成廠商鎖定。 任何支援這些 API 的引擎都能存取受管理的資料表。 請參閱 使用外部系統存取 Databricks 的資料。
管理與外部磁碟
Unity Catalog管理的卷是Unity Catalog決定儲存位置的卷。 Unity Catalog 會自動將管理卷存放在你雲端帳號中包含結構的管理儲存位置。 與管理資料表一樣,您保留底層資料的完整所有權。 當你丟棄管理卷時,Unity Catalog 會刪除底層的資料檔案。
外部磁碟區是指你指定儲存位置的磁碟區。 該位置必須是 Unity 目錄外部位置所覆蓋的路徑。 當你丟棄外部磁碟區時,Unity Catalog 會移除磁碟區定義,但底層的資料檔案仍然保留。
如需磁碟區的詳細資訊,請參閱 什麼是 Unity 目錄磁碟區?。