使用 DESCRIBE DETAIL 擷取 Delta Lake 或 Apache Iceberg 資料表的詳細中繼資料,包括檔案數量、資料大小、分割欄位,以及已啟用的資料表功能。
例如:
DESCRIBE DETAIL '/data/events/'
DESCRIBE DETAIL eventsTable
如需 Spark SQL 語法詳細資料,請參閱 DESCRIBE DETAIL。
如需 Scala/Java/Python 語法詳細數據,請參閱 Delta Lake API 檔。
詳細架構
Note
您看到的數據行取決於您所使用的 Databricks Runtime 版本,以及您已啟用的數據表功能。
操作的輸出 DESCRIBE DETAIL 只有一列,結構如下:
| Column | 類型 | Description |
|---|---|---|
format |
字串 | 表格格式(例如, delta 或 iceberg)。 |
id |
字串 | 資料表的唯一標識碼。 |
name |
字串 | 中繼存放區中所定義的數據表名稱。 |
description |
字串 | 數據表的描述。 |
location |
字串 | 表格的位置。 |
createdAt |
時間戳記 | 數據表創建時 |
lastModified |
時間戳記 | 上次修改數據表的時間。 |
partitionColumns |
字串陣列 | 如果該數據表已分區,則為分區欄位的名稱。 |
numFiles |
long | 表格最新版本中的檔案數量。 |
sizeInBytes |
int | 資料表最新快照的大小(以位元組為單位)。 |
properties |
字串-字串映射 | 為此數據表設定的所有屬性。 |
minReaderVersion |
int | 可讀取數據表的最低讀取器版本(根據日誌協定)。 |
minWriterVersion |
int | 寫入器的最低版本(依據日誌協議)能夠寫入表格。 |
statistics |
具有字串鍵的映射 | 其他表層級統計資訊。 |
tableFeatures |
字串陣列 | 該數據表支持的功能清單。 請參閱 Delta Lake 功能相容性和通訊協定。 |
clusteringColumns |
字串陣列 | 用於液體分群的欄位。 請參閱 針對數據表使用液體叢集。 |
輸出範例:
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
|format| id| name|description| location| createdAt| lastModified|partitionColumns|numFiles|sizeInBytes|properties|minReaderVersion|minWriterVersion|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
| delta|d31f82d2-a69f-42e...|default.deltatable| null|file:/Users/tuor/...|2020-06-05 12:20:...|2020-06-05 12:20:20| []| 10| 12345| []| 1| 2|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+