以自訂元資料豐富資料

Databricks 建議你一定要為資料表中的欄位建立註解。 您可以使用 AI 產生這些註解。 請參閱將 AI 產生的註解新增至 Unity Catalog 物件。

Unity 目錄也具備標記資料的功能。 請參閱將標籤套用至 Unity Catalog 安全物件。

在交易日誌的某欄位中記錄針對資料表的個別提交訊息。

設定使用者自訂的提交元資料

在提交中指定使用者定義字串作為元資料,使用 DataFrameWriter 選項 userMetadata。 你可以在任何寫入模式使用此選項,包括 append 和 overwrite。 此使用者定義的中繼資料在 DESCRIBE HISTORY 作業中可讀取。 欲了解更多資訊,請參閱 資料表歷史結構與操作指標。

SQL

關於 Delta 表格:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

對於 Iceberg 資料表:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata 適用於任何寫入模式,包括 overwrite 和 append。

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata 適用於任何寫入模式,包括 overwrite 和 append。

關於計算類型的說明

在經典運算中,你也可以使用 SparkSession 配置鍵 spark.databricks.delta.commitInfo.userMetadata (Delta)或 spark.databricks.iceberg.commitInfo.userMetadata (Iceberg)來指定使用者定義的提交元資料。 若同時指定 DataFrameWriter 選項 userMetadata 與 SparkSession 配置,則 DataFrameWriter 選項優先。

在無伺服器運算時,直接使用 DataFrameWriter 選項 userMetadata 。 SparkSession 用於提交元資料的設定鍵在無伺服器運算中不被支援。