Berika tabeller med anpassade metadata

Databricks rekommenderar att du alltid skapar kommentarer för tabeller och kolumner i tabeller. Du kan generera dessa kommentarer med hjälp av AI. Se Lägga till AI-genererade kommentarer till Unity Catalog-objekt.

Unity Catalog har också möjlighet att tagga data. Se Tillämpa taggar på skyddsbara objekt i Unity Catalog.

Loggmeddelanden för enskilda ändringar i tabeller i ett fält i transaktionsloggen.

Ange användardefinierade incheckningsmetadata

Ange användardefinierade strängar som metadata i commit-meddelanden med hjälp av alternativet userMetadataDataFrameWriter. Du kan använda det här alternativet med valfritt skrivläge, inklusive append och overwrite. Den här användardefinierade metadatan kan läsas i åtgärden DESCRIBE HISTORY . För mer information, se Tabellhistorikschema och operationsmått.

SQL

För Delta-tabeller:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

För Iceberg-tabeller:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata fungerar med alla skrivlägen, inklusive overwrite och append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata fungerar med alla skrivlägen, inklusive overwrite och append.

Anteckningar om beräkningstyper

Vid klassisk beräkning kan du också ange användardefinierade incheckningsmetadata med hjälp av SparkSession-konfigurationsnycklarna spark.databricks.delta.commitInfo.userMetadata (Delta) eller spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Om både alternativet userMetadata DataFrameWriter och SparkSession-konfigurationen anges har alternativet DataFrameWriter företräde.

På serverlös beräkning använder du alternativet DataFrameWriter userMetadata direkt. Konfigurationsnycklarna för SparkSession för incheckningsmetadata stöds inte vid serverlös beräkning.