Enriquecer tabelas com metadados personalizados

O Databricks recomenda que crie sempre comentários para tabelas e colunas em tabelas. Você pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA a objetos do Catálogo Unity.

O Unity Catalog também tem a capacidade de etiquetar dados. Consulte Aplicar tags a objetos securizáveis do Unity Catalog.

Registar mensagens para commits individuais em tabelas num campo do registo de transações.

Definir metadados de confirmação definidos pelo usuário

Especifique strings personalizadas como metadados em commits usando a opção DataFrameWriter userMetadata. Pode usar esta opção com qualquer modo de escrita, incluindo append e overwrite. Esses metadados definidos pelo usuário são legíveis na operação DESCRIBE HISTORY. Para mais informações, consulte Esquema de histórico da tabela e métricas de operação.

SQL

Para as tabelas Delta:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Para tabelas Iceberg:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata Funciona com qualquer modo de escrita, incluindo overwrite e append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata Funciona com qualquer modo de escrita, incluindo overwrite e append.

Notas sobre tipos de computação

Na computação clássica, também pode especificar metadados de commit definidos pelo utilizador usando as chaves spark.databricks.delta.commitInfo.userMetadata de configuração SparkSession (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Se tanto a opção userMetadata DataFrameWriter como a configuração do SparkSession forem especificadas, a opção DataFrameWriter tem prioridade.

Em computação sem servidor, use a opção userMetadata DataFrameWriter diretamente. As chaves de configuração do SparkSession para os metadados de commit não são suportadas na computação serverless.