REORG TABLE

Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 11.3 LTS och senare

Omorganisera en Delta Lake-tabell genom att skriva om filer för att rensa mjukt borttagna data, till exempel kolumndata som släppts av ALTER TABLE DROP COLUMNeller genom att utföra Delta Lake-kontrollpunkter för att förbättra metadatahanteringen.

Syntax

REORG [ TABLE ] table_name { [ WHERE predicate ] APPLY ( PURGE ) |
                             APPLY ( UPGRADE UNIFORM ( ICEBERG_COMPAT_VERSION = version ) |
                                     CHECKPOINT |
                                     SET PARQUET ( FORMAT_VERSION = version ) ) }

För Databricks Runtime-versioner före 15.4 TABLE är ett obligatoriskt nyckelord.

Kommentar

  • APPLY (PURGE) skriver bara om filer som innehåller mjukt borttagna data.
  • APPLY (UPGRADE) kan skriva om alla filer.
  • REORG TABLE är idempotent, vilket innebär att om den körs två gånger på samma datauppsättning har den andra körningen ingen effekt.
  • När du har kört APPLY (PURGE)kan de mjukt borttagna data fortfarande finnas i de gamla filerna. Du kan köra VACUUM för att fysiskt ta bort de gamla filerna.
  • APPLY (CHECKPOINT) kräver att tabellen har kontrollpunkt V2 aktiverad för att förhindra skador som orsakas av tävlingsförhållanden.
  • APPLY (SET PARQUET (FORMAT_VERSION)) skriver om alla datafiler med den angivna Parquet-formatversionen.

Parametrar

  • table_name

    Identifierar en befintlig Delta-tabell. Namnet får inte innehålla en temporal specifikation eller alternativspecifikation.

  • WHERE predikat

    För APPLY (PURGE)omorganiserar om filerna som matchar det angivna partitionspredikatet. Endast filter som omfattar partitionsnyckelattribut stöds.

  • APPLY (PURGE)

    Anger att syftet med filomskrivning är att rensa mjukt borttagna data. Se Rensa endast metadataborttagningar för att tvinga omskrivning av data.

  • APPLY (UPGRADE UNIFORM ( ICEBERG_COMPAT_VERSION = version ))

    Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 14.3 och senare

    Anger att syftet med filomskrivning är att uppgradera tabellen till den angivna Apache Iceberg-versionen. version måste vara antingen 1 eller 2.

  • APPLY (CHECKPOINT)

    Gäller för:markerat med ja Databricks Runtime 16.3 och senare

    Utför Delta-kontrollpunkter i tabellens senaste Delta-version.

  • APPLY (SET PARQUET ( FORMAT_VERSION = version ))

    Gäller för:check markerat ja Databricks Runtime 18.2 och senare

    Skriver om alla datafiler med den angivna Parquet-formatversionen och uppdaterar tabellegenskapen delta.parquet.format.version . version måste vara ’1.0.0’ eller ’2.12.0’.

    Se Parquet v2.

Exempel

> REORG TABLE events APPLY (PURGE);

> REORG TABLE events WHERE date >= '2022-01-01' APPLY (PURGE);

> REORG TABLE events
    WHERE date >= current_timestamp() - INTERVAL '1' DAY
    APPLY (PURGE);

> REORG TABLE events APPLY (UPGRADE UNIFORM(ICEBERG_COMPAT_VERSION=2));

> REORG TABLE events APPLY (CHECKPOINT);

> REORG TABLE events APPLY (SET PARQUET (FORMAT_VERSION = '2.12.0'));
  • Last updated on