Järjestä Delta-taulukot uudelleen REORGilla

Käytä REORG komentoa, kun sinun täytyy kirjoittaa osa Delta-taulukosta uudelleen tiettyä ylläpitotavoitetta varten. Vuonna Fabric REORG järjestää taulukon fyysisen asettelun uudelleen kirjoittamalla tiedostoja tai päivittämällä taulukon metatietoja valitsemasi vaihtoehdon mukaan.

REORG eroaa rutiininomaisesta tiedostojen tiivistämisestä. Se kohdistuu skenaarioihin, kuten rivin fyysiseen poistamiseen, jotka poistovektorit merkitään poistetuiksi.

Mitä REORG tekee

REORG TABLE kirjoittaa taulutilan uudelleen määritellylle ylläpitotoiminnolle.

• APPLY (PURGE) kirjoittaa uudelleen vaikutetut tietotiedostot, jolloin poistovektoreilla pehmeästi poistetut rivit poistetaan fyysisesti taustalla olevista Parquet-tiedostoista.

Käytä REORG silloin, kun tarvitset tietyn uudelleenkirjoitustuloksen, ei vain pienempiä tai vähemmän tiedostoja.

Käytä PUHDISTUSTA poistaaksesi pehmeästi poistetut rivit fyysisesti

Poistovektorit sallivat Delta Laken merkitä rivit poistetuiksi ilman, että alkuperäiset Parquet-tiedostot kirjoitetaan heti uudelleen. Tämä ominaisuus pitää poistotoiminnot tehokkaina, mutta poistettu rividata on edelleen fyysisissä tiedostoissa, kunnes kirjoitat ne uudelleen.

Kun ajat REORG TABLE ... APPLY (PURGE), Fabric kirjoittaa uudelleen vaikuttavat tiedostot ja poistaa pehmeästi poistetut rivit aktiivisista Parquet-tiedostoista. Kun PURGE ne ovat valmiita, nuo poistetut rivit katoavat itse asiassa uudelleenkirjoitetuista tiedostoista.

Tämä vaihtoehto on hyödyllinen, kun:

• Sinulla on vaatimustenmukaisuus- tai GDPR-vaatimukset ja poistetut tiedot täytyy poistaa fyysisesti tiettyyn aikatauluun.
• Haluat pakottaa tiedostot, jotka jäävät alle käyttämän 5% -rajan OPTIMIZE .

Kertaa syntaksi

Käytä seuraavia esimerkkejä Fabric-muistikirjassa.

Tyhjennä pehmeästi poistetut rivit taulukosta

REORG TABLE table_name APPLY (PURGE)

spark.sql("REORG TABLE table_name APPLY (PURGE)")

spark.sql("REORG TABLE table_name APPLY (PURGE)")

Tyhjennä pehmeästi poistetut rivit vain datan yhdistämistä varten

REORG TABLE table_name WHERE predicate APPLY (PURGE)

spark.sql("REORG TABLE table_name WHERE predicate APPLY (PURGE)")

spark.sql("REORG TABLE table_name WHERE date = '2024-01-01' APPLY (PURGE)")

Käytä ehtoa WHERE , kun haluat kohdistaa tiettyihin osioihin tai pienempään datasegmenttiin.

REORG TABLE sales.orders
WHERE order_date = DATE '2026-05-01'
APPLY (PURGE)

spark.sql("""
REORG TABLE sales.orders
WHERE order_date = DATE '2026-05-01'
APPLY (PURGE)
""")

spark.sql("""
REORG TABLE sales.orders
WHERE order_date = DATE '2026-05-01'
APPLY (PURGE)
""")

Valitse REORG tai OPTIMIZE

REORG ja OPTIMIZE ratkaista erilaisia ongelmia.

• OPTIMIZE suorittaa säiliön tiivistämisen. Se yhdistää pienet tiedostot suuremmiksi tiedostoiksi parantaakseen skannauksen tehokkuutta.
• REORG ... APPLY (PURGE) poistaa fyysisesti rivit, jotka poistovektorit merkitsevät poistuneiksi.

Voit käyttää molempia komentoja yhdessä. Esimerkiksi voit ajaa REORG ... APPLY (PURGE) poistaaksesi poistetun datan fyysisesti ja sitten OPTIMIZE parantaa tiedostoasettelua.

Ymmärrä deleetiovektorit

Poistovektorit ovat metatietorakenteita, jotka merkitsevät rivit poistetuiksi ilman, että Parquet-tiedostoja, jotka sisältävät nämä rivit, kirjoitetaan välittömästi uudelleen. Lukijat kunnioittavat poistovektoreita, joten poistetut rivit eivät näy kyselytuloksissa, mutta tavut pysyvät tallennuksessa, kunnes uudelleenkirjoitus tapahtuu.

REORG ... APPLY (PURGE) on vaihe, joka fyysisesti poistaa nämä rivit uudelleen kirjoitetuista Parquet-tiedostoista.

Suorita REORG Fabric-tilassa

Suorita REORG Spark-pohjaisista kokemuksista Fabric:ssa, kuten:

• Kangasmuistikirjat
• Spark-työn määritykset

Älä juokse REORG SQL-analytiikan päätepisteestä. REORG on Spark SQL:n ylläpitokomento Delta-tauluille.

Parhaiden käytäntöjen noudattaminen

• Käytä PURGE vain, kun sinulla on erityinen tarve, kuten vaatimustenmukaisuusvaatimukset. OPTIMIZE Poistaa automaattisesti tiedostot, joissa yli 5% tietueita viitataan poistovektoreilla, joten rutiinihuolto ei yleensä vaadi erillistä PURGE vaihetta.
• Suorita PURGE ennen VACUUM , kun poistat tiedot täytyy poistaa fyysisesti vaatimustenmukaisuuden tai GDPR-vaatimusten vuoksi.
• Käytä WHERE predikaatteja kohdistamaan tiettyjä osioita, kun sinun ei tarvitse kirjoittaa koko taulukkoa uudelleen.
• Käytä UPGRADE UNIFORM silloin, kun tarvitset Iceberg-lukijoita, mutta varaudu UniFormin ylläpitämään ylimääräiseen metatietoon.
• Käsittele REORG ja OPTIMIZE täydentävinä huoltotoimintoina, ei vaihdettavina.

Liittyvä sisältö

• Deleetiovektorit
• Pöydän tiivistys
• VACUUM Delta-taulukot
• Pöydän ylläpidon yleiskatsaus