Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Delta-pöytien ylläpito auttaa pitämään pöydät nopeita ja säilytystehokkaita niiden kasvaessa. Ajan myötä Delta-taulut voivat kerätä paljon pieniä tiedostoja, poistettu data voi viedä tallennustilaa ja vanhentuneet tilastot voivat heikentää kyselyjen tehokkuutta. Säännöllinen ylläpito auttaa parantamaan lukusuorituskykyä, palauttamaan tallennustilaa ja pitämään taulun metatiedot linjassa työkuormiesi pääsyn kanssa. Käytä tätä artikkelia nopeana oppaana Delta-taulukoiden pääasiallisiin huoltotoimintoihin.
Miksi ylläpito on tärkeää
Kun Delta-taulukot kasvavat, kirjoitusaktiivisuus muuttaa taulukon fyysistä rakennetta. Toistuvat syöttötehtävät voivat luoda paljon pieniä tiedostoja, päivitys- ja poistotoiminnot voivat jättää jäljelle viittaamattomia tiedostoja tai pehmeästi poistettuja rivejä, ja vanhemmat tilastot voivat vaikeuttaa Sparkin ohittamista tarpeettomasta datasta. Jos ylläpidät taulukoita säännöllisesti, vähennät skannausten ylikuormitusta, autat Fabric optimoimaan kyselyt tehokkaammin ja vältät maksamasta tallennustilasta, jota aktiiviset taulukkoversiot eivät enää tarvitse.
Käytä OPTIMIC-järjestelmää bin tiivistämiseen
Käytä OPTIMIZE sitä, kun Delta-taulukkosi on kerännyt paljon pieniä tiedostoja ja haluat yhdistää ne harvemmiksi, suuremmiksi tiedostoiksi. Tämä toiminto parantaa lukusuorituskykyä vähentämällä tiedostonhallinnan kuormitusta ja tekemällä skannauksista tehokkaampia.
OPTIMIZE tukee myös muita argumentteja ja piirteitä, kuten VORDER. Täyden syntaksin, vaihtoehdot ja esimerkit löytyvät kohdasta Taulukon tiivistäminen ja V-järjestys.
Käytä IMUa varaston siivoukseen
Käytä VACUUM sitä, kun haluat poistaa viittaamattomat tiedostot, jotka ovat vanhempia kuin konfiguroitu säilytysikkuna. Fabric-ohjelmassa tämä toiminto auttaa sinua palauttamaan OneLake-tallennustilaa päivitysten, poistojen, yhdistämisten, ylikirjoitustoimintojen ja tiivistämisen jälkeen.
VACUUM Keskittyy tallennustilan siivoukseen kyselyvirityksen sijaan, joten se yleensä täydentää muita ylläpitotehtäviä korvaamisen sijaan. Ohjeiden säilyttämisestä ja toteutuksesta löytyy kohdasta VACUUM.
Käytä REORGia kohdennettuihin uudelleenjärjestelyihin
Käytä REORG sitä, kun sinun täytyy kirjoittaa taulukkotila uudelleen tietyn ylläpitotavoitteen vuoksi yleisen tiedoston tiivistämisen sijaan. Delta Lakessa se REORG TABLE ... APPLY (PURGE) poistaa fyysisesti rivit, jotka poistovektorit merkitsevät poistetuiksi. Tuetut vaihtoehdot ja käyttöajankohdat löydät kohdasta Reorganize Delta-taulukot REORGilla.
Muistio
REORG ei yleensä tarvita, koska OPTIMIZE se tyhjentää automaattisesti tiedostot, joissa yli 5% tietueita viitataan poistovektoreilla.
Pidä tilastot ajan tasalla
Fabric Spark Runtime tukee kahta tilastotyyppiä Delta-taulukoissa: tiedostotilastoja ja taulukkotilastoja.
- Tiedostotilastot—Delta Lake tallentaa tiedostokohtaiset minim-, maksimi- ja nollamääräarvot indeksoiduille sarakkeille aina, kun tiedosto kirjoitetaan. Spark-moottori käyttää näitä tilastoja ohittaakseen tiedostoja, jotka eivät voi sisältää rivejä, jotka vastaavat kyselypredikaattia, mikä vähentää skannattavan datan määrää. Oletuksena tilastot kerätään ensimmäisistä 32 sarakkeesta. Lisätietoja siitä, miten tiedostojen ohittaminen toimii ja miten voit räätälöidä, mille sarakkeille tilastot kerätään, löydät kohdasta Tiedostojen ohittaminen.
- Taulukon tilastot—Saraketason tilastot, jotka on koottu kaikkiin taulukon tiedostoihin, ylläpidetään automaattisesti, jotta Sparkilla on parempi metadata kyselyjen suunnitteluun. Nämä tilastot parantavat suorituskykyä tekemällä parempia optimointipäätöksiä suodattimille, liitoksille ja aggregaatioille. Jos haluat oppia, miten automatisoitu tilastotiede toimii ja miten niitä konfiguroidaan, katso Automated statistics for Delta tables.
Käytä automaattista tiivistämistä jatkuvaan tiedostonhallintaan
Delta Lake tukee myös automaattista tiivistämistä kirjoitusten jälkeen, joten taulukot pysyvät terveempinä ilman erillistä manuaalista työtä joka kerta. Voit hallita tätä käyttäytymistä taulukon ominaisuuksien tai työtilan asetusten kautta riippuen siitä, miten hallitset Spark-työkuormia. Katso Auto compressaction saadaksesi lisätietoja siitä, miten se voidaan ottaa käyttöön.
Suorita huolto järvimajan käyttöliittymästä
Jos pidät käyttöliittymäpohjaisesta työnkulusta, voit suorittaa ylläpitotoimia suoraan Lakehouse-tutkimusohjelmasta, katso Lakehouse-taulukon ylläpito.
Noudata käytännön huoltorytmiä
Suorita OPTIMIZE suuren erän jälkeen tai kun pienet tiedostot alkavat kertyä ja hidastaa lukemista. Ajaa VACUUM säännöllisellä rytmillä, esimerkiksi viikoittain tai suurten tiivistyssyklien jälkeen, jotta tallennustila saadaan takaisin tiedostoista, joihin taulukko ei enää viittaa.
REORG TABLE ... APPLY (PURGE) ei tarvita rutiiniylläpitoa, koska OPTIMIZE se tyhjentää automaattisesti tiedostot, joissa yli 5% tietueita viitataan poistovektoreilla. Varaa PURGE tilanteita, joissa vaaditaan nimenomaista valvontaa, kuten vaatimustenmukaisuus tai GDPR-velvoitteet. Seuraa taulukon kuntoa ja DESCRIBE DETAILDESCRIBE HISTORY näin voit seurata tiedostomääriä, kokoa ja huoltohistoriaa ennen ja jälkeen jokaisen toiminnon.
-- View current table state
DESCRIBE DETAIL table_name;
-- View history of transactions
DESCRIBE HISTORY table_name;