Käytä Delta-pöydän huoltoa järvenrakennuksessa

Suorita taulujen ylläpito Delta-tauluissa, jotta ne pysyvät terveinä ajan myötä tiivistämällä pieniä tiedostoja, soveltamalla lukuoptimaaleja ja poistamalla vanhentuneet tiedostot, joita ei enää viitata.

Voit suorittaa ylläpitoa joko ad hoc -operaationa Fabric-portaalissa (lakehouse-taulukon ylläpitotoiminto) tai aikataulutettuna ja orkestroituna prosessina käyttämällä muistikirjoja, putkistoja tai REST-rajapintaa. Fabric Data Factory -putkistoihin sisältyy omistettu Lakehouse Maintenance -toiminto (Preview), joka voi suorittaa OPTIMAL-toimintoja (valinnaisella V-tilauksella) ja VACU-toimintoja Lakehouse Delta -tauluilla osana aikataulutettuja putkistotyönkulkuja. Tämä artikkeli keskittyy ad hoc -portaalin työnkulkuun.

Ohjeistusta työkuormien välisen ylläpidon osalta, mukaan lukien suositukset SQL-analytiikan päätepisteille, Power BI Direct Lakelle ja tietovarasto kuluttajille, löytyy kohdasta Cross-workload table maintenance and optimization. Koodilähtöisiä ylläpitomalleja varten katso Delta Lake -taulun optimointi ja V-järjestys sekä Lakehousen hallinta Fabric REST API:lla.

Suorita pöydän huolto järvenrakennuksesta

Pöytien ylläpito lakehousessa koskee vain Delta-pöytiä. Legacy Hive -taulukoita, jotka käyttävät formaatteja kuten Parquet, ORC, AVRO tai CSV, eivät ole tuettuja.

Suorita ylläpitokomennot -valintaikkunassa valitse asetukset tavoitteesi mukaan.

Yleisenä käytäntönä suorita ylläpito suuren syöttö- tai päivitystoiminnan jälkeen tai kun huomaat paljon pieniä tiedostoja ja hitaampaa lukusuoritusta.

1. Fabric-tililtäsi siirry haluamaansa järvenmajaan.

2. Lakehouse Explorerissa, taulukoiden kohdalla, napsauta oikealla tavoitetaulukkoa (tai käytä ellipsiä).

3. Valitse Ylläpito-valikkomerkintä.

   

4. Suorita ylläpitokomennot -valintaikkunassa valitse ylläpitoasetukset:

   • Valitse On-vaihtoehto tiivistääksesi pienet Parquet-tiedostot suuremmiksi tiedostoiksi tehokkaampaa lukemista varten.

   • Jos Päällä on valittu, voit myös valita Apply V-järjestyksen valintaruudun. Kun valitset tämän vaihtoehdon, Fabric soveltaa V-järjestystä (optimoitu lajittelu, koodaus ja pakkaus) osana optimointia.

     Muistiinpano

     V-järjestyksellä on noin 15% vaikutus keskimääräisiin kirjoitusaikoihin. Se voi myös tarjota jopa 50% enemmän puristusta.

   • Valitse On-asetus suorittaaksesi Delta Lake -komennon ja poistaaksesi VACUUM viitamattomat tiedostot, jotka ovat vanhempia kuin säilytysrajasi. Pidätyskäyttäytymisen ja turvallisuustietojen osalta katso Tyhjiön pidätysasetukset.

   • Valitse On-vaihtoehto yhdistääksesi tapahtumat parquet-tiedostoiksi ja poistaaksesi lisäpoistovektoritiedostot, jolloin tilaa tyhjennetään, ja taulukon lukeminen optimoidaan.

5. Suorita taulukon ylläpitotyö valitsemalla Suorita nyt .

6. Seuraa työn suorittamista jommassakummassa näistä paikoista:

   • Ilmoituspaneeli (kellokuvake Fabric-portaalin otsikossa) välittömän suoritustilan saamiseksi.
   • Seurantakeskus (valitse Monitori vasemmasta navigoinnista) saadaksesi täydelliset työtiedot. Etsi toimintoja, jotka sisältyvät TableMaintenance portaalin aloittamiin suorituksiin aktiviteettinimessä. Fabric Data Factory -putkistoissa suoritettaessa etsi putki Monitoring hub > Pipelines -näkymästä ja suodata Lakehouse Maintenance -toiminnon nimellä.

Kun olet suorittanut ylläpidon, onnistuminen näkyy suoritettuna taulukon ylläpitotoimintona Ilmoituksissa ja TableMaintenance onnistuneena merkintänä Valvontahubissa.

Lisätietoja Monitoring hubin navigoinnista ja suodattimista löytyy osoitteesta Käytä valvontahubia.

Tyhjiön pidätysasetukset

Komento VACUUM poistaa tiedostoja, joita Delta-loki ei enää viittaa ja jotka ovat vanhempia kuin säilytysrajasi. Oletuspysyvyyskynnys on seitsemän päivää.

Lyhyempi muistamisväli voi vähentää Deltan aikamatkustushistoriaa ja vaikuttaa samanaikaisiin lukijoihin tai kirjoittajiin. Fabric-portaalin ja API:n ylläpitopyynnöt epäonnistuvat oletuksena alle seitsemän päivän säilytysjaksoilla.

Jos sinun täytyy käyttää säilytysväliä alle seitsemän päivää, aseta spark.databricks.delta.retentionDurationCheck.enabledfalse se Fabric-ympäristön Spark-ominaisuuksiin, joita työtilasi Spark-työkuormat käyttävät. Jos haluat oppia, missä ympäristöt konfiguroidaan ja liitetään, katso Create, configure, and use an environment in Fabric- ja Spark Compute configuration settings in Fabric.

Liittyvä sisältö

• Delta Lake in Fabric -yleiskatsaus
• Lakehousen ylläpitotoiminta (Ennakko)
• Työkuormataulukon ylläpito ja optimointi
• Delta-järven taulukon optimointi ja V-järjestys
• Hallinnoi järvitaloa Fabric REST API:lla