Inspect Delta-taulun metatiedot

Käytä DESCRIBE DETAIL ja DESCRIBE HISTORY kun sinun täytyy tarkastaa Delta-taulukko ilman muutosta. Nämä komennot auttavat ymmärtämään, miten taulukko tallennetaan, mikä on muuttunut ajan myötä ja minkä tauluversion haluat tutkia tai palauttaa.

Molemmat komennot ovat vain luku -tarkastuskomentoja. Ne eivät muokkaa taulutietoja, metatietoja tai transaktiohistoriaa.

Käytä KUVAILE YKSITYISKOHTAA

DESCRIBE DETAIL palauttaa taulukkotason metatiedot Delta-taululle. Käytä sitä, kun haluat nopean kuvan taulukon määritelmästä ja tallennustilan yksityiskohdista.

Tyypillisiä metatietoja ovat:

  • Taulukkomuoto
  • Taulukon tunniste ja nimi
  • OneLake-sijainti
  • Luomisaika ja viimeksi muokattu aika
  • Jakosarakkeet
  • Tiedostomäärä ja kokonaiskoko tavuina
  • Taulukon ominaisuudet
  • Vähimmäislukija- ja kirjoitusprotokollaversiot

Juokse KUVAILE YKSITYISKOHTIA

Aja DESCRIBE DETAIL Delta-taulukkoa vastaan käyttämällä Spark SQL:ää tai Delta Lake API:ta PySparkissa tai Scalassa.

DESCRIBE DETAIL schema_name.table_name

Ymmärrä KUVAILE YKSITYISKOHTAA tulosta

Tarkka skeema voi vaihdella ajonajan ja taulun ominaisuuksien mukaan, mutta yleensä näet seuraavat sarakkeet.

Column Mitä se tarkoittaa
format Taulukkomuoto. Delta-taulukoissa Fabric tämä arvo on delta.
id Delta-taulukon yksilöllinen tunniste.
name Rekisteröidyn pöydän nimi.
location Pöydän säilytysreitti OneLakessa.
createdAt Aikaleima, jolloin taulukko luotiin.
lastModified Aikaleima, jolloin taulukon metatiedot tai tiedostot päivitettiin viimeksi.
partitionColumns Taulukolle määriteltyjen osion sarakkeiden lista.
numFiles Taulukon seuraamien tiedostojen nykyinen määrä.
sizeInBytes Seuratun taulukon datan kokonaiskoko tavuina.
properties Taulukon ominaisuudet tallennetaan Delta-taulukon määritelmällä.
minReaderVersion Vähimmäisvaatimus Delta-protokollan lukijaversiosta, joka vaadittiin taulukon lukemiseen.
minWriterVersion Vähintään Delta-protokollan kirjoittajaversio, joka vaadittiin kirjoittamaan taululle.

Käytä näitä arvoja varmistamaan, missä taulu sijaitsee, arvioi tallennustilan, tarkista osiointi ja tarkista, muuttuivatko taulun ominaisuudet tai protokollaversiot.

Käytä KUVAILE HISTORIAA

DESCRIBE HISTORY palauttaa Delta-taulukon toimintatason historian. Käytä sitä, kun tarvitset tarkastusseurantaa kirjoituksista ja ylläpitotoimista, kuten WRITE, MERGE, OPTIMIZE, VACUUM, DELETE, tai UPDATE.

Tämä historia auttaa sinua vastaamaan kysymyksiin kuten:

  • Kuka vaihtoi pöydän?
  • Mikä operaatio toteutettiin?
  • Milloin muutos tapahtui?
  • Minkä version kannattaa tarkistaa aikamatkailun vai palautuksen kanssa?

Juokse KUVAILE HISTORIAA

Juokse DESCRIBE HISTORY palauttaaksesi koko saatavilla olevan historian.

DESCRIBE HISTORY schema_name.table_name

Rajoita tehoa, kun tarvitset vain viimeisimmät merkinnät.

DESCRIBE HISTORY schema_name.table_name LIMIT n

Ymmärrä KUVAILE HISTORIAA -tulos

Historian tulos on Delta-tapahtumien auditointilokki. Seuraavat sarakkeet ovat erityisen hyödyllisiä.

Column Mitä se tarkoittaa
version Delta-taulun versio, jonka operaatio on luonut.
timestamp Aika, jolloin operaatio toteutettiin.
operation Operaatiotyyppi, kuten WRITE, MERGE, OPTIMIZE, tai VACUUM.
operationParameters Parametrit, jotka toimitettiin operaatiota varten.
operationMetrics Operaatioon tallennetut mittarit, kuten lisätyt tiedostot, poistetut tiedostot, kirjoitetut rivit tai käsitelty datavolyymi.
userName Käyttäjä tai päähenkilö, joka liittyy operaatioon, kun se on saatavilla.
Muistikirjan tiedot Muistikirjaan liittyvä konteksti, kuten muistikirjan polku tai muistikirjan tunnus, kun operaatio tuli muistikirjan suorituksesta.

Käytä operationParameters ja operationMetrics yhdessä, kun tarvitset enemmän kuin operaation nimen. Esimerkiksi OPTIMIZE ja VACUUM -merkinnöissä on usein mittareita, jotka auttavat ymmärtämään, kuinka paljon dataa Fabric uudelleenkirjoittaa tai siivota.

Milloin käyttää KUVAILE HISTORIAA

DESCRIBE HISTORY on erityisen hyödyllinen näissä tilanteissa:

  • Auditointijälki: Käy läpi, kuka vaihtoi pöytää ja mitä toimintaa he pyörittävät.
  • Debuggaus: Tunnista kirjoitus-, yhdistä-, optimointi- tai poistotoiminto, joka aiheutti ongelman.
  • Version löytyminen: Etsi taulukkoversio, jota käytetään aikamatkailuun tai RESTORE.
  • Huollon seuranta: Tarkista OPTIMIZE ja VACUUM mittaa varmistaaksesi, että huolto on käynnissä ja mitä se on muuttanut.

Missä nämä komennot suoritetaan

Suorita nämä komennot Fabric-muistikirjoissa ja Spark-työtehtävien määrittelyissä, kun työskentelet Delta-taulukoiden kanssa Apache Sparkin kautta.

DESCRIBE DETAIL toimii myös SQL-analytiikan päätepisteessä perustaulukon metatietoskenaarioissa. Käytä Sparkia, kun tarvitset täysiä Delta Lake -rajapintoja, kuten DeltaTable.forName(...).detail()DeltaTable.forName(...).history() PySparkissa tai Scalassa.

Historian säilyttäminen

Delta-historian säilyttämistä ohjaa taulukkoominaisuus delta.logRetentionDuration . Oletussäilytysaika on 30 päivää.

Jos sinun täytyy tarkistaa vanhempaa historiaa, varmista, että taulun säilytysasetukset säilyttävät tapahtumalokin riittävän kauan operatiivisia ja auditointitarpeitasi varten.

Liittyvä sisältö

  • Last updated on