Livscykel för objektlagring i Unity Catalog

När du tar bort ett skyddsbart objekt i Unity Catalog (via Catalog Explorer, SQL DROPosv.) beror vad som händer på objekttypen och lagringstypen. På den här sidan beskrivs alternativen för datafillivscykel, lagringsfakturering och återställning efter borttagning.

Lagringstypen avgör vad som händer med datafilerna

Vad som händer med underliggande datafiler beror på om tillgången hanteras eller är extern för tabeller och volymer. Mer information om den här skillnaden finns i Hanterade kontra externa tillgångar i Unity Catalog.

  • Hanterade tabeller och volymer: Unity Catalog styr lagringsplatsen och datafilernas livscykel. Datafilerna finns på den hanterade lagringsplats som definierats på metaarkiv-, katalog- eller schemanivå. När du tar bort en hanterad tabell eller volym tar Unity Catalog bort de underliggande datafilerna via en livscykel med flera faser. Hanterade lagringsplatser finns i två varianter:

    • Azure Databricks standardlagring: Objektlagring som Azure Databricks etablerar och hanterar i ditt Azure Databricks konto.
    • Kundhanterad hanterad lagring: En molnlagringsplats i ditt molnkonto, konfigurerad på metaarkiv-, katalog- eller schemanivå, som Azure Databricks skriver och hanterar data till.

    Båda smakerna delar samma datafilslivscykel, men kvarhållningen av fakturerings- och efterborttagningsfiler skiljer sig åt. Se Hanterade objekt på Azure Databricks standardlagring jämfört med lagring som tillhandahålls av kunden.

  • Externa tabeller och volymer: Du styr lagringsplats och livscykel. När du tar bort en extern tabell eller volym tar Unity Catalog bort metadata från metaarkivet, men datafilerna finns kvar på molnlagringsplatsen.

  • Utländska och federerade kataloger: Data finns i en annan datakälla (till exempel en federerad databas via Lakehouse Federation eller ett Hive-metaarkiv via Hive-metaarkivfederation). Unity Catalog innehåller endast anslutningsmetadata. När du tar bort en extern katalog tar Unity Catalog bort anslutningsmetadata. Data i källsystemet påverkas inte.

För andra skyddsbara objekt (kataloger, scheman, vyer, funktioner, modeller) tar borttagning endast bort metadata – det finns inga associerade datafiler som Unity Catalog kan hantera. Om du släpper en katalog eller ett schema med CASCADE tas de inneslutna tabellerna och volymerna bort, var och en enligt sitt eget hanterade eller externa beteende ovan.

Återställa ett borttaget objekt

Hur du återställer ett borttaget objekt beror på objekttypen.

Objekttyp Recovery
Tabeller, materialiserade vyer, strömmande tabeller Använd UNDROP inom 7 dagar efter borttagningen. Materialiserade vyer och strömmande tabeller måste ha skapats från en ETL-pipeline och den pipelinen måste fortfarande finnas.
Kataloger, scheman, volymer, vyer, funktioner, modeller Det går inte att återställa efter borttagningen.

Warning

Återställningen är tidsbegränsad och bästa möjliga. Ta bara bort ett objekt när du har bekräftat att du inte längre behöver data. RESTRICT Använd alternativet (standard) på DROP CATALOG och DROP SCHEMA för att förhindra oavsiktlig rekursiv borttagning av icke-tomma objekt.

Livscykel för hanterade data efter en borttagning

Att ta bort en hanterad tabell eller volym tar inte bort datafilerna från molnlagringen omedelbart. Datafiler behålls under ett återställningsfönster och tas bort permanent efteråt.

Fas 1: Återställningsfönster

I sju dagar efter borttagningen behåller Unity Catalog de mjukt borttagna data så att du kan återställa objektet. Under det här fönstret:

  • Använd UNDROP SQL-kommandot för att återställa tabeller, materialiserade vyer och strömmande tabeller.
  • Unity Catalog behåller det borttagna objektets metadata och lagringsfakturering fortsätter.

Fas 2: Rensning

När 7-dagars återställningsfönstret är slut kan objektet inte längre återställas. Unity Catalog tar bort datafilerna permanent inom 48 timmar. Information om lagringsfakturering i varje fas finns i Lagringsfakturering efter en borttagning.

Hanterade objekt på Azure Databricks standardlagring jämfört med lagring som tillhandahålls av kunden

Hanterade objekt kan använda två typer av hanterad lagring. Datalivscykeln och Unity Catalog-rensningsbeteendet är desamma, men kvarhållningen av fakturerings- och efterrensningsfiler skiljer sig åt.

Lagringstyp Filrensning
Azure Databricks standardlagring (hanteras av Azure Databricks åt dig) Unity Catalog tar bort datafilerna permanent inom 48 timmar efter att återställningsfönstret har avslutats.
Kundhanterad hanterad lagring (en molnlagringsplats som du konfigurerade i metaarkivet, katalogen eller schemat) Unity Catalog tar bort datafilerna permanent inom 48 timmar efter att återställningsfönstret har avslutats. Dina molnlagringsprinciper (objektversionshantering, mjuk borttagning, livscykelregler) kan behålla filer efter den här punkten. Molnleverantören fakturerar dig för lagringen enligt dessa principer.

Mer information om Azure Databricks standardlagring finns i Standardlagring i Databricks. Information om hur du konfigurerar kundhanterad hanterad lagring finns i Ange en hanterad lagringsplats i Unity Catalog.

Externa tabeller och volymer

När du tar bort en extern tabell eller extern volym tar Unity Catalog bort metadata från metaarkivet. Datafilerna i molnlagringen tas inte bort. Molnleverantören fortsätter att fakturera dig för lagringen enligt bucketens principer.

Ta bort filerna genom att ta bort dem direkt från molnlagringen.

Externa och federerade kataloger

En sekundär katalog innehåller metadata som refererar till en extern datakälla. När du tar bort en extern katalog tar Unity Catalog bort anslutningsmetadata. Data i källsystemet påverkas inte. Azure Databricks debiterar dig inte för lagring i källsystemet. Källsystemets fakturering gäller.

Debitering för lagring efter borttagning

I följande tabell sammanfattas hur Azure Databricks och molnleverantören fakturerar för lagring i varje fas. Azure Databricks debiterar endast för lagring i Azure Databricks standardlagring, och endast under återställningsperioden – debiteringen för lagring upphör när återställningsperioden på 7 dagar har löpt ut. För kundhanterad hanterad lagring och extern lagring fakturerar molnleverantören dig direkt.

Lagringstyp Återställningsfönster Fas 2-rensning Efter rensning
Hanteras på Azure Databricks standardlagring Fakturering för Azure Databricks Inte kundfakturerbar (faktureringen stoppas när återställningsfönstret har passerat) Ej tillämpligt
Hanteras på lagring som tillhandahålls av kunden Molnleverantör faktureras Molnleverantör faktureras Molnleverantören faktureras (styrs av bucketens principer)
Externa tabeller och volymer Molnleverantören faktureras (filer tas inte bort) Molnleverantör faktureras Molnleverantör faktureras
Externa och federerade kataloger Ej tillämpligt Ej tillämpligt Ej tillämpligt

När du har raderat ett hanterat objekt på lagring som tillhandahålls av kunden kan du fortfarande se lagringsavgifter från molnleverantören. Om du vill minska dessa avgifter, kontrollera bucketens policyer för objektversionering, återställbar borttagning och livscykelpolicyer.

Ta bort ett objekt från Katalogutforskaren

Du kan ta bort Unity Catalog-objekt från Katalogutforskaren i arbetsytans användargränssnitt. Den datalivscykel som beskrivs i den här artikeln gäller oavsett om du tar bort ett objekt från Katalogutforskaren eller kör en SQL-instruktion DROP .

Vad händer när du tar bort en arbetsyta

Som standard tar borttagning av en arbetsyta inte automatiskt bort arbetsytans standardkatalog för Unity Catalog. Om katalogen behålls finns dess hanterade tabeller och volymer kvar och lagringsfakturering fortsätter tills katalogen tas bort.

Azure Databricks erbjuder ett alternativ för tvångsborttagning som tar bort arbetsytans katalog och dess data i samband med att arbetsytan tas bort. Se Tvångsborttagning av arbetsytekatalogen. Om arbetsytekatalogen inte tvångsraderas finns den kvar efter att arbetsytan har tagits bort och måste tas bort manuellt.

Mer information om borttagning av arbetsytor finns i Ta bort en arbetsyta.

Ytterligare resurser