Scegliere tabelle gestite e esterne
Tip
Per altri dettagli, vedi la scheda Testo e immagini .
Quando si creano tabelle in Azure Databricks, si deve affrontare una decisione fondamentale che influisce sulla gestione, la governance e la flessibilità operativa del ciclo di vita dei dati. La comprensione delle differenze tra tabelle gestite e tabelle esterne (talvolta denominate tabelle non gestite) consente di scegliere l'approccio appropriato per ogni scenario nella piattaforma dati.
In questa unità si apprenderà come distinguere tra tabelle gestite ed esterne ed esplorare i fattori che guidano la scelta.
Informazioni sulle tabelle gestite
Le tabelle gestite sono completamente controllate da Unity Catalog. Questo significa che Unity Catalog gestisce sia i metadati della tabella che i file di dati sottostanti nell'archiviazione cloud. Quando si crea una tabella gestita senza specificare una posizione di archiviazione, Azure Databricks archivia automaticamente i dati in un percorso di archiviazione gestito associato allo schema, al catalogo o al metastore contenitore.
Poiché Unity Catalog ha il controllo completo sulle tabelle gestite, può ottimizzarle automaticamente per prestazioni e costi. Sono disponibili diverse funzionalità esclusivamente per le tabelle gestite:
- L'ottimizzazione predittiva esegue operazioni di manutenzione come la compattazione e l'aspirapolvere automaticamente
- Il clustering liquido automatico seleziona e aggiorna in maniera intelligente le chiavi di clustering sulla base degli schemi di query
- La memorizzazione nella cache dei metadati offre prestazioni di query più veloci tramite la memorizzazione nella cache in memoria
- La pulizia automatica dei file rimuove i file di dati 8 giorni dopo l'eliminazione di una tabella
Le tabelle gestite usano sempre il formato Delta Lake o Apache Iceberg, garantendo transazioni ACID e funzionalità avanzate di gestione dei dati.
Informazioni sulle tabelle esterne
Le tabelle esterne ,dette anche tabelle non gestite, accettano un approccio diverso. Unity Catalog gestisce solo i metadati della tabella, mantenendo il controllo sui file di dati e sul relativo percorso di archiviazione. Quando si crea una tabella esterna, si specifica in modo esplicito dove si trovano i dati usando una LOCATION clausola che punta a una posizione esterna registrata in Unity Catalog.
Questa separazione significa che quando si elimina una tabella esterna, Unity Catalog rimuove i metadati, ma lascia intatti i file di dati nel percorso di archiviazione. L'utente rimane responsabile della gestione di tali file direttamente tramite il provider di servizi cloud.
Le tabelle esterne supportano un'ampia gamma di formati di file oltre Delta Lake e Iceberg, tra cui CSV, JSON, Avro, Parquet, ORC e file di testo.
Confrontare le caratteristiche chiave
La tabella seguente riepiloga le differenze principali tra tabelle gestite ed esterne:
| Caratteristica | Tabelle gestite | Tabelle esterne |
|---|---|---|
| Posizione di archiviazione dei dati | Posizione gestita del catalogo Unity | Posizione esterna specificata dall'utente |
| Gestione dei metadati | Catalogo Unity | Catalogo Unity |
| Gestione dei file di dati | Catalogo Unity | Gestiti dall'utente |
| Formati supportati | Delta Lake, Apache Iceberg | Delta, CSV, JSON, Avro, Parquet, ORC, testo |
| Ottimizzazione automatica | Sì (ottimizzazione predittiva) | NO |
| Comportamento in DROP TABLE | File eliminati dopo 8 giorni | I file rimangono nella risorsa di archiviazione |
| Supporto di UNDROP TABLE | Sì (entro 8 giorni) | NO |
Valutare i criteri decisionali
La scelta tra tabelle gestite ed esterne dipende dai requisiti specifici. Quando si prende la decisione, prendere in considerazione i fattori seguenti.
Proprietà e ciclo di vita dei dati
Se Azure Databricks deve controllare completamente il ciclo di vita dei dati, inclusa la pulizia automatica quando le tabelle vengono eliminate, usare una tabella gestita. Questo approccio semplifica la gestione dei dati e riduce i costi di archiviazione nel tempo.
Se i dati devono essere mantenuti indipendentemente dall'area di lavoro di Azure Databricks o se è necessario conservare i dati dopo aver rimosso la definizione della tabella, usare una tabella esterna. I file di dati rimangono disponibili per altri scopi anche dopo l'eliminazione della tabella.
Accesso esterno al sistema
Quando altri strumenti o sistemi esterni ad Azure Databricks devono leggere o scrivere direttamente i dati, le tabelle esterne offrono la flessibilità necessaria. Si consideri tuttavia che l'accesso esterno diretto ignora i controlli di accesso e la registrazione del catalogo Unity.
Per la condivisione dei dati tra aree, provider di servizi cloud o con partner esterni, La condivisione Delta offre un approccio regolamentato che gestisce i controlli di sicurezza anche con tabelle gestite.
Migrazione e compatibilità
Le tabelle esterne forniscono un percorso pratico durante la migrazione dal metastore Hive al catalogo Unity. È possibile registrare i dati esistenti senza spostare file, consentendo un aggiornamento rapido. Dopo la migrazione, è possibile convertire tabelle esterne in tabelle gestite per sfruttare le funzionalità di ottimizzazione.
Se è necessario supportare formati non Delta e non Iceberg, le tabelle esterne sono l'unica opzione all'interno di Unity Catalog.
Governance e conformità
Prendere in considerazione i requisiti di conservazione e conformità dei dati dell'organizzazione. Le tabelle gestite offrono una governance più efficace tramite il controllo centralizzato, mentre le tabelle esterne offrono flessibilità per gestire i dati in base a specifici requisiti normativi o criteri di archiviazione definiti all'esterno di Azure Databricks.
Importante
Evitare di registrare la stessa tabella come tabella esterna in più metastore. Questa procedura può causare problemi di coerenza perché le modifiche in un metastore non vengono propagate automaticamente ad altri.
Applicare le procedure consigliate
Databricks consiglia tabelle gestite per la maggior parte dei casi d'uso perché offrono la migliore combinazione di governance, prestazioni e semplicità operativa. Utilizzare tabelle esterne quando i requisiti lo richiedono specificamente.
Quando si usano tabelle esterne:
- Limitare l'accesso esterno alle operazioni di lettura quando possibile, con tutte le scritture tramite Azure Databricks.
- Prendere in considerazione la creazione di una posizione esterna per ogni schema per un'organizzazione più chiara.
- Pianificare la migrazione di tabelle esterne alle tabelle gestite quando il caso d'uso originale non si applica più
Con questa comprensione delle tabelle gestite ed esterne, è possibile prendere decisioni informate che bilanciano i requisiti di governance, le esigenze operative e le considerazioni sulle prestazioni per la piattaforma dati.