Manutenzione del tavolo Delta in casa sul lago

Eseguire la manutenzione delle tabelle in tabelle Delta per mantenerle integre nel tempo compattando i file di piccole dimensioni, applicando ottimizzazioni di lettura e rimuovendo i file obsoleti a cui non viene più fatto riferimento.

Puoi eseguire la manutenzione sia come operazione ad hoc nel portale Fabric (azione di manutenzione della tabella lakehouse) sia come processo programmato e orchestrato usando notebook, pipeline o API REST. Le pipeline Fabric Data Factory includono un'attività dedicata di Lakehouse Maintenance (Preview) che può eseguire OPTIMIZE (con V-order opzionale) e VACUUM su tabelle delta di lakehouse come parte dei flussi di lavoro programmati della pipeline. Questo articolo è incentrato sul flusso di lavoro del portale ad hoc.

Per indicazioni sulla manutenzione tra carichi di lavoro, incluse le raccomandazioni per l'endpoint di analisi SQL, Power BI Direct Lake e i consumer di Data Warehouse, vedere Manutenzione e ottimizzazione delle tabelle dei carichi di lavoro incrociati. Per i modelli di manutenzione code-first, vedi ottimizzazione delle tabelle Delta Lake e V-order e Gestire la casa del lago con Fabric REST API.

Manutenzione del tavolo da corsa da lakehouse

La manutenzione dei tavoli a Lakehouse si applica solo ai tavoli Delta. Le tabelle Hive legacy che usano formati come Parquet, ORC, AVRO o CSV non sono supportate.

Nella finestra di dialogo Esegui comandi di manutenzione scegliere le opzioni in base all'obiettivo.

Come procedura generale, eseguire la manutenzione dopo l'inserimento principale o l'attività di aggiornamento o quando si osservano molti file di piccole dimensioni e prestazioni di lettura più lente.

1. Dal tuo account Fabric, naviga verso la casa sul lago desiderata.

2. In Lakehouse explorer, sotto Tabelle, clicca con il tasto destro sulla tabella target (o usa l'ellissi).

3. Selezionare la voce del menu Manutenzione.

   

4. Nella finestra di dialogo Esegui comandi di manutenzione scegliere le opzioni di manutenzione:

   • Selezionare l'opzione Sì per compattare i file Parquet di piccole dimensioni in file di dimensioni maggiori per letture più efficienti.

   • Se è selezionato On , puoi anche selezionare la casella Applica V-order . Quando selezioni questa opzione, Fabric applica l'ordine V (ordinamento, codifica e compressione ottimizzati) come parte dell'ottimizzazione.

     Nota

     L'ordine in V ha un impatto di circa 15% sui tempi medi di scrittura. Può anche fornire fino a 50% più compressione.

   • Selezionare l'opzione Sì per eseguire il comando Delta Lake VACUUM e rimuovere i file senza riferimenti precedenti alla soglia di conservazione. Per informazioni dettagliate sul comportamento di conservazione e sulla sicurezza, vedere Impostazioni di conservazione vuoto.

   • Selezionare l'opzione Sì per unire le transazioni in file parquet e rimuovere i file di vettori di eliminazione aggiuntivi, pulire lo spazio e ottimizzare le letture delle tabelle.

5. Selezionare Esegui ora per eseguire il processo di manutenzione delle tabelle.

6. Tieni traccia dell'esecuzione dell'attività in uno di questi luoghi:

   • Riquadro delle notifiche (icona della campana nell'intestazione del portale di Fabric) per visualizzare lo stato di esecuzione immediato.
   • Hub di monitoraggio (selezionare Monitor nella navigazione a sinistra) per i dettagli completi del lavoro. Cerca attività che contengono TableMaintenance nel nome dell'attività per le esecuzioni avviate dal portale. Per le operazioni di manutenzione eseguite tramite le pipeline di Fabric Data Factory, cercare l'esecuzione della pipeline nella vista hub di monitoraggio > Pipelines e filtrare per nome dell'attività "Lakehouse Maintenance".

Dopo l'esecuzione della manutenzione, il successo viene segnalato come attività di manutenzione della tabella completata in Notifiche e come voce riuscita TableMaintenance nell'hub di monitoraggio.

Per altre informazioni sulla navigazione e i filtri dell'hub di monitoraggio, vedere Usare l'hub di monitoraggio.

Impostazioni di conservazione del vuoto

Il VACUUM comando rimuove i file a cui non viene più fatto riferimento dal log Delta e che sono precedenti alla soglia di conservazione. La soglia di conservazione predefinita è di sette giorni.

L'uso di un intervallo di conservazione più breve può ridurre la cronologia temporale Delta e può influire sui lettori o sugli scrittori simultanei. Le richieste di manutenzione del portale Fabric e dell'API hanno esito negativo per impostazione predefinita per intervalli di conservazione inferiori a sette giorni.

Se è necessario utilizzare un intervallo di conservazione inferiore a sette giorni, impostare spark.databricks.delta.retentionDurationCheck.enabled su false nelle proprietà Spark dell'ambiente Fabric utilizzato dai carichi di lavoro Spark dell'area di lavoro. Per sapere dove configurare e collegare gli ambienti, vedere Creare, configurare e usare un ambiente in Fabric e Impostazioni di configurazione del calcolo di Spark negli ambienti Fabric.

Contenuto correlato

• Panoramica di Delta Lake in Fabric
• Manutenzione del Lakehouse (anteprima)
• Manutenzione e ottimizzazione delle tabelle tra carichi di lavoro
• Ottimizzazione della tabella Delta Lake e V-order
• Gestisci la casa del lago con Fabric REST API