Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Delta Lake aggiorna una tabella riscrivendo interi file di dati. Quando un comando MERGE aggiorna o elimina alcune righe in un file, deve anche riscrivere ogni riga non modificata di quel file. Senza low shuffle merge, quelle file non modificate attraversano le stesse fasi di mescolamento delle file modificate. Questo rende MERGE più lento e stravolge la disposizione dei dati esistente, quindi anche le query successive rallentano.
La low shuffle merge è l'implementazione ottimizzata di Azure Databricks di MERGE. Elabora righe non modificate separatamente da quelle modificate, senza shuffle o altri calcoli costosi. Di conseguenza, MERGE ridistribuisce molti meno dati e viene eseguito più velocemente.
La low shuffle merge è abilitata di default, quindi non devi cambiare le tue MERGE dichiarazioni per beneficiarne. Aiuta soprattutto quando un MERGE aggiorna un numero relativamente piccolo di righe in una tabella grande.
Disposizione dei dati dopo una fusione
L'implementazione precedente MERGE modificava completamente la disposizione dei dati non modificati, rallentando le operazioni successive. La fusione a basso mescolamento cerca di preservare la disposizione esistente delle righe non modificate, inclusa la disposizione clustering liquido. Di conseguenza, le prestazioni peggiorano più lentamente dopo uno o più MERGE comandi, e devi eseguire OPTIMIZE meno spesso.
La disposizione delle righe aggiornate o appena inserite potrebbe non essere ottimale. Potresti comunque dover eseguire OPTIMIZE su tabelle con il clustering liquido attivato.
Per le tabelle che utilizzano l'ordinamento Z, la low shuffle merge cerca anche di preservare la disposizione esistente dell'ordine Z delle righe non modificate. Potresti comunque dover eseguire OPTIMIZE ZORDER BY dopo un'operazione MERGE . Databricks consiglia di usare il clustering liquido per tutte le nuove tabelle.