Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
La commande MERGE de Delta Lake permet aux utilisateurs de mettre à jour une table Delta avec des conditions avancées. Il peut mettre à jour les données d’une table source, d’une vue ou d’un DataFrame dans une table cible à l’aide MERGE de la commande. Toutefois, l’algorithme actuel n’est pas entièrement optimisé pour la gestion des lignes non modifiées . Avec l’optimisation de fusion aléatoire faible, les lignes non modifiées sont exclues d’une opération de shuffling coûteuse nécessaire à la mise à jour des lignes correspondantes.
Note
La fusion aléatoire faible est disponible et activée par défaut dans tous les runtimes Spark Fabric pour améliorer considérablement les performances des opérations MERGE.
Pourquoi nous avons besoin d’une fusion aléatoire faible
Actuellement, MERGE l’opération est effectuée par deux exécutions de jointure. La première jointure utilise l’ensemble de la table cible et des données sources pour trouver la liste des fichiers tactiles de la table cible, y compris les lignes correspondantes. Ensuite, il effectue la deuxième jointure en lisant uniquement les fichiers tactiles et les données sources, pour effectuer la mise à jour réelle de la table. Même si la première jointure consiste à réduire la quantité de données pour la deuxième jointure, il peut encore y avoir un grand nombre de lignes non modifiées dans les fichiers tactiles . La première requête de jointure est plus légère, car elle lit uniquement les colonnes dans la condition correspondante donnée. La deuxième pour la mise à jour de table doit charger toutes les colonnes, ce qui entraîne un processus de shuffling coûteux.
Avec une optimisation de fusion aléatoire faible, Delta conserve temporairement le résultat de ligne correspondant de la première jointure et l’utilise pour la deuxième jointure. En fonction du résultat, il exclut les lignes non modifiées du processus de shuffling lourd. Il y aurait deux travaux d’écriture distincts pour les lignes correspondantes et les lignes non modifiées , ce qui pourrait entraîner un nombre de fichiers de sortie de 2x par rapport au comportement précédent. Toutefois, le gain de performances attendu l’emporte sur le problème possible de petits fichiers.
Avantages de la fusion aléatoire faible
- Les lignes non modifiées dans les fichiers tactiles sont gérées séparément et ne passent pas par l’opération MERGE réelle. Il peut économiser le temps d’exécution et les ressources de calcul MERGE globaux. Le gain serait plus grand lorsque de nombreuses lignes sont copiées et que seules quelques lignes sont mises à jour.
- Les classements de lignes sont conservés pour les lignes non modifiées. Par conséquent, les fichiers de sortie de lignes non modifiées peuvent toujours être efficaces pour les données ignorées si le fichier a été trié ou Z-ORDERED.
- Il y aurait une petite surcharge même pour le pire cas lorsque la condition MERGE correspond à toutes les lignes dans les fichiers tactiles.
Comment activer et désactiver la fusion aléatoire faible
La fusion aléatoire faible est activée par défaut en tant que configuration de session Spark :