Espace de noms hiérarchique Azure Data Lake Storage

Azure Data Lake Storage utilise un espace de noms hiérarchique pour offrir les performances d’un système de fichiers à l’échelle et au coût du stockage d’objets. Cette fonctionnalité organise la collection d’objets et de fichiers au sein d’un compte dans une hiérarchie de répertoires et de sous-répertoires imbriqués, comme le système de fichiers sur votre ordinateur. Lorsque vous activez un espace de noms hiérarchique, un compte de stockage peut offrir l’extensibilité et l’efficacité du stockage d’objets, ainsi que la sémantique du système de fichiers que les moteurs d’analyse et les frameworks trouvent familiers.

Avantages d’un espace de noms hiérarchique

Les systèmes de fichiers qui implémentent un espace de noms hiérarchique sur les données blob offrent les avantages suivants :

  • Manipulation atomique des répertoires : Les stockages d’objets reproduisent approximativement une hiérarchie de répertoires en adoptant une convention consistant à intégrer des barres obliques (/) dans le nom de l’objet pour dénoter les segments de chemin. Bien que cette convention fonctionne pour organiser des objets, elle ne fournit aucune assistance pour les actions telles que le déplacement, le changement de nom ou la suppression de répertoires. Sans répertoires réels, les applications doivent traiter potentiellement des millions d’objets blob individuels pour accomplir des tâches au niveau du répertoire. En revanche, un espace de noms hiérarchique traite ces tâches en mettant à jour une entrée unique (le répertoire parent).

    Cette optimisation est particulièrement importante pour de nombreuses infrastructures d’analytique Big Data. Des outils comme Hive et Spark écrivent souvent leurs résultats dans des emplacements temporaires, puis renomment ensuite cet emplacement à la fin de la tâche. Sans espace de noms hiérarchique, cette opération de renommage peut souvent prendre plus de temps que le processus d’analytique lui-même. Une latence de travail moindre équivaut à un coût total de possession inférieur pour les charges de travail analytiques.

  • Style d’interface familier : Les développeurs et les utilisateurs comprennent les systèmes de fichiers. Lorsque vous passez au cloud, vous n'avez pas besoin d'apprendre un nouveau paradigme de stockage, car Data Lake Storage expose la même interface de système de fichiers que celle utilisée par les ordinateurs, les grands et les petits.

L’une des raisons pour lesquelles les magasins d’objets ne prenaient pas en charge historiquement un espace de noms hiérarchique est qu’un espace de noms hiérarchique limite l’échelle. Toutefois, l’espace de noms hiérarchique de Data Lake Storage évolue linéairement et n’altère ni la capacité de stockage des données ni les performances.

Décider s’il faut activer un espace de noms hiérarchique

Après avoir activé un espace de noms hiérarchique sur votre compte, vous ne pouvez pas revenir à un espace de noms plat. Par conséquent, déterminez s’il est judicieux d’activer un espace de noms hiérarchique basé sur la nature de vos charges de travail de magasin d’objets. Pour évaluer l'impact de l'activation d'un espace de noms hiérarchique sur les charges de travail, les applications, les coûts, les intégrations de services, les outils, les fonctionnalités et la documentation, consultez Mise à niveau d'Stockage Blob Azure avec les fonctionnalités d'Azure Data Lake Storage.

Certaines charges de travail peuvent ne pas tirer profit de l’activation d’un espace de noms hiérarchique. Par exemple, les sauvegardes, le stockage d’images et d’autres applications où l’organisation d’objets est stockée séparément des objets eux-mêmes (par exemple, dans une base de données distincte).

En outre, bien que la prise en charge des fonctionnalités de stockage Blob et de l'écosystème de services Azure continue de croître, certaines fonctionnalités et services Azure ne sont pas encore pris en charge dans les comptes qui ont un espace de noms hiérarchique. Voir Problèmes connus.

Charges de travail qui tirent parti d’un espace de noms hiérarchique

En général, activez un espace de noms hiérarchique pour les charges de travail de stockage conçues pour les systèmes de fichiers qui manipulent des répertoires. Cette condition inclut toutes les charges de travail de traitement d’analyse. Les jeux de données qui nécessitent un haut niveau d’organisation bénéficient également de l’activation d’un espace de noms hiérarchique.

Utilisez une analyse TCO pour déterminer s’il faut activer un espace de noms hiérarchique. En règle générale, les améliorations apportées à la latence de la charge de travail en raison de l’accélération du stockage nécessitent des ressources de calcul pour moins de temps. La latence de nombreuses charges de travail peut être réduite grâce aux opérations atomiques sur les répertoires qu’un espace de noms hiérarchique permet. Dans de nombreuses charges de travail, la ressource de calcul représente plus de 85% du coût total, de sorte qu’une réduction modeste de la latence de charge de travail équivaut à une quantité significative d’économies de coût total. Même dans les cas où l’activation de l’espace de noms hiérarchique augmente les coûts de stockage, le coût TCO diminue en raison de la réduction des coûts de calcul.

Pour analyser les différences entre les prix de stockage des données, les prix des transactions et les tarifs de réservation de capacité de stockage entre les comptes qui ont un espace de noms plat et un espace de noms hiérarchique, consultez Azure Data Lake Storage tarification.

Pour activer un espace de noms hiérarchique, consultez Créer un compte de stockage à utiliser avec Azure Data Lake Storage (nouveaux comptes) ou mettre à niveau Stockage Blob Azure avec des fonctionnalités Azure Data Lake Storage (comptes existants).

Étapes suivantes

  • Last updated on