Namespace hierárquico do Azure Data Lake Storage

O Azure Data Lake Storage usa um namespace hierárquico para fornecer desempenho de sistema de arquivos em preços e escala de armazenamento de objeto. Esse recurso organiza a coleção de objetos e arquivos em uma conta em uma hierarquia de diretórios e subdiretórios aninhados, semelhante ao sistema de arquivos em seu computador. Quando você habilita um namespace hierárquico, uma conta de armazenamento pode oferecer a escalabilidade e o custo-efetividade do armazenamento de objetos, juntamente com a semântica do sistema de arquivos que os mecanismos de análise e as estruturas acham familiares.

Os benefícios de um namespace hierárquico

Os sistemas de arquivos que implementam um namespace hierárquico nos dados de blob oferecem os seguintes benefícios:

  • Manipulação atômica de diretórios: os armazenamentos de objetos aproximam uma hierarquia de diretórios ao adotar a convenção de incluir barras (/) no nome do objeto para indicar segmentos de caminho. Embora essa convenção funcione para organizar objetos, ela não fornece assistência para ações como mover, renomear ou excluir diretórios. Sem diretórios reais, os aplicativos devem processar potencialmente milhões de blobs individuais para obter tarefas em nível de diretório. Por outro lado, um namespace hierárquico processa essas tarefas atualizando uma entrada (o diretório pai).

    Essa otimização é especialmente significativa para muitas estruturas de análise de Big Data. Ferramentas como Hive e Spark geralmente gravam a saída em locais temporários e depois renomeiam esse local ao final da tarefa. Sem um namespace hierárquico, essa operação de renomeação geralmente pode levar mais tempo do que o próprio processo de análise. Uma menor latência de trabalho é igual ao custo total de propriedade (TCO) mais baixo para cargas de trabalho de análise.

  • Estilo de interface familiar: Os desenvolvedores e usuários entendem os sistemas de arquivos. Ao migrar para a nuvem, você não precisa aprender um novo paradigma de armazenamento porque Data Lake Storage expõe a mesma interface do sistema de arquivos usada por computadores, grandes e pequenos.

Um dos motivos pelos quais os repositórios de objetos historicamente não dão suporte a um namespace hierárquico é que um namespace hierárquico limita a escala. No entanto, o namespace hierárquico Data Lake Storage é dimensionado linearmente e não degrada a capacidade ou o desempenho dos dados.

Decidir se deseja habilitar um namespace hierárquico

Depois de habilitar um namespace hierárquico em sua conta, você não poderá revertê-lo de volta para um namespace simples. Portanto, considere se faz sentido habilitar um namespace hierárquico com base na natureza de suas cargas de trabalho de repositório de objetos. Para avaliar o impacto de habilitar um namespace hierárquico em cargas de trabalho, aplicativos, custos, integrações de serviço, ferramentas, recursos e documentação, confira Atualizando o Armazenamento de Blobs do Azure com as funcionalidades do Azure Data Lake Storage.

Algumas cargas de trabalho podem não obter nenhum benefício ao habilitar o namespace hierárquico. Exemplos incluem backups, armazenamento de imagens e outros aplicativos em que a organização do objeto é armazenada separadamente dos próprios objetos (por exemplo, em um banco de dados separado).

Além disso, embora o suporte para recursos de armazenamento de Blobs e o ecossistema de serviços Azure continue a crescer, alguns recursos e serviços de Azure ainda não têm suporte em contas que têm um namespace hierárquico. Confira Problemas conhecidos.

Cargas de trabalho que se beneficiam de um namespace hierárquico

Em geral, ative um namespace hierárquico para cargas de trabalho de armazenamento projetadas para sistemas de arquivos que manipulam diretórios. Essa condição inclui todas as cargas de trabalho de processamento de análise. Conjuntos de dados que exigem um alto grau de organização também se beneficiam da habilitação de um namespace hierárquico.

Use uma análise de TCO para determinar se um namespace hierárquico deve ser habilitado. De modo geral, melhorias na latência da carga de trabalho devido à aceleração de armazenamento exigem recursos de computação por menos tempo. A latência de muitas cargas de trabalho pode melhorar devido à manipulação atômica de diretórios que um espaço de nomes hierárquico possibilita. Em muitas cargas de trabalho, o recurso de computação representa mais de 85% do custo total, portanto, até mesmo uma redução modesta na latência da carga de trabalho equivale a uma quantidade significativa de economia de TCO. Mesmo nos casos em que a habilitação de um namespace hierárquico aumenta os custos de armazenamento, o TCO ainda é reduzido devido a custos de computação reduzidos.

Para analisar as diferenças nos preços de armazenamento de dados, nos preços das transações e nos preços de reserva de capacidade de armazenamento entre contas que têm um namespace simples versus um namespace hierárquico, consulte Azure Data Lake Storage preços.

Para habilitar um namespace hierárquico, consulte Criar uma conta de armazenamento para usar com Azure Data Lake Storage (novas contas) ou atualizar Armazenamento de Blobs do Azure com recursos de Azure Data Lake Storage (contas existentes).

Próximas etapas

  • Last updated on