O seu trabalho é adequado para o Azure HPC Cache?

O Azure HPC Cache pode acelerar o acesso a dados para trabalhos de computação de alto desempenho em várias áreas. Mas não é perfeito para todos os tipos de fluxos de trabalho. Este artigo apresenta orientações sobre como decidir se o HPC Cache é uma boa opção para as suas necessidades.

O artigo de Visão Geral também apresenta um breve resumo de quando usar o Azure HPC Cache e alguns exemplos de casos de uso.

Leia também este artigo sobre como fazer uso eficaz do armazenamento de blob montado no NFS.

Aplicações NFS versão 3.0

O Azure HPC Cache suporta apenas clientes NFS 3.0.

Elevada relação leitura-escrita

Cargas de trabalho onde os clientes de computação fazem mais leitura do que escrita são geralmente bons candidatos para uma cache. Por exemplo, se a sua relação leitura-escrita for 80/20 ou 70/30, o Azure HPC Cache pode ajudar ao servir ficheiros frequentemente solicitados a partir da cache em vez de ter de os buscar repetidamente de armazenamento remoto.

Buscar um ficheiro e armazená-lo na cache pela primeira vez tem uma pequena latência adicional em relação a um pedido normal de cliente diretamente para armazenamento, por isso o aumento de eficiência surge na próxima vez que um cliente pede o mesmo ficheiro. Isto é especialmente verdade para ficheiros grandes. Se cada pedido de cliente for único, o impacto da Cache HPC é limitado. Mas quanto maior for o ficheiro, melhor será o desempenho ao longo do tempo após esse primeiro acesso.

Carga de trabalho analítica baseada em ficheiros

O Azure HPC Cache é ideal para um pipeline que utiliza dados baseados em ficheiros e funciona através de um grande número de clientes de computação, especialmente se os clientes de computação forem máquinas virtuais Azure. Pode ajudar a corrigir o desempenho lento ou inconsistente causado por longos tempos de acesso aos ficheiros.

Acesso remoto a dados

O Azure HPC Cache pode ajudar a reduzir a latência se a sua carga de trabalho precisar de aceder a dados remotos que não podem ser movidos para mais perto dos recursos de computação. Por exemplo, os seus registos podem estar na extremidade oposta de um ambiente WAN, numa região Azure diferente ou num centro de dados de clientes. (Isto é por vezes chamado de "file-bursting" (estouro de ficheiro).)

Carga pesada de pedidos

Se um grande número de clientes solicitar dados à fonte ao mesmo tempo, o Azure HPC Cache pode acelerar o acesso a ficheiros. Por exemplo, quando usado com um cluster de computação de alto desempenho, o Azure HPC Cache oferece escalabilidade para um elevado número de pedidos concorrentes através da cache.

Os recursos de computação estão localizados no Azure

As máquinas virtuais Azure são uma resposta escalável e económica para a carga de trabalho de computação de alto desempenho. O Azure HPC Cache pode ajudar ao aproximar a informação de que necessitam, especialmente se os dados originais estiverem armazenados num sistema remoto.

Se um cliente quiser executar o seu pipeline atual "tal como está" em máquinas virtuais Azure, o Azure HPC Cache pode fornecer uma solução de armazenamento partilhado (ou cache) baseada em POSIX para escalabilidade.

Ao usar o Azure HPC Cache, não precisa de rearquitetar o pipeline de trabalho para fazer chamadas nativas ao Azure Blob storage. Pode aceder aos seus dados no sistema original, ou usar o HPC Cache para os mover para um novo contentor de blobs.

Passos seguintes

  • Last updated on