Planear e dimensionar clusters de HPC no Azure CycleCloud

Antes de criar um cluster no Azure CycleCloud, planeie como o cluster está estruturado e dimensionado. Boas decisões de planeamento desde o início – sobre o agendador, os tipos de máquinas virtuais (VM), como o cluster escala e como armazena e move dados – determinam o desempenho do cluster e quanto custa a operar.

Este artigo descreve as principais decisões a tomar ao planear um cluster HPC no CycleCloud. Complementa clusters e nós do CycleCloud, que explica o que são clusters, nós e matrizes de nós, e Criar um novo cluster, que explica como criar um cluster a partir de um modelo.

Confirme se o CycleCloud se adequa à sua carga de trabalho

Use o CycleCloud quando precisar de operar um escalonador HPC específico, personalizar a topologia do cluster e a pilha de software, ou alinhar-se de perto com os fluxos de trabalho locais existentes. Antes de dimensionar um cluster personalizado, considere estas alternativas:

  • Escolha o Azure CycleCloud Workspace para Slurm quando quiser um ambiente Slurm pronto a implementar, com componentes de rede, armazenamento e acesso provisionados na sua subscrição.
  • Escolhe Azure Batch quando quiseres que o Azure forneça agendamento como serviço e a tua aplicação pode usar pools de lotes, trabalhos e tarefas.

Se o CycleCloud for o modelo operacional correto, utilize as secções seguintes para criar uma linha de base de planeamento. Regista as decisões do teu agendador, VM, escala, quota, região, armazenamento, rede e custos antes da implementação, e valida-as com uma carga de trabalho representativa.

Escolha um agendador

O CycleCloud é independente do agendador. Tem suporte incorporado para os agendadores que a maioria das equipas HPC já utiliza, e adiciona autoescalonamento a cada um deles:

  • Slurm
  • PBS Professional
  • IBM Spectrum LSF
  • Motor de Grelha de Altair
  • HTCondor

Escolha o agendador que corresponda aos seus fluxos de trabalho e scripts de trabalho existentes para que possa mover cargas de trabalho para o Azure com alterações mínimas. Se a sua organização usar um escalonador que não está na lista integrada, pode integrá-lo com a API de dimensionamento automático do CycleCloud. Para mais informações, consulte Agendamento no CycleCloud.

Escolha famílias e tamanhos de VM

A família de VMs e o tamanho que escolhes para nós de computação têm o maior impacto tanto no desempenho como no custo. Adapte a VM às características da sua carga de trabalho:

  • Cargas de trabalho fortemente acopladas (MPI) que trocam dados entre nós beneficiam de VMs otimizadas para HPC com uma interconexão InfiniBand de baixa latência, como os tamanhos de VM para HPC.
  • Cargas de trabalho aceleradas por GPU, como treino ou renderização de IA, utilizam tamanhos de VM otimizados para GPU.
  • Cargas de trabalho embaraçosamente paralelas ou de throughput, onde as tarefas correm de forma independente, podem usar VMs de uso geral ou otimizadas para computação e não requerem uma interligação especializada.

Para uma comparação completa das opções de VM, veja Tamanhos para máquinas virtuais no Azure.

Como um array de nós pode abranger mais do que um conjunto de dimensionamento de máquinas virtuais, um único array pode disponibilizar VMs de diferentes tamanhos ou famílias para a mesma função. Esta flexibilidade ajuda quando o tamanho da VM preferido tem capacidade limitada numa região. Para mais informações, consulte clusters e nós do CycleCloud.

Determine a dimensão do cluster e planeie o dimensionamento automático

O CycleCloud ajusta automaticamente o número de nós de computação com base na carga de trabalho em fila no agendador, pelo que não precisa de estimar uma dimensão fixa para o cluster. Em vez disso, planeie os seguintes limites:

  • Tamanho máximo. O formulário de criação de cluster limita até que ponto um cluster escala automaticamente, com base no número total de nós ou núcleos que pode iniciar. Defina este limite para refletir a maior carga de trabalho que espera e a quota disponível na região.
  • Nós dedicados versus nós spot.Nós dedicados estão reservados para o seu conjunto e fornecem uma capacidade previsível. Os nós spot usam capacidade excedente do Azure a um preço reduzido, mas o Azure pode recuperá-los quando precisar dessa capacidade. Utilize nós dedicados para tarefas críticas em termos de tempo ou de longa duração, e nós Spot para tarefas tolerantes a falhas ou que possam ser reiniciadas quando o custo é mais importante do que a disponibilidade garantida.
  • Comportamento de redução de escala. A escalabilidade automática remove nós inativos para que deixe de pagar por recursos de computação que não está a utilizar. Confirme que as suas tarefas escrevem resultados em armazenamento persistente, porque os dados locais num nó perdem-se quando o nó é desalocado.

Compreender os limites do dimensionamento automático

Para um cluster CycleCloud, vários limites independentes determinam quantos nós o CycleCloud pode iniciar. O limite efetivo mais baixo vence:

Limit O que controla
Quota regional total de vCPU disponível Os vCPUs restantes que a sua subscrição pode implementar em todas as famílias de VMs da região.
Quota disponível de vCPU da família VM Os vCPUs restantes que a sua subscrição pode implementar para a família de VMs selecionada na região. Ambas as quotas de vCPU têm de permitir a implementação.
CycleCloud MaxCount O número máximo de nós num array de nós.
CycleCloud MaxCoreCount O número máximo de núcleos num array de nós. Se um template definir tanto MaxCount como MaxCoreCount, o CycleCloud aplica a restrição efetiva inferior.

Importante

Limites de quota e CycleCloud são tetos, não reservas de capacidade. O provisionamento real pode ser menor devido a restrições temporárias de capacidade do Azure ou erros de configuração.

Para identificar uma restrição, vá à página do cluster CycleCloud para o seu cluster. Na tabela Nós, selecione Ações>Adicionar. O diálogo Adicionar Nós descreve as restrições aplicáveis para o array de nós selecionado.

Por exemplo, suponha que um array de nós utiliza VMs da geração Standard_HB368rs_v5 atual, que consomem 368 vCPUs cada, e tem estes limites:

Restrição Limite disponível ou configurado Nós efetivos
Quota regional total de vCPU 3.680 vCPUs 10
Quota de vCPU da família de VM HBv5 2.208 vCPUs 6
CycleCloud MaxCount 8 nós 8

A quota da família de VMs HBv5 é o limite mais baixo, pelo que o limite máximo configurado é de seis nós, apesar de MaxCount permitir oito. Se o Azure tiver capacidade para apenas cinco VMs quando o pedido é executado, o CycleCloud fornece cinco nós e o pedido restante mantém-se limitado até que a capacidade fique disponível. Aumentar MaxCount sozinho não aumenta nem o teto da quota nem a capacidade disponível.

Quando um template usa MaxCoreCount, divide esse valor pelo número de vCPU da VM e arredonda para baixo para encontrar o seu teto de nós. Para conhecer as definições de ambas as configurações do CycleCloud, consulte Objetos de nó e matriz de nós.

Verifique quota, capacidade e região

As VMs que planeia usar devem estar disponíveis, e dentro da quota, na região onde implementa:

  • Região. Escolha uma região que ofereça as famílias de VMs de que a sua carga de trabalho precisa e que esteja próxima dos seus dados e utilizadores. Nem todas as famílias de VMs estão disponíveis em todas as regiões.
  • Quota. As quotas de núcleo (vCPU) são definidas por região e por família de VMs. Certifique-se de que a sua quota é suficientemente alta para o tamanho máximo do agrupamento planeado e peça um aumento da quota se necessário.
  • Capacidade. Mesmo dentro da quota, os tamanhos das VMs HPC podem ser limitados numa região num dado momento. Considere o tamanho de uma VM de reserva ou uma região adicional para execuções grandes ou de tempo crítico.

Planear o armazenamento e a rede

Os trabalhos HPC estão frequentemente limitados pela rapidez com que conseguem ler e escrever dados, não apenas pelo cálculo:

  • Sistemas de ficheiros partilhados. A maioria dos clusters HPC precisa de um sistema de ficheiros partilhado que todos os nós possam montar. O CycleCloud pode implementar servidores NFS e sistemas de ficheiros paralelos (por exemplo, BeeGFS) como parte do cluster, e pode ligar-se a serviços geridos como Azure NetApp Files ou Azure Managed Lustre.
  • Interconexão. Trabalhos MPI fortemente acoplados requerem a interligação InfiniBand disponível em VMs otimizadas para HPC. Confirma se tanto o tamanho da VM como a região o suportam.
  • Ligação em rede. Planeie a rede virtual e as sub-redes que alojam o cluster, e assegure que o servidor de aplicações CycleCloud tem o acesso de saída necessário para gerir nós. Para orientações de produção, consulte Planear a sua implementação em produção.

Escolha um caminho para os dados do cluster

A forma como se transferem dados para os nós de computação tem um grande impacto na taxa de transferência e no custo. Escolha com base na forma como os seus empregos leem e escrevem dados:

Option Melhor para Notes
BlobFuse2 (transmissão em fluxo) Ler grandes conjuntos de dados diretamente do Blob (dados de treino de IA, entradas de simulação) com alto rendimento, sem servidor de ficheiros permanente Montagem FUSE por nó; não totalmente compatível com POSIX. Veja Montar o Armazenamento de Blobs do Azure nos nós do cluster.
Azure Managed Lustre Tarefas fortemente acopladas ou com utilização intensiva de E/S que requerem um sistema de ficheiros paralelo POSIX partilhado; podem ser aprovisionadas a partir do Blob Sistema de ficheiros paralelo gerido. Ver Azure Managed Lustre.
Azure HPC Cache Armazenamento em cache de um back-end NAS ou Blob existente para HPC com utilização intensiva de leitura, incluindo dados em ambientes híbridos e locais Nível de cache distribuído à frente do armazenamento. Veja Azure HPC Cache.
Azure NetApp Files NFS ou SMB partilhado de baixa latência para EDA e espaço geral HPC doméstico e scratch Serviço gerido de ficheiros. Veja Azure NetApp Files.

Como regra geral: utilize o streaming do BlobFuse2 quando os seus dados já estão no Blob e as tarefas maioritariamente os leem. Utilize um sistema de ficheiros partilhado ou paralelo (Managed Lustre ou NetApp Files) quando as tarefas exigirem coordenação entre nós, semântica POSIX ou escritas partilhadas intensivas. Use um nível de cache (HPC Cache) quando precisar de acelerar o acesso a um backend já existente.

Tenha em conta o custo

Os custos de computação são geralmente a maior despesa num ambiente HPC. Planeie controlar estes custos através de:

  • Uso autoscaling e nós Spot para evitar pagar pela capacidade inativa.
  • Dimensionar adequadamente as VMs em função da carga de trabalho, em vez de optar, por defeito, pela opção maior.
  • Monitorizar os gastos através da integração integrada com o Microsoft Cost Management. Para mais informações, consulte Acompanhamento de custos e utilização.

Valide o cluster antes da produção

Execute uma prova de conceito com um job representativo, o volume de dados esperado e a configuração do programador de produção e cluster. Não aprove o design para produção até conseguir registar provas para todos os critérios:

Criterion Evidências a registar
Compatibilidade de fluxos de trabalho Scripts de trabalho existentes, políticas de agendadores, software, licenças e integrações de identidade funcionam sem alterações não planeadas.
Escala e quota O escalonamento automático atinge o número de nós necessário na região pretendida sem exceder os limites regionais totais, da família de VM, MaxCount ou MaxCoreCount.
Desempenho de computação e armazenamento O tempo total da tarefa cumpre a meta, incluindo o tempo em fila, o aprovisionamento de nós, a preparação de dados, o processamento e a persistência dos resultados.
Recovery Após uma falha no provisionamento de nós, falha de trabalho ou despejo Spot, se utilizado, a carga de trabalho mantém-se dentro do tempo máximo de recuperação registado e da perda permitida de pontos de controlo, cumpre o prazo de conclusão e utiliza com sucesso o tamanho planeado da VM de reserva.
Custo O custo medido de computação, armazenamento, rede e licença por cada trabalho concluído atinge o objetivo na frequência de execução esperada.
Operations Os proprietários designados podem monitorizar o agendador e a infraestrutura, investigar pedidos de dimensionamento que falharam, aplicar correções ao ambiente e recuperar tarefas e dados.

Se um critério falhar, revise a VM, os limites da matriz de nós, o caminho de armazenamento, a configuração de autoescalonamento ou a alternativa de recurso regional e repita a mesma tarefa. Um pequeno teste funcional não comprova que esteja pronta para produção, porque não testa a compatibilidade com o agendador, a escala de pico nem a movimentação de dados.

Passos seguintes