Visão geral do dimensionamento automático de cluster no Serviço Kubernetes do Azure (AKS)

Para acompanhar as demandas de aplicativos no Serviço Kubernetes do Azure (AKS), talvez seja necessário ajustar o número de nós que executam suas cargas de trabalho. O componente autoscaler do cluster monitoriza pods no seu cluster que não podem ser agendados devido a restrições de recursos. Quando o autoscaler do cluster deteta pods não agendados, ele aumenta o número de nós no pool de nós para atender à demanda da aplicação. Também verifica a existência de nós subutilizados e reduz os nós elegíveis quando as suas cargas de trabalho podem ser reagendadas em segurança.

Este artigo ajuda você a entender como o autoscaler de cluster funciona no AKS. Ele também fornece orientação, práticas recomendadas e considerações ao configurar o Cluster Autoscaler para as suas cargas de trabalho no AKS. Se você quiser habilitar, desabilitar ou atualizar o autoscaler de cluster para suas cargas de trabalho AKS, consulte Usar o autoscaler de cluster no AKS.

Acerca do escalonador automático de clusters

Os clusters geralmente precisam de uma maneira de dimensionar automaticamente para se ajustar às demandas de aplicativos em constante mudança, como entre dias úteis e noites ou fins de semana. Os clusters AKS podem ser dimensionados das seguintes maneiras:

  • O escalonador automático de clusters verifica periodicamente se há pods que não podem ser agendados para execução em nós devido a restrições de recursos. Em seguida, o cluster aumenta automaticamente o número de nós. O dimensionamento manual é desativado quando utiliza o dimensionamento automático de clusters. Para mais informações, veja: Como funciona o escalonamento?
  • O Horizontal Pod Autoscaler usa o Metrics Server em um cluster Kubernetes para monitorar a demanda de recursos de pods. Se um aplicativo precisar de mais recursos, o número de pods é automaticamente aumentado para atender à demanda.
  • O Vertical Pod Autoscaler define automaticamente solicitações de recursos e limites em contêineres por carga de trabalho com base no uso anterior para garantir que os pods sejam agendados em nós que tenham os recursos de CPU e memória necessários.

Captura de tela de como o autoscaler de cluster e o autoscaler de pod horizontal geralmente trabalham juntos para dar suporte às demandas de aplicativos necessárias.

É uma prática comum ativar o autoscaler de clusters para os nós e o Vertical Pod Autoscaler ou o Horizontal Pod Autoscaler para os pods. Quando você habilita o dimensionador automático de cluster, ele aplica as regras de dimensionamento especificadas quando o tamanho do pool de nós é menor do que a contagem mínima de nós, até a contagem máxima de nós. O autoscaler de cluster aguarda para entrar em vigor até que um novo nó seja necessário no pool de nós ou até que um nó possa ser excluído com segurança do pool de nós atual. Para obter mais informações, consulte Como funciona a redução de escala?

Práticas recomendadas e considerações

  • Quando implementas zonas de disponibilidade com o autoescalador do cluster, usa um único pool de nós para cada zona. Defina o parâmetro --balance-similar-node-groups como True para manter uma distribuição equilibrada de nós entre zonas das suas cargas de trabalho durante operações de expansão. Se não usar esta abordagem, operações de redução de escala podem perturbar o equilíbrio dos nós entre as zonas. Para conjuntos de nós multizona, também pode permitir que o AKS escolha as zonas dinamicamente utilizando o posicionamento automático de zonas (--zones auto), que coloca os nós em zonas com capacidade, aplicando uma percentagem máxima de instâncias de 50% por zona. Podes usar a colocação automática de zonas quando crias um pool de nós ou atualizas um pool de nós existente.

    Observação

    O Cluster Autoscaler não é consciente da zona, e os Conjuntos de Dimensionamento de Máquinas Virtuais subjacentes tratam da alocação de zonas. A melhor prática anterior torna-se ainda mais relevante quando se usam restrições de dispersão de topologia de pods baseadas em zonas num único pool multizonal, pois restrições restritivas podem deixar os pods num estado pendente, especialmente em regiões com capacidade limitada ou durante cenários de zona baixa.

  • Para clusters com mais de 400 nós, use o Azure CNI ou o Azure CNI Overlay.

  • Para executar eficazmente cargas de trabalho em simultâneo tanto em pools de nós Spot como on-demand, considere usar expansores prioritários. Um expansor de prioridades utiliza as prioridades e os padrões de nomes dos conjuntos de nós no ConfigMap cluster-autoscaler-priority-expander para selecionar um conjunto de nós durante o aumento de escala. A configuração a seguir ilustra essa configuração.

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: cluster-autoscaler-priority-expander
      namespace: kube-system
    data:
      priorities: |-
        10:
          - .*spotpool1.*
          - .*spotpool2.*
        50:
          - .*ondemandpool1.*
    
  • Tenha cuidado ao definir pedidos de CPU e memória nos pods. O autoescalador de cluster escala com base nos pods pendentes em vez da pressão da CPU ou memória nos nós.

  • Para clusters que alojam simultaneamente cargas de trabalho de longa duração, como aplicações web, e cargas de trabalho de curta duração ou intermitentes, separe-os por pools de nós distintos com Regras de Afinidade ou expansores.

  • Utilize o PodDisruptionBudget para ajudar a evitar operações desnecessárias de drenagem de nós ou de redução de escala. Especificar a anotação cluster-autoscaler.kubernetes.io/safe-to-evict: "false" na especificação do Pod também impede que os pods sejam desalojados. Utilize esta anotação com cautela, pois pode fazer com que o Cluster Autoscaler tenha problemas ao drenar um nó com um Pod em execução que inclua esta anotação.

  • Num conjunto de nós com escalonamento automático ativado, não altere manualmente o número atual de nós. Para alterar o intervalo de escalabilidade permitido, atualize o número mínimo e máximo de nós do autoescalador do cluster após avaliar a sua carga de trabalho e requisitos de capacidade.

  • Os nós não são escalados se os pods tiverem um valor de PriorityClass abaixo de -10. A prioridade -10 é reservada para pods de superprovisionamento. Para obter mais informações, consulte Usando o autoscaler de cluster com prioridade de Pod e preempção.

  • Não combine outros mecanismos de dimensionamento automático de nós, como escaladores automáticos do Conjunto de Escala de Máquina Virtual, com o autoscaler de cluster.

  • O autoscaler de cluster pode não conseguir reduzir a escala se os pods não puderem mover-se, como nas seguintes situações:

    • Um pod criado diretamente não apoiado por um objeto controlador, como um Deployment ou ReplicaSet.
    • Um orçamento de interrupção de pods (PDB) que é demasiado limitativo e não permite que o número de pods fique abaixo de um determinado limite.
    • Um pod usa seletor de nós ou antiafinidade que não podem ser respeitados se programados em um nó diferente. Para obter mais informações, consulte Que tipos de pods podem impedir que o autoscaler do cluster remova um nó?.

Importante

Não faça alterações em nós individuais dentro dos pools de nós dimensionados automaticamente. Todos os nós no mesmo grupo de nós devem ter capacidade uniforme, rótulos, manchas e pods do sistema em execução neles.

  • O autoscaler de cluster não é responsável por impor uma "contagem máxima de nós" em um pool de nós de cluster, independentemente das considerações de agendamento de pod. Se qualquer ator que não seja o escalador automático de cluster definir o número do grupo de nós para além do máximo configurado pelo escalador automático de cluster, o escalador automático de cluster não remove automaticamente os nós. Os comportamentos de redução de escala do autoscaler de cluster continuam focados em remover nós subutilizados. O único objetivo da configuração do número máximo de nós do cluster autoscaler é impor um limite superior para operações de escalonamento. Não tem qualquer efeito nas questões de redução de escala.

Perfil de autoscaler de cluster

O perfil do autoscaler do cluster é um conjunto de parâmetros que controlam o comportamento do autoscaler do cluster. Você pode configurar o perfil do autoscaler do cluster ao criar um cluster ou atualizar um cluster existente.

Otimização do perfil do autoscaler do cluster

Você deve ajustar as configurações do perfil do autoscaler do cluster de acordo com seus cenários de carga de trabalho específicos e, ao mesmo tempo, considerar as compensações entre desempenho e custo. Esta seção fornece exemplos que demonstram essas compensações.

É importante observar que as configurações do perfil do autoscaler do cluster são válidas para todo o cluster e aplicadas a todos os pools de nós habilitados para dimensionamento automático. Quaisquer ações de dimensionamento que ocorram em um pool de nós podem afetar o comportamento de dimensionamento automático de outros pools de nós, o que pode levar a resultados inesperados. Certifique-se de aplicar configurações de perfil consistentes e sincronizadas em todos os pools de nós relevantes para garantir que você obtenha os resultados desejados.

Exemplo 1: Otimizando para desempenho

Para clusters que lidam com cargas de trabalho substanciais e com picos, com foco principal no desempenho, utilize um intervalo curto scan-interval para que o escalador automático do cluster o reavalie com frequência. Aumentar este intervalo reduz a frequência de reavaliação e a atividade API relacionada, mas aumenta o tempo antes de o autoescalador do cluster reagir. Reduzir scale-down-utilization-threshold para reduzir a elegibilidade para redução de nós subutilizados. Além disso, aumentar ok-total-unready-count e max-total-unready-percentage.

Para clusters com pods DaemonSet, defina ignore-daemonsets-utilization como true para que os pedidos de recursos dos pods DaemonSet não sejam incluídos quando o autoscaler do cluster calcula a utilização dos nós para redução de escala. Esta configuração pode tornar os nós mais propensos a ficar abaixo de scale-down-utilization-threshold e a tornarem-se elegíveis para redução. Veja Configurar o perfil do autoescalador do cluster para cargas de trabalho em rajadas.

Exemplo 2: Otimização para custo

Se você quiser um perfil de custo otimizado, recomendamos definir as seguintes configurações de parâmetro:

  • Reduzir scale-down-unneeded-time, que é a quantidade de tempo que um nó deve estar desnecessário antes de ser elegível para redução de capacidade.
  • Reduzir scale-down-delay-after-add, que é a quantidade de tempo de espera após a adição de um nó antes de considerá-lo para redução de escala.
  • Aumentar scale-down-utilization-threshold, que é o limite de utilização para remover nós de rede.
  • Aumentar max-empty-bulk-delete, que é o número máximo de nós que podem ser excluídos em uma única chamada.
  • Defina skip-nodes-with-local-storage como false.
  • Aumente ok-total-unready-count e max-total-unready-percentage.

Problemas comuns e recomendações de mitigação

Visualize falhas de dimensionamento e eventos de escalonamento não acionados via CLI ou Portal.

Não acionar operações de aumento de escala

Causas comuns Recomendações de mitigação
Conflitos de afinidade de nó PersistentVolume, que podem surgir ao usar o autoscaler de cluster com várias zonas de disponibilidade ou quando a zona de um pod ou volume persistente difere da zona do nó. Utilize um conjunto de nós por zona de disponibilidade e ative --balance-similar-node-groups. Você também pode definir o volumeBindingMode campo como WaitForFirstConsumer na especificação do pod para evitar que o volume seja vinculado a um nó até que um pod usando o volume seja criado.
Manchas e tolerações/conflitos de afinidade de nós Avalie as manchas atribuídas aos seus nós e reveja as tolerâncias definidas nos seus pods. Se necessário, faça ajustes nas manchas e tolerâncias para garantir que seus pods possam ser programados de forma eficiente em seus nós.
Restrições de Dispersão da Topologia Restritiva de Pods O Cluster Autoscaler executa simulações de agendamento antes de iniciar operações de escalonamento. Se determinar que um pod não pode ser agendado num novo nó devido a restrições de dispersão de topologia, portanto não tentará aumentar a escala. Para mitigar isto, considere relaxar as restrições de dispersão da topologia.

Aumente a escala das falhas de operação

Causas comuns Recomendações de mitigação
Exaustão do endereço IP na sub-rede Adicione outra sub-rede na mesma rede virtual e adicione outro pool de nós à nova sub-rede.
Esgotamento das quotas de base A quota de base aprovada foi esgotada. Solicite um aumento de cota. O cluster autoscaler entra em um estado de backoff exponencial dentro do grupo de nós específico quando ocorrem várias tentativas falhadas de expansão.
Tamanho máximo do pool de nós Aumente os nós máximos no pool de nós ou crie um novo pool de nós.
Pedidos/chamadas que excedam o limite da tarifa Veja 429 Erros de Demasiadas Solicitações.

Reduza as falhas de operação

Causas comuns Recomendações de mitigação
Pod impedindo a drenagem do nó/Incapaz de desalojar o pod • Veja que tipos de pods podem evitar a redução da escala.
• Para pods que usam armazenamento local, como hostPath e emptyDir, defina o sinalizador skip-nodes-with-local-storage de perfil do autoscaler do cluster como false.
• Na especificação do pod, configure a anotação cluster-autoscaler.kubernetes.io/safe-to-evict para true.
• Verifique o seu PDB, pois pode ser restritivo.
Tamanho mínimo do pool de nós Reduza o tamanho mínimo do pool de nós.
Pedidos/chamadas que excedam o limite da tarifa Veja 429 Erros de Demasiadas Solicitações.
Operações de gravação bloqueadas Não faça nenhuma alteração no grupo de recursos AKS totalmente gerenciado (consulte as políticas de suporte do AKS). Remova ou redefina quaisquer bloqueios de recursos aplicados anteriormente ao grupo de recursos.

Outros problemas

Causas comuns Recomendações de mitigação
GrupoNãoCorrespondenteConfiguraçãoDePrioridade Garanta que cada grupo de nós que requer escalamento automático corresponda a, pelo menos, um padrão de nome de pool de nós nos dados priorities do ConfigMap cluster-autoscaler-priority-expander. Para o comportamento geral dos expanders, veja O que são Expanders?

Grupo de nós em retrocesso

O pool de nós em recuo foi introduzido na versão 0.6.2 e faz com que o escalador automático do cluster reduza o dimensionamento de um pool de nós após uma falha.

Dependendo de há quanto tempo as operações de escalabilidade têm apresentado falhas, o autoescalador pode esperar até 30 minutos antes de tentar novamente. Você pode redefinir o estado de backoff do pool de nós desativando e reativando o dimensionamento automático.