Usar VMs de baixa prioridade para implantações em lote

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Lote do Azure implantações dão suporte a VMs de baixa prioridade para reduzir o custo das cargas de trabalho de inferência em lotes. As VMs de baixa prioridade permitem que uma grande quantidade de poder de computação seja usada a um baixo custo. As VMs de baixa prioridade aproveitam a capacidade excedente em Azure. Quando você especifica VMs de baixa prioridade em pools, o Lote do Azure pode usar esse excedente quando ele estiver disponível.

Como esses nós agora são alocados como VMs Spot, você é cobrado pela taxa spot atual pelo tamanho da VM na região em que o cluster é executado. Essa taxa é variável em vez de um desconto fixo. Ele muda com a região e a demanda, e pode abordar o preço pago conforme o uso quando uma região tem pouca capacidade excedente. Você nunca é cobrado mais do que o preço pago conforme o uso pelo mesmo tamanho de VM. Para obter mais informações, consulte Azure Spot Máquinas Virtuais.

Verifique a taxa atual do tamanho e da região da VM antes de escolher uma região. Você pode verificá-lo na calculadora de preços do Azure ou por meio da API de preços de varejo Azure. Para obter detalhes gerais sobre preços, consulte Azure Machine Learning preços.

Como a implantação em lote funciona com VMs de baixa prioridade

As implantações em lotes do Azure Machine Learning oferecem vários recursos que tornam mais fácil consumir e se beneficiar de VMs de baixa prioridade:

• Os trabalhos de implantação em lote consomem VMs de baixa prioridade executando em clusters de cálculo do Azure Machine Learning criados com VMs de baixa prioridade. Depois que uma implantação é associada a um cluster de VMs de baixa prioridade, todos os trabalhos produzidos por essa implantação usam VMs de baixa prioridade. A configuração por trabalho não é possível.
• Os trabalhos de implantação em lote buscam automaticamente o número de VMs de destino no cluster de cálculo disponível com base no número de tarefas a serem enviadas. Se as VMs forem preteridas ou estiverem indisponíveis, os trabalhos de implantação em lote tentarão substituir a capacidade perdida enfileirando as tarefas com falha no cluster.
• VMs de baixa prioridade têm uma cota de vCPU separada que se difere da cota para VMs dedicadas. Núcleos de baixa prioridade por região têm um limite padrão de 100 a 3.000, dependendo da sua assinatura. O número de núcleos de baixa prioridade por assinatura pode ser aumentado e é um valor único nas famílias de VM. Confira Cotas de computação do Azure Machine Learning.

Considerações e casos de uso

Muitas cargas de trabalho em lote são uma boa opção para VMs de baixa prioridade. O uso de VMs de baixa prioridade pode introduzir atrasos de execução quando ocorre a desalocação de VMs. Se você tiver flexibilidade em termos do prazo para a conclusão dos trabalhos, você poderá tolerar as possíveis quedas na capacidade.

Quando você implanta modelos em pontos de extremidade em lotes, o reagendamento pode ser feito no nível de mini lote. Essa abordagem tem o benefício de que a desalocação afeta apenas os mini lotes que estão sendo processados no momento e não concluídos no nó afetado. Todo o progresso concluído é mantido.

Limitações

• Depois que uma implantação é associada a um cluster de VMs de baixa prioridade, todos os trabalhos produzidos por essa implantação usam VMs de baixa prioridade. A configuração por trabalho não é possível.
• O reagendamento é feito no nível de minibatch, independentemente do progresso. Nenhuma funcionalidade de ponto de verificação é fornecida.
• Você é cobrado por cada nó no cluster enquanto ele é ativado, incluindo nós que são removidos antes de concluir qualquer trabalho e incluindo o tempo que cada nó de substituição gasta iniciando. A remoção não produz um reembolso ou um crédito, e as VMs Spot não carregam nenhum SLA. Consulte os estados da máquina virtual e o status de cobrança e as práticas recomendadas para Lote do Azure.
• Remoções frequentes podem fazer com que um cluster custe mais do que um dedicated cluster para a mesma carga de trabalho, especialmente em regiões em que a taxa Spot está próxima da taxa paga conforme o uso.

Criar implantações em lote que usam VMs de baixa prioridade

Os trabalhos de implantação em lote consomem VMs de baixa prioridade executando em clusters de cálculo do Azure Machine Learning criados com VMs de baixa prioridade.

É possível criar um cluster de cálculo de baixa prioridade do Azure Machine Learning da seguinte maneira:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

az ml compute create -f low-pri-cluster.yml

from azure.ai.ml.entities import AmlCompute

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)

ml_client.begin_create_or_update(compute_cluster)

Depois de criar a nova computação, você pode criar ou atualizar a sua implantação para usar o novo cluster:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

az ml batch-endpoint create -f endpoint.yml

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Exibir e monitorar a desalocação do nó

Novas métricas estão disponíveis no portal do Azure para VMs de baixa prioridade para monitorar VMs de baixa prioridade. Essas métricas são:

• Nós com preempção
• Núcleos admitidos

Para a exibição dessas métricas no portal do Azure:

1. Navegue até o seu workspace do Azure Machine Learning no portal do Azure.
2. Selecione Métricas na seção Monitoramento.
3. Selecione as métricas desejadas na lista Métrica.

Conteúdo relacionado

• Criar um cluster de computação do Azure Machine Learning
• Implantar modelos do MLflow em implantações em lote
• Gerenciar recursos de computação para treinamento de modelo