Usar VMs de baixa prioridade para implantações em lote

APLICA-SE A:CLI do Azure ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

As implementações Azure Batch suportam VMs de baixa prioridade para reduzir o custo das cargas de trabalho de inferência por lote. As VMs de baixa prioridade permitem que uma grande quantidade de poder de computação seja usada por um baixo custo. As VMs de baixa prioridade aproveitam a capacidade excedente no Azure. Quando você especifica VMs de baixa prioridade em seus pools, o Azure pode usar esse excedente, quando disponível.

Como estes nós agora são alocados como VMs Spot, é cobrado a taxa Spot atual pelo tamanho da VM na região onde o cluster funciona. Essa taxa é variável e não um desconto fixo. Varia consoante a região e a procura, e pode aproximar-se do preço pay-as-you-go quando uma região tem pouca capacidade excedente. Nunca é cobrado mais do que o preço pay-as-you-go pelo mesmo tamanho de VM. Para mais informações, consulte Azure Spot Máquinas Virtuais.

Verifique a taxa atual para o tamanho e região da sua VM antes de escolher uma região. Pode consultá-lo na calculadora de preços do Azure ou através da API de preços de retalho do Azure. Para detalhes gerais de preços, consulte Azure Machine Learning ficing.

Como funciona a implantação em lote com VMs de baixa prioridade

As Implantações em Lote do Azure Machine Learning fornecem vários recursos que facilitam o consumo e se beneficiam de VMs de baixa prioridade:

• Os trabalhos de implantação em lote consomem VMs de baixa prioridade executando em clusters de computação do Azure Machine Learning criados com VMs de baixa prioridade. Depois que uma implantação é associada a um cluster de VMs de baixa prioridade, todos os trabalhos produzidos por essa implantação usam VMs de baixa prioridade. A configuração por tarefa não é possível.
• Os trabalhos de implantação em lote buscam automaticamente o número de destino de VMs no cluster de computação disponível com base no número de tarefas a serem enviadas. Se as VMs estiverem antecipadas ou indisponíveis, os trabalhos de implantação em lote tentarão substituir a capacidade perdida enfileirando as tarefas com falha no cluster.
• As VMs de baixa prioridade têm uma cota de vCPU separada que difere da cota das VMs dedicadas. Os núcleos de baixa prioridade por região têm um limite padrão de 100 a 3.000, dependendo da sua assinatura. O número de núcleos de baixa prioridade por subscrição pode ser aumentado e é um valor único nas famílias de VM. Consulte Cotas de computação do Azure Machine Learning.

Considerações e casos de uso

Muitas cargas de trabalho em lote são uma boa opção para VMs de baixa prioridade. O uso de VMs de baixa prioridade pode introduzir atrasos de execução quando ocorre a desalocação de VMs. Se você tiver flexibilidade no tempo que os trabalhos têm para terminar, você pode tolerar as possíveis quedas na capacidade.

Quando você implanta modelos em pontos de extremidade de lote, o reagendamento pode ser feito no nível de minilote. Essa abordagem tem a vantagem de que a desalocação afeta apenas os minilotes que estão sendo processados e não concluídos no nó afetado. Todos os progressos concluídos são mantidos.

Limitações

• Depois que uma implantação é associada a um cluster de VMs de baixa prioridade, todos os trabalhos produzidos por essa implantação usam VMs de baixa prioridade. A configuração por tarefa não é possível.
• A reclassificação é feita ao nível do minibatch, independentemente do progresso. Nenhum recurso de ponto de verificação é fornecido.
• É cobrado por cada nó do cluster enquanto está ligado, incluindo os nós que são despejados antes de terminarem qualquer trabalho, e incluindo o tempo que cada nó substituto passa a arrancar. O despejo não resulta em reembolso nem crédito, e as VMs Spot não têm SLA. Consulte estados das máquinas virtuais e estado de faturação e Boas práticas para Azure Batch.
• Despejos frequentes podem fazer com que um cluster custe mais do que um dedicated cluster para a mesma carga de trabalho, especialmente em regiões onde a tarifa Spot está próxima da tarifa pay-as-you-go.

Criar implantações em lote que usam VMs de baixa prioridade

Os trabalhos de implantação em lote consomem VMs de baixa prioridade executando em clusters de computação do Azure Machine Learning criados com VMs de baixa prioridade.

Você pode criar um cluster de computação do Azure Machine Learning de baixa prioridade da seguinte maneira:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

az ml compute create -f low-pri-cluster.yml

from azure.ai.ml.entities import AmlCompute

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)

ml_client.begin_create_or_update(compute_cluster)

Depois de criar a nova computação, você pode criar ou atualizar sua implantação para usar o novo cluster:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

az ml batch-endpoint create -f endpoint.yml

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Visualizar e monitorar a desalocação de nós

Novas métricas estão disponíveis no portal do Azure para VMs de baixa prioridade para monitorar VMs de baixa prioridade. Essas métricas são:

• Nós antecipados
• Núcleos antecipados

Para exibir essas métricas no portal do Azure:

1. Navegue até seu espaço de trabalho do Azure Machine Learning no portal do Azure.
2. Selecione Métricas na seção Monitoramento.
3. Selecione as métricas desejadas na lista Métricas .

Conteúdos relacionados

• Criar um cluster de computação do Azure Machine Learning
• Implantar modelos MLflow em implantações em lote
• Gerencie recursos de computação para treinamento de modelos