Implementar modelos open-source com computação gerida (Pré-visualização)

1. Selecione Deploy na ficha do modelo para abrir o assistente de implementação.

2. Especifique um nome de implantação. O nome de implementação é o que a sua aplicação passa no model campo no momento da inferência — escolha um nome estável e amigável para a aplicação (por exemplo, nemotron-3-nano-30b).

3. O tipo de implementação (Global Managed Compute) é pré-selecionado no assistente de implementação.

4. Selecione o modelo de Implementação que corresponda à sua carga de trabalho. Por exemplo, o modelo H100 de acelerador único para o custo mais baixo com comprimento de contexto moderado, ou um modelo de dois aceleradores se os seus prompts excederem o limite de contexto de um único acelerador.

5. Selecione o tipo de acelerador, por exemplo, H100_80GB.

6. Defina as instâncias do Modelo para 1 (ou mais se tiver medido a sua carga de trabalho). As instâncias do modelo determinam a capacidade de computação gerida e são o valor capacity no SKU da implementação. Cada instância consome a contagem de aceleradores definida pelo template; por exemplo, um template que especifica um H100 por instância com capacidade 2 utiliza dois aceleradores H100 no total.

   Tip

   Comece com capacity: 1 para uma primeira implementação e, em seguida, expanda aumentando a capacidade depois de medir a carga de trabalho. Consulte Gerir e escalar a implementação para saber como aumentar a capacidade.

7. Selecione a caixa de verificação para tomar conhecimento do custo da implementação.

8. Selecione Implantar. O abastecimento normalmente demora entre 10 a 15 minutos.

Verificar a implantação

A página de detalhes da implementação é atualizada de Creating para Succeeded quando o modelo está ativo no endpoint Foundry. Pode ver detalhes sobre a implementação, incluindo o estado de provisionamento, o tipo de implementação e outras escolhas feitas durante a criação da implementação.

Enviar um pedido de teste

Quando a implementação estiver pronta, teste-a de forma interativa no Foundry Playground.

1. Selecione o separador Playground para aceder ao mesmo a partir da página Detalhes da implantação.
2. Envia um prompt para testar a implementação.

Monitorizar a implementação

As implementações de computação gerida emitem métricas na mesma superfície do Azure Monitor que outras implementações do Foundry. Na página de detalhes de implementação no portal Foundry, o separador Monitor mostra:

• Número de pedidos agrupado por código de estado HTTP.
• Percentis de tempo de resposta (p50, p90, p99).
• Para modelos de completação de chat: contagens de tokens de entrada e saída, percentis de tempo até ao primeiro token (TTFT) e percentis de tempo de decodificação entre tokens.

Para análises ou alertas mais aprofundados, abra a implementação no portal Azure e use Métricas em Monitorização para mapear as mesmas métricas, agrupar por implementação e configurar alertas. As etiquetas de faturação por implantação são emitidas automaticamente. Filtre a Gestão de Custos pela etiqueta de implementação para atribuir o gasto a uma implementação específica de computação gerida. Para detalhes, consulte Planear e gerir custos para Microsoft Foundry.

Excluir a implantação

Eliminar uma implementação liberta a sua alocação de acelerador e interrompe imediatamente a faturação. Para eliminar uma implementação:

1. Vai à lista de implementações no portal Foundry.
2. Selecione o botão de opção ao lado do nome da sua missão.
3. No painel direito, selecione Excluir.

Solicitar mais quotas

A quota de computação gerida é concedida para cada família de aceleradores e por região através do processo de quotas do Foundry e é separada da quota de VM do Azure. A quota existente de VM do Azure não pode ser aplicada a uma implementação de computação gerida.

Para pedir mais quotas:

1. Selecione Gerenciar no canto superior direito da navegação, e depois selecione Quota no painel esquerdo.
2. Selecione o separador Computação Gerida . A tabela lista as alocações atuais agrupadas por família de aceleradores e região.
3. Selecione Solicitar quota no canto superior direito.
4. No formulário de pedido, escolha a família de aceleradores (A100, H100 ou MI300X), a região-alvo e a quota solicitada. Submeta o pedido.

Permitir até 15 minutos para que uma alteração de quota aprovada se propage. Atualize a página da Quota para verificar a alocação atualizada. Para mais informações sobre os conceitos de quotas, consulte Gerir e aumentar quotas para recursos.

Use o seguinte script Python para implementar o modelo. Substitua os marcadores de lugar pelo seu próprio ID de subscrição, grupo de recursos, nome da conta Foundry e nome da implementação.

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

SUBSCRIPTION_ID  = "<your-subscription-id>"
RESOURCE_GROUP   = "<your-resource-group>"
ACCOUNT_NAME     = "<your-foundry-account>"
DEPLOYMENT_NAME  = "nemotron-3-nano-30b"

MODEL = "azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2"
TEMPLATE = "azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latest"

client = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": MODEL,
            "deploymentTemplate": TEMPLATE,
            "acceleratorType": "H100_80GB",
            "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        },
    },
).result()  # blocks until terminal state (~10–15 min)

print(f"State: {deployment.properties.provisioning_state}")
print(f"ID:    {deployment.id}")

Verificar a implantação

Depois de a implementação ser criada, confirme se está saudável antes de enviar tráfego.

d = client.managed_compute_deployments.get(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
)

print(f"State:        {d.properties.provisioning_state}")    # expect: Succeeded
print(f"Model:        {d.properties.model}")
print(f"Template:     {d.properties.deployment_template}")
print(f"Accelerator:  {d.properties.accelerator_type}")
print(f"Capacity:     {d.sku.capacity}")

Procure por:

• provisioningState: Succeeded significa que a implantação está ativa.
• acceleratorType Corresponde ao valor que pediu.
• sku.capacity corresponde ao número de instâncias que solicitaste.

Se provisioningState estiver Failed, consulte Resolução de problemas.

Enviar um pedido de teste

As implementações de computação gerida estão acessíveis através do ponto de extremidade unificado do Foundry em:

https://<account>.services.ai.azure.com/openai/v1/

O model campo no corpo do pedido recebe o nome de implementação que especificaste, não o ID do modelo.

from azure.identity import DefaultAzureCredential, get_bearer_token_provider
from openai import OpenAI

ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default",
)

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key="placeholder",  # required by OpenAI SDK; overridden by Authorization header
    default_headers={"Authorization": f"Bearer {token_provider()}"},
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
from openai import OpenAI

SUBSCRIPTION_ID = "<your-subscription-id>"
RESOURCE_GROUP  = "<your-resource-group>"
ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

mgmt = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)
api_key = mgmt.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key=api_key,
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

Gerir e escalar a implementação

Como as implementações de computação geridas são centradas no modelo, pode escalá-las alterando o número de instâncias do modelo, não alterando a dimensão de um nó.

Alterar capacidade

d = client.managed_compute_deployments.get(
    RESOURCE_GROUP, ACCOUNT_NAME, DEPLOYMENT_NAME
)
d.sku.capacity = 3

client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource=d,
).result()

Obter atualizações do ambiente de execução e do modelo

Definir versionUpgradeOption para OnceNewDefaultVersionAvailable na implementação faz com que a implementação adote novas versões padrão de modelo e runtime quando Microsoft as publica. Os patches em tempo de execução e as correções de CVE são aplicados automaticamente às implementações de clientes em produção; não é necessário reimplementar o modelo para que sejam aplicados.

Monitorizar a implementação

As implementações de computação gerida emitem métricas na mesma superfície do Azure Monitor que outras implementações do Foundry. Para análises ou alertas mais aprofundados, abra a implementação no portal Azure e use Métricas em Monitorização para graficar métricas como:

• Número de pedidos agrupado por código de estado HTTP.
• Percentis de tempo de resposta (p50, p90, p99).
• Para modelos de completação de chat: contagens de tokens de entrada e saída, percentis de tempo até ao primeiro token (TTFT) e percentis de tempo de decodificação entre tokens.

Também pode agrupar por implementação e configurar alertas. As etiquetas de faturação por implantação são emitidas automaticamente. Filtre a Gestão de Custos pela etiqueta de implementação para atribuir o gasto a uma implementação específica de computação gerida. Para detalhes, consulte Planear e gerir custos para Microsoft Foundry.

Excluir a implantação

Eliminar uma implementação liberta a sua alocação de acelerador e interrompe imediatamente a faturação. Para eliminar uma implementação:

client.managed_compute_deployments.begin_delete(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
).result()