Tipos de implantação para modelos da Microsoft Foundry

Ao implantar um modelo no Microsoft Foundry, você escolhe um tipo de implantação que determina:

• Onde seus dados são processados (global, zona de dados ou região única)
• Como você paga (pagamento por token ou capacidade reservada)
• Características de desempenho (variação de latência, limites de taxa de transferência)

Esses tipos de implantação se aplicam à opção de implantação de API sem servidor . Modelos de software livre e personalizados que usam computação gerenciada não usam esses tipos. Para saber como as opções diferem, consulte a visão geral da implantação para modelos de Microsoft foundry.

O serviço oferece três categorias principais: standard (pay-per-token), provisionado (capacidade reservada) e lote (processamento assíncrono com desconto). Um tipo de desenvolvedor também está disponível para avaliação de modelo ajustada. Dentro das categorias padrão e provisionada, você pode escolher processamento global, de zona de dados ou regional com base em seus requisitos de conformidade.

Começar com o Padrão Global

Para a maioria das cargas de trabalho, comece com o Global Standard. Ele é lançado primeiro quando um novo modelo é lançado, tem o menor preço e oferece a cobertura de região mais ampla. Mova para outro tipo de implantação somente quando você tiver um motivo específico, como residência de dados, taxa de transferência reservada ou processamento em lote assíncrono.

Novos tipos de implantação ficam disponíveis em uma ordem definida: Global, depois Zona de Dados e, em seguida, região única. Os tipos de implantação de região única chegam por último, não têm uma data de disponibilidade garantida e dependem da capacidade que libera à medida que os modelos mais antigos se desativam. Para obter a ordem de inicialização autoritativa, consulte Inicialização e disponibilidade do modelo.

Comparação de tipos de implantação

Os modelos instantâneos permitem executar a inferência sem criar uma implantação, portanto, eles não são tipos de implantação. Para experimentar um modelo instantaneamente, consulte o acesso instantâneo aos modelos.

As garantias de SLA variam de acordo com o tipo de implantação. Os tipos provisionados fornecem taxa de transferência garantida e menor variação de latência. Os tipos padrão oferecem o melhor serviço possível. As implantações de desenvolvedor não incluem um SLA. Para obter detalhes, consulte o SLA Azure para Serviço OpenAI do Azure.

Escolher o tipo de implantação correto

Use a tabela a seguir para uma recomendação rápida e, em seguida, refina-a com os critérios a seguir.

Por exigência de residência de dados

• Sem restrições: usar Global Standard ou Global Provisioned
• Zona de dados da UE, EUA ou APAC: usar a Zona de Dados Standard ou a Zona de Dados Provisionada em uma região dentro dessa zona de dados
• Somente região única: usar Padrão ou Provisionado Regional

Para as regiões exatas em cada zona de dados, consulte implantações de Zona de Dados.

Por padrão de carga de trabalho

• Início rápido, criação de protótipos ou tentativa de um novo modelo: usar o acesso instantâneo (versão prévia) (nenhuma implantação necessária)
• Tráfego variável e com intermitência: usar Standard ou Global Standard (pay-per-token)
• Volume alto consistente: usar tipos provisionados (capacidade reservada)
• Trabalhos em lotes grandes (não diferenciam o tempo): use o Lote Global ou o Lote de Zona de Dados (50% economia de custos)
• Avaliação de modelo ajustada: Usar Desenvolvedor (sem SLA, menor custo)

Por requisito de latência

• Variação de baixa latência necessária: usar tipos provisionados
• Variação de latência aceitável: usar tipos padrão
• Avaliando um modelo ajustado: use o desenvolvedor (sem SLA; não destinado a cargas de trabalho sensíveis à latência).

Locais de processamento de dados

Implantações padrão e provisionadas oferecem três opções de processamento de dados: global, zona de dados e região única (Azure geografia). O padrão global é um ponto de partida comum para a maioria das cargas de trabalho.

Implantações globais

As implantações globais usam a infraestrutura global do Azure para rotear dinamicamente o tráfego para datacenters disponíveis. As implantações globais oferecem os limites de taxa de transferência iniciais mais altos e a disponibilidade mais ampla do modelo.

Para cargas de trabalho de alto volume, você pode experimentar uma variação de latência maior. Se você precisar de menor variação de latência em escala, use tipos de implantação provisionados.

As implantações globais recebem primeiro novos modelos e recursos.

Implantações de Zona de Dados

Para tipos de implantação globais , o serviço pode processar prompts e respostas em qualquer geografia em que o modelo seja implantado. Para tipos de implantação de Zona de Dados , o serviço processa prompts e respostas somente dentro da zona de dados especificada:

• Estados Unidos: o serviço processa dados em qualquer lugar nos EUA.
• União Europeia: O serviço processa dados dentro da Azure limite de dados da UE.
• Ásia-Pacífico: O serviço processa dados dentro da zona de dados APAC.

A Zona de Dados da UE segue a Azure Limite de Dados da UE, que pode incluir países e regiões da Associação Europeia de Livre Comércio (EFTA), como Noruega e Suíça, além dos Estados-membros da UE. A Zona de Dados da APAC abrange várias regiões da Ásia-Pacífico. Microsoft pode adicionar regiões a qualquer zona de dados sem aviso prévio para melhorar a capacidade e a disponibilidade. Para obter o detalhamento atual por região, consulte a seção "Disponibilidade da região do modelo por tipo de implantação" dos Modelos de Fundiário vendidos por Azure.

Padrão Global

• Nome da SKU no código: GlobalStandard

As implantações padrão global usam a infraestrutura global da Azure para rotear dinamicamente o tráfego para datacenters disponíveis. Esse tipo de implantação fornece a cota padrão mais alta e elimina a necessidade de balanceamento de carga entre vários recursos.

Clientes com alto volume consistente podem experimentar maior variabilidade de latência. O limite é definido por modelo. Para saber mais, confira a página Cotas. Para aplicativos que exigem menor variação de latência em uso de carga de trabalho grande, considere a taxa de transferência provisionada.

O Global Standard dá suporte ao processamento prioritário para tempos de resposta mais rápidos em uma base de pagamento conforme o uso. Para saber mais, confira o processamento de prioridade para modelos de Foundry.

Provisionado globalmente

• Nome da SKU no código: GlobalProvisionedManaged

As implantações provisionadas globais usam a infraestrutura global da Azure para rotear dinamicamente o tráfego para datacenters disponíveis. Esse tipo de implantação fornece capacidade de processamento de modelo reservada para um desempenho previsível, combinando roteamento global com capacidade garantida.

Com a capacidade de processamento provisionada, você adquire um número fixo de unidades de produtividade provisionada (PTUs) que garantem um nível específico de capacidade de processamento. Esse tipo de implantação fornece latência menor e mais consistente do que o Padrão Global. Para saber mais, consulte os conceitos de taxa de transferência provisionada.

Lote Global

• Nome da SKU no código: GlobalBatch

O Lote Global lida com tarefas de processamento em grande escala e de alto volume. Você pode processar grupos assíncronos de solicitações com cota separada e um prazo alvo de 24 horas, a 50% menor do que o custo do Global Standard. Com o processamento em lote, em vez de enviar uma solicitação por vez, você envia um grande número de solicitações em um único arquivo. As solicitações do Lote Global têm uma cota de token na fila separada, o que evita qualquer interrupção das suas cargas de trabalho online.

Casos de uso comuns:

• Processamento de dados em grande escala: analisar conjuntos de dados em paralelo.
• Geração de conteúdo: crie grandes volumes de texto, como descrições de produtos ou artigos.
• Revisão e resumo de documentos: processar e resumir documentos longos.
• Automação de suporte ao cliente: lidar com várias solicitações simultaneamente.
• Extração e análise de dados: extraia e analise informações de grandes quantidades de dados não estruturados.
• Tarefas de NLP (processamento de idioma natural): execute análise de sentimento ou tradução em grandes conjuntos de dados.

Padrão da Zona de Dados

• Nome da SKU no código: DataZoneStandard

As implantações padrão de zona de dados roteiam dinamicamente o tráfego para datacenters dentro da zona de dados definida por Microsoft (EUA, UE ou APAC). Esse tipo de implantação fornece cotas padrão mais altas do que os tipos de implantação de região única, mantendo os dados dentro da zona especificada.

Clientes com alto volume consistente podem experimentar maior variabilidade de latência. O limite é definido por modelo. Para saber mais, confira a página cotas e limites. Para cargas de trabalho que exigem baixa variação de latência em grande volume, considere os tipos de implantação provisionados.

O Data Zone Standard dá suporte ao processamento prioritário para tempos de resposta mais rápidos com pagamento conforme o uso. Para saber mais, confira o processamento de prioridade para modelos de Foundry.

Zona de dados provisionada

• Nome da SKU no código: DataZoneProvisionedManaged

As implantações provisionadas de Zona de Dados roteiam dinamicamente o tráfego dentro da zona de dados especificada pela Microsoft (EUA, UE ou APAC), ao mesmo tempo que fornecem capacidade reservada de processamento de modelos. Esse tipo de implantação combina a conformidade da zona de dados com uma taxa de transferência alta e previsível.

Lote da Zona de Dados

• Nome da SKU no código: DataZoneBatch

As implantações do Lote de Zona de Dados fornecem a mesma funcionalidade que o Lote Global, incluindo economia de 50% nos custos e prazo de entrega de 24 horas. O tráfego é roteado apenas para datacenters dentro da zona de dados definida por Microsoft (EUA, UE ou APAC).

Standard

• Nome da SKU no código: Standard

As implantações padrão usam cobrança por uso por token. Você paga apenas pelo que consome. Os modelos disponíveis em cada região e o throughput podem ser limitados.

As implantações padrão são adequadas para cargas de trabalho de volume de baixo a médio com alta intermitência. Clientes com alto volume consistente podem experimentar maior variabilidade de latência.

Provisionado Regionalmente

• Nome da SKU no código: ProvisionedManaged

As implantações provisionadas regionais permitem especificar a quantidade de largura de banda necessária em uma implantação. Em seguida, o serviço aloca a capacidade de processamento de modelo necessária e garante que ele esteja pronto para você. A taxa de transferência é definida em termos de unidades de taxa de transferência provisionadas (PTUs), que é uma forma normalizada de representar a taxa de transferência da sua implementação. Cada par de modelo e versão requer quantidades diferentes de PTUs para implantação e fornece uma taxa de transferência diferente por PTU. Os requisitos mínimos de PTU variam de acordo com o modelo. Para os mínimos atuais e a capacidade disponível, consulte Conceitos de throughput provisionado.

Desenvolvedor (para modelos refinados)

• Nome da SKU no código: DeveloperTier

O modo de implantação do Desenvolvedor foi projetado apenas para avaliação de modelo afinada. Ele fornece testes econômicos de modelos personalizados, mas não inclui garantias de residência de dados ou um SLA. As implantações de desenvolvedor têm um tempo de vida fixo de 24 horas e são excluídas automaticamente após a expiração. Para saber mais sobre como usar o modo de implantação do Desenvolvedor, consulte o guia de otimização.

Solução de problemas de implantação

Problemas comuns ao criar ou usar implantações:

Para limites de cota por tipo de implementação, consulte Cotas e limites dos modelos do Foundry.

Restringir tipos de implantação com Azure Policy

Azure Policy ajuda a impor padrões organizacionais e avaliar a conformidade em escala. Por meio de seu painel de conformidade, você pode avaliar o estado geral do ambiente e se aprofundar na granularidade por recurso e por política. Azure Policy também dá suporte à correção em massa para recursos existentes e correção automática para novos recursos. Saiba mais sobre o Azure Policy e os controles internos específicos para Foundry Tools.

Use a política a seguir para desabilitar o acesso a um tipo de implantação do Foundry específico. Substitua GlobalStandard pelo nome do SKU para o tipo de implantação que você deseja restringir.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Conteúdo relacionado

• Deploy Microsoft Foundry Models no portal da Foundry
• Criar e implantar um Azure OpenAI no recurso Microsoft Foundry Models
• Modelos Foundry vendidos pela Azure
• Disponibilidade da região do modelo por tipo de implantação
• Cotas e limites dos Modelos do Microsoft Foundry
• Conceitos de throughput provisionado
• Processamento em Lote Global
• Preços do Serviço OpenAI do Azure
• Privacidade e segurança de dados para Modelos do Foundry
• Alta disponibilidade e recuperação de desastre