Tipos de implementação para modelos Microsoft Foundry

Quando implementa um modelo no Microsoft Foundry, escolhe um tipo de implementação que determina:

• Onde os seus dados são processados (global, zona de dados ou região única)
• Como paga (pagar por token ou capacidade reservada)
• Características de desempenho (variação de latência, limites de rendimento)

Estes tipos de implementação aplicam-se à opção de implementação da API Serverless . Modelos open source e personalizados que usam computação gerida não usam estes tipos. Para saber como as opções diferem, consulte a visão geral da implementação para os modelos Microsoft Foundry.

O serviço oferece três categorias principais: padrão (pay-per-token), provisionado (capacidade reservada) e batch (processamento assíncrono com desconto). Um tipo Developer também está disponível para avaliação fina de modelos. Dentro das categorias padrão e provisionada, pode escolher processamento global, zona de dados ou regional com base nos seus requisitos de conformidade.

Comece pelo Global Standard

Para a maioria das cargas de trabalho, começa pelo Global Standard. É lançado primeiro quando um novo modelo é lançado, tem o preço mais baixo e oferece a cobertura regional mais ampla. Mude para outro tipo de implementação apenas quando tiver uma razão específica, como residência de dados, throughput reservado ou processamento assíncrono em lote.

Novos tipos de implementação ficam disponíveis numa ordem definida: Global, depois Zona de Dados, depois região única. Os tipos de implementação em região única chegam por último, não têm data garantida de disponibilidade e dependem da capacidade que se liberta à medida que os modelos mais antigos se reformam. Para a ordem de lançamento autoritária, consulte o lançamento e disponibilidade do modelo.

Comparação de tipos de implantação

Os modelos instantâneos permitem executar inferência sem criar uma implementação, por isso não são tipos de implantação. Para experimentar um modelo instantaneamente, veja Acesso instantâneo a modelos.

As garantias de SLA variam consoante o tipo de implantação. Os tipos provisionados proporcionam rendimento garantido e menor variação de latência. Os tipos padrão oferecem um serviço de melhor esforço. As implementações de programadores não incluem um SLA. Para mais detalhes, consulte o SLA Azure para Azure OpenAI Service.

Escolha o tipo de implantação certo

Use a tabela seguinte para uma recomendação rápida e depois refine-a com os critérios que se seguem.

Pelo requisito de residência de dados

• Sem restrições: Usar Global Standard ou Global Provisioned
• Zona de dados da UE, EUA ou APAC: Utilize a Norma da Zona de Dados ou a Zona de Dados Provisionada numa região dentro dessa zona de dados
• Apenas região única: Utilizar Padrão ou Regional Provisionado

Para as regiões exatas em cada zona de dados, veja Implementações da Zona de Dados.

Por padrão de carga de trabalho

• Início rápido, prototipagem ou tentativa de um novo modelo: Usar acesso instantâneo (pré-visualização) (não é necessário implementar)
• Tráfego variável e em rajadas: Utilizar Padrão ou Padrão Global (pago por token)
• Volume elevado consistente: Usar tipos provisionados (capacidade reservada)
• Trabalhos de grandes lotes (não sensíveis ao tempo): Use Global Batch ou Data Zone Batch (50% poupança de custos)
• Avaliação fina do modelo: Usar Developer (sem SLA, custo mais baixo)

Por requisito de latência

• Baixa variação de latência necessária: Utilizar tipos Provisionados
• Variância de latência aceitável: Usar tipos padrão
• Avaliação de um modelo finamente ajustado: Use developer (sem SLA; não destinado a cargas de trabalho sensíveis à latência).

Locais de processamento de dados

As implementações padrão e provisionadas oferecem ambas três opções de processamento de dados: global, zona de dados e região única (geografia Azure). O padrão global é um ponto de partida comum para a maioria das cargas de trabalho.

Implantações globais

As implementações globais utilizam a infraestrutura global do Azure para encaminhar dinamicamente o tráfego para os centros de dados disponíveis. As implementações globais oferecem os maiores limites iniciais de largura de banda e a maior disponibilidade de modelos.

Para cargas de trabalho de alto volume, pode experienciar uma variação de latência aumentada. Se precisar de menor variação de latência em escala, use tipos de implementação provisionados.

As implementações globais recebem primeiro novos modelos e funcionalidades.

Implementações em Zona de Dados

Para tipos de implementação global , o serviço pode processar prompts e respostas em qualquer geografia onde o modelo seja implantado. Para os tipos de implementação da Zona de Dados , o serviço processa prompts e respostas apenas dentro da zona de dados especificada:

• Estados Unidos: O serviço processa dados em qualquer lugar dentro dos EUA.
• União Europeia: O serviço processa dados dentro da fronteira de dados Azure EU.
• Ásia-Pacífico: O serviço processa dados dentro da zona de dados da APAC.

A Zona de Dados da UE segue a Fronteira de Dados Azure da UE, que pode incluir países da Associação Europeia de Livre Comércio (EFTA) e regiões como a Noruega e a Suíça, além dos Estados-membros da UE. A Zona de Dados APAC abrange várias regiões da Ásia-Pacífico. A Microsoft pode adicionar regiões a qualquer uma das zonas de dados sem aviso prévio para melhorar a capacidade e disponibilidade. Para a divisão atual por região, consulte a secção "Disponibilidade de regiões de modelos por tipo de implementação" da Foundry Models vendida pela Azure.

Padrão Global

• Nome do SKU em código: GlobalStandard

As implementações do Global Standard utilizam a infraestrutura global do Azure para encaminhar dinamicamente o tráfego para os centros de dados disponíveis. Este tipo de implementação proporciona a maior quota padrão e elimina a necessidade de balancear a carga entre múltiplos recursos.

Clientes com volume consistente elevado podem experienciar maior variabilidade de latência. O limiar é definido por modelo. Para saber mais, consulte a página de Quotas. Para aplicações que requerem menor variação de latência em altas cargas de trabalho, considere o débito provisionado.

O Global Standard suporta o processamento prioritário para tempos de resposta mais rápidos, numa base de pagamento conforme o uso. Para saber mais, consulte Processamento prioritário para modelos Foundry.

Global Provisionado

• Nome do SKU em código: GlobalProvisionedManaged

As implementações Global Provisioned utilizam a infraestrutura global do Azure para encaminhar dinamicamente o tráfego para os centros de dados disponíveis. Este tipo de implementação fornece capacidade reservada de processamento de modelos para um débito previsível, combinando o roteamento global com capacidade garantida.

Com a largura de banda provisionada, adquire uma quantidade fixa de unidades de taxa de provisão (PTU) que garantem um nível específico de capacidade de processamento. Este tipo de implementação oferece uma latência menor e mais consistente do que o Global Standard. Para mais informações, consulte Conceitos de throughput provisionado.

Lote Global

• Nome do SKU em código: GlobalBatch

O Global Batch trata de tarefas de processamento em grande escala e grande volume. Pode processar grupos assíncronos de pedidos com quotas separadas e um prazo objetivo de 24 horas, a um custo 50% inferior ao Global Standard. Com o processamento em lote, em vez de enviar um pedido de cada vez, envia um grande número de pedidos num único ficheiro. Os pedidos globais de lote têm uma quota separada de tokens em fila, que evita qualquer perturbação das suas cargas de trabalho online.

Casos de uso comuns:

• Processamento de dados em grande escala: Analisar conjuntos de dados em paralelo.
• Geração de conteúdo: Crie grandes volumes de texto, como descrições de produtos ou artigos.
• Revisão e resumo de documentos: Processar e resumir documentos extensos.
• Automação do apoio ao cliente: Tratar várias consultas em simultâneo.
• Extração e análise de dados: Extrair e analisar informação de grandes quantidades de dados não estruturados.
• Tarefas de processamento de linguagem natural (PLN): Realizar análise ou tradução de sentimento em grandes conjuntos de dados.

Padrão de Zonas de Dados

• Nome do SKU em código: DataZoneStandard

As implementações do Data Zone Standard encaminham dinamicamente o tráfego para centros de dados dentro da zona de dados definida pela Microsoft (EUA, UE ou APAC). Este tipo de implantação oferece quotas padrão mais elevadas do que os tipos de implantação numa única região, mantendo os dados dentro da zona especificada.

Clientes com volume consistente elevado podem experienciar maior variabilidade de latência. O limiar é definido por modelo. Para saber mais, consulte a página de quotas e limites. Para cargas de trabalho que requerem baixa variância de latência em grande volume, considere tipos de implementação provisionadas.

O Data Zone Standard suporta o processamento prioritário para tempos de resposta mais rápidos numa base de pagamento conforme o uso. Para saber mais, consulte Processamento prioritário para modelos Foundry.

Zona de Dados Provisionada

• Nome do SKU em código: DataZoneProvisionedManaged

As implementações provisionadas por Zona de Dados encaminham dinamicamente o tráfego dentro da zona de dados especificada pela Microsoft (EUA, UE ou APAC) enquanto fornecem capacidade reservada de processamento de modelos. Este tipo de implementação combina conformidade com zonas de dados com um débito elevado e previsível.

Zona de Dados Lote

• Nome do SKU em código: DataZoneBatch

As implementações do Data Zone Batch oferecem a mesma funcionalidade do Global Batch, incluindo 50% poupança de custos e um prazo de 24 horas. O tráfego é encaminhado apenas para centros de dados dentro da zona de dados definida pela Microsoft (EUA, UE ou APAC).

Standard

• Nome do SKU em código: Standard

As implementações padrão utilizam faturação por token. Pagas apenas pelo que consomes. Os modelos disponíveis em cada região e a largura de banda podem ser limitados.

As implementações padrão são adequadas para cargas de trabalho de volume baixo a médio com alta carga intermitente. Clientes com volume consistente elevado podem experienciar maior variabilidade de latência.

Provisionamento Regional

• Nome do SKU em código: ProvisionedManaged

As implementações Regionais Provisionadas permitem-lhe especificar a quantidade de largura de banda que necessita numa implementação. O serviço aloca então a capacidade necessária de processamento de modelos e garante que está pronto para si. O throughput é definido em termos de unidade de throughput provisionada (PTU), que é uma forma normalizada de representar o throughput para a sua implementação. Cada par modelo-versão requer diferentes quantidades de PTUs para ser implantado e fornece diferentes capacidades de processamento por PTU. Os requisitos mínimos da PTU variam consoante o modelo. Para valores mínimos atuais e capacidade disponível, consulte conceitos de débito provisionado.

Desenvolvedor (para modelos afinados)

• Nome do SKU em código: DeveloperTier

O tipo de implementação Developer foi concebido apenas para avaliação de modelos afinados. Fornece testes económicos de modelos personalizados, mas não inclui garantias de residência de dados nem um SLA. As implementações dos programadores têm uma vida útil fixa de 24 horas e são automaticamente eliminadas após a expiração. Para saber mais sobre a utilização do tipo de implementação Developer, consulte o guia de ajuste fino.

Resolução de problemas de implementação

Problemas comuns ao criar ou utilizar implementações:

Para limitações de quota por tipo de implantação, consulte quotas e limites dos Foundry Models.

Restringir tipos de implementação com o Azure Policy

O Azure Policy ajuda a fazer cumprir normas organizacionais e a avaliar a conformidade em larga escala. Através do seu painel de conformidade, pode avaliar o estado geral do ambiente e aprofundar a granularidade por recurso e por política. O Azure Policy também suporta remediação em massa para recursos existentes e remediação automática para novos recursos. Saiba mais sobre Azure Policy e controlos específicos incorporados para Foundry Tools.

Use a seguinte política para desativar o acesso a um tipo específico de implementação do Foundry. Substitui GlobalStandard pelo nome SKU do tipo de implementação que queres restringir.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Conteúdo relacionado

• Implementar os Modelos Foundry da Microsoft no portal Foundry
• Criar e implementar um Azure OpenAI no recurso Microsoft Foundry Models
• Foundry Models comercializados pela Azure
• Disponibilidade da região do modelo por tipo de implementação
• Quotas e limites do Microsoft Foundry Models
• Conceitos de largura de banda provisionada
• Processamento global por lote
• Preçário do Azure OpenAI Service
• Privacidade e segurança de dados para modelos Foundry
• Alta disponibilidade e recuperação de desastres