Tipos de implementación para modelos de Microsoft Foundry

Al implementar un modelo en Microsoft Foundry, elija un tipo de implementación que determine lo siguiente:

• Dónde se procesan los datos (global, zona de datos o región única)
• Cómo se paga (pago por token o capacidad reservada)
• Características de rendimiento (varianza de latencia, límites de rendimiento)

Estos tipos de implementación se aplican a la opción de implementación de API sin servidor . Los modelos personalizados y de código abierto que usan el proceso administrado no usan estos tipos. Para ver cómo difieren las opciones, consulte Introducción a la implementación para Microsoft Modelos de foundry.

El servicio ofrece tres categorías principales: estándar (pago por token), aprovisionada (capacidad reservada) y por lotes (procesamiento asincrónico con descuento). Un tipo de desarrollador también está disponible para la evaluación de modelos ajustados. Dentro de las categorías estándar y aprovisionadas, puede elegir el procesamiento global, de zona de datos o regional en función de los requisitos de cumplimiento.

Empezar con Global Standard

Para la mayoría de las cargas de trabajo, comience con Global Standard. Se inicia primero cuando se publica un nuevo modelo, tiene el precio más bajo y ofrece la cobertura de región más amplia. Vaya a otro tipo de implementación solo cuando tenga un motivo específico, como residencia de datos, rendimiento reservado o procesamiento por lotes asincrónico.

Los nuevos tipos de implementación están disponibles en un orden establecido: Global, después Zona de datos y, después, región única. Los tipos de implementación de una sola región llegan por última vez, no tienen ninguna fecha de disponibilidad garantizada y dependen de la capacidad que libere a medida que se retiren los modelos más antiguos. Para obtener el orden de inicio autoritativo, consulte Inicio y disponibilidad del modelo.

Comparación de tipos de implementación

Los modelos instantáneos permiten ejecutar la inferencia sin crear una implementación, por lo que no son tipos de implementación. Para probar un modelo de forma instantánea, consulte Acceso instantáneo a los modelos.

Las garantías de Acuerdo de Nivel de Servicio varían según el tipo de implementación. Los tipos aprovisionados proporcionan un rendimiento garantizado y una varianza de latencia menor. Los tipos estándar ofrecen un servicio básico sujeto a la disponibilidad. Las implementaciones de desarrolladores no incluyen un Acuerdo de Nivel de Servicio. Para obtener más información, consulte el Acuerdo de Nivel de Servicio Azure para Azure OpenAI Service.

Elección del tipo de implementación adecuado

Use la tabla siguiente para obtener una recomendación rápida y, a continuación, refinarla con los criterios siguientes.

Por requisito de residencia de datos

• Sin restricciones: Usar Global Standard o Global Provisioned
• Zona de datos EU, EE. UU. o APAC: Use Data Zone Standard o Data Zone Provisioned en una región dentro de esa zona de datos.
• Solo una región: usar Estándar o Aprovisionamiento regional

Para ver las regiones exactas de cada zona de datos, consulte Implementaciones de zona de datos.

Por patrón de carga de trabajo

• Inicio rápido, creación de prototipos o prueba de un nuevo modelo: Use el acceso instantáneo (versión preliminar) ( sin necesidad de implementación).
• Tráfico variable y de ráfaga: usar estándar o estándar global (pago por token)
• Volumen consistentemente alto: Uso de Tipos Aprovisionados (Capacidad Reservada)
• Trabajos por lotes grandes (no sensibles al tiempo): usar lote global o lote de zona de datos (50% ahorro de costos)
• Evaluación de modelos ajustados: uso del desarrollador (sin Acuerdo de Nivel de Servicio, costo más bajo)

Por requisito de latencia

• Varianza de latencia baja necesaria: Uso de tipos aprovisionados
• Varianza de latencia aceptable: Usar tipos estándar
• Evaluación de un modelo optimizado: use el desarrollador (ningún Acuerdo de Nivel de Servicio; no está pensado para cargas de trabajo sensibles a la latencia).

Ubicaciones de procesamiento de datos

Las implementaciones estándar y aprovisionadas ofrecen tres opciones de procesamiento de datos: global, zona de datos y región única (Azure geografía). El estándar global es un punto de partida común para la mayoría de las cargas de trabajo.

Implementaciones globales

Las implementaciones globales usan la infraestructura global de Azure para enrutar dinámicamente el tráfico a los centros de datos disponibles. Las implementaciones globales ofrecen los límites de rendimiento inicial más altos y la disponibilidad del modelo más amplia.

En el caso de las cargas de trabajo de gran volumen, es posible que experimente una mayor variación de latencia. Si necesita una varianza de latencia menor a escala, use los tipos de implementación aprovisionados.

Las implementaciones globales reciben primero nuevos modelos y características.

Implementaciones de zona de datos

En el caso de los tipos de implementación global , el servicio puede procesar solicitudes y respuestas en cualquier geografía donde se implemente el modelo. En el caso de los tipos de implementación de zona de datos, el servicio procesa solicitudes y respuestas solo dentro de la zona de datos especificada:

• Estados Unidos: el servicio procesa los datos en cualquier parte de EE. UU.
• Unión Europea: el servicio procesa los datos dentro del límite de datos de la UE Azure.
• Asia Pacífico: el servicio procesa los datos dentro de la zona de datos de APAC.

La zona de datos de la UE sigue el Azure límite de datos de la UE, que puede incluir países y regiones de la Asociación Europea de Libre Comercio (AELC), como Noruega y Suiza, además de los Estados miembros de la UE. La zona de datos APAC cubre varias regiones de Asia Pacífico. Microsoft puede agregar regiones a cualquiera de las zonas de datos sin previo aviso para mejorar la capacidad y la disponibilidad. Para obtener el desglose actual por región, consulte la sección "Disponibilidad de región de modelo por tipo de implementación" de Foundry Models vendido por Azure.

Estándar global

• Nombre de SKU en el código: GlobalStandard

Las implementaciones globales estándar usan la infraestructura global de Azure para enrutar dinámicamente el tráfico a los centros de datos disponibles. Este tipo de implementación proporciona la cuota predeterminada más alta y elimina la necesidad de equilibrar la carga entre varios recursos.

Los clientes con un volumen alto y consistente pueden experimentar una mayor variabilidad de latencia. El umbral se establece por modelo. Para obtener más información, visite la página de Cuotas. Para aplicaciones que requieren una menor variabilidad de latencia durante el uso de grandes cargas de trabajo, considere el rendimiento aprovisionado.

Global Standard admite el procesamiento prioritario para tiempos de respuesta más rápidos con modelo de pago por uso. Para más información, consulte Procesamiento prioritario de modelos foundry.

Aprovisionado a nivel global

• Nombre de SKU en el código: GlobalProvisionedManaged

Las implementaciones globales aprovisionadas usan la infraestructura global de Azure para enrutar dinámicamente el tráfico a los centros de datos disponibles. Este tipo de implementación proporciona capacidad reservada de procesamiento de modelos para un rendimiento predecible, combinando el enrutamiento global con capacidad garantizada.

Con el rendimiento aprovisionado, se adquiere un número fijo de unidades de rendimiento aprovisionadas (PTUs) que garantizan un nivel específico de capacidad de procesamiento. Este tipo de implementación proporciona una latencia más baja y coherente que Global Standard. Para más información, consulte Conceptos de rendimiento aprovisionados.

Lote global

• Nombre de SKU en el código: GlobalBatch

Global Batch controla tareas de procesamiento a gran escala y de alto volumen. Puede procesar grupos asincrónicos de solicitudes con cuota independiente y un tiempo de respuesta objetivo de 24 horas, a un 50% menor costo que Global Standard. Con el procesamiento por lotes, en lugar de enviar una solicitud a la vez, se envía un gran número de solicitudes en un único archivo. Las solicitudes de lotes globales tienen una cuota de tokens en cola independiente, lo que evita cualquier interrupción de sus cargas de trabajo en línea.

Casos de uso comunes:

• Procesamiento de datos a gran escala: analice conjuntos de datos en paralelo.
• Generación de contenido: cree grandes volúmenes de texto, como descripciones de productos o artículos.
• Revisión y resumen de documentos: procesar y resumir documentos largos.
• Automatización del soporte al cliente: controle numerosas consultas simultáneamente.
• Extracción y análisis de datos: extraiga y analice información de grandes cantidades de datos no estructurados.
• Tareas de procesamiento de lenguaje natural (NLP): realice análisis de sentimiento o traducción en conjuntos de datos grandes.

Estándar de zona de datos

• Nombre de SKU en el código: DataZoneStandard

Las implementaciones estándar de Data Zone enrutan dinámicamente el tráfico a los centros de datos dentro de la zona de datos definida por Microsoft (EE. UU., UE o APAC). Este tipo de implementación proporciona cuotas predeterminadas más altas que los tipos de implementación de una sola región mientras mantiene los datos dentro de la zona especificada.

Los clientes con un volumen alto y consistente pueden experimentar una mayor variabilidad de latencia. El umbral se establece por modelo. Para más información, consulte la página cuotas y límites. En cargas de trabajo que necesitan una baja latencia con variabilidad mínima en grandes volúmenes, puede usar tipos de implementación aprovisionados.

Data Zone Standard permite el procesamiento prioritario, ofreciendo tiempos de respuesta más rápidos con un modelo de pago por uso. Para más información, consulte Procesamiento prioritario de modelos foundry.

Zona de datos aprovisionada

• Nombre de SKU en el código: DataZoneProvisionedManaged

Las implementaciones aprovisionadas de Data Zone enrutan dinámicamente el tráfico dentro de la zona de datos especificada por Microsoft (EE. UU., UE o APAC), a la vez que proporcionan capacidad reservada de procesamiento de modelos. Este tipo de implementación combina el cumplimiento de la zona de datos con un rendimiento alto y predecible.

Lote de zona de datos

• Nombre de SKU en el código: DataZoneBatch

Las implementaciones de Batch de zona de datos proporcionan la misma funcionalidad que Global Batch, incluido un ahorro en costes del 50% y un plazo de entrega de 24 horas. El tráfico solo se enruta a los centros de datos dentro de la zona de datos definida por Microsoft (EE. UU., UE o APAC).

Estándar

• Nombre de SKU en el código: Standard

Las implementaciones estándar usan la facturación de pago por token. Solo pagas por lo que consumes. Los modelos disponibles en cada región y rendimiento pueden estar limitados.

Las implementaciones estándar son adecuadas para cargas de trabajo de bajo a medio volumen con alta expansión. Los clientes con un volumen alto y consistente pueden experimentar una mayor variabilidad de latencia.

Aprovisionada en la región

• Nombre de SKU en el código: ProvisionedManaged

Las implementaciones regionales aprovisionadas permiten especificar la cantidad de rendimiento que necesita en una implementación. A continuación, el servicio asigna la capacidad de procesamiento del modelo necesaria y garantiza que está listo para usted. El rendimiento se define en términos de unidades de rendimiento aprovisionadas (PTU), que es una forma normalizada de representar el rendimiento de la implementación. Cada par de versión de modelo requiere una cantidad distinta de PTU para su implementación y proporciona diferentes cantidades de capacidad de procesamiento por PTU. Los requisitos mínimos de PTU varían según el modelo. Para conocer los mínimos actuales y la capacidad disponible, consulte Conceptos de rendimiento aprovisionados.

Desarrollador (para modelos afinados)

• Nombre de SKU en el código: DeveloperTier

El tipo de implementación para desarrolladores está diseñado solo para la evaluación de modelos ajustados. Proporciona pruebas rentables de modelos personalizados, pero no incluye garantías de residencia de datos ni un Acuerdo de Nivel de Servicio. Las implementaciones de desarrolladores tienen una duración fija de 24 horas y se eliminan automáticamente después de la expiración. Para obtener más información sobre el uso del tipo de implementación developer, consulte la guía de ajuste.

Solución de problemas de implementación

Problemas comunes al crear o usar implementaciones:

Para conocer los límites de cuota por tipo de implementación, consulte Límites y cuotas de Foundry Models.

Restricción de los tipos de implementación con Azure Policy

Azure Policy ayuda a aplicar los estándares de la organización y a evaluar el cumplimiento a escala. A través de su panel de cumplimiento, puede evaluar el estado general del entorno y explorar en profundidad la granularidad por recurso y por directiva. Azure Policy también admite la corrección masiva para los recursos existentes y la corrección automática para los nuevos recursos. Learn más sobre Azure Policy y controles integrados específicos para Foundry Tools.

Use la siguiente directiva para deshabilitar el acceso a un tipo de implementación de Foundry específico. Reemplace GlobalStandard por el nombre de la SKU del tipo de implementación que desea restringir.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Contenido relacionado

• Desplegar los modelos de Microsoft Foundry en el portal Foundry
• Crear e implementar un Azure OpenAI en Microsoft recurso Foundry Models
• Modelos de Foundry comercializados por Azure
• Disponibilidad de región de modelo por tipo de implementación
• Cuotas y límites de Modelos Foundry de Microsoft
• Conceptos de rendimiento aprovisionado
• Procesamiento global por lotes
• precios de Azure OpenAI Service
• Privacidad y seguridad de los datos para los modelos de Foundry
• Alta disponibilidad y recuperación ante desastres