Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
Los elementos marcados como versión preliminar en este artículo se encuentran actualmente en versión preliminar. Esta versión preliminar se proporciona sin un contrato de nivel de servicio y Microsoft no lo recomienda para cargas de trabajo de producción. Es posible que algunas características no se admitan o que tengan funcionalidades restringidas. Para obtener más información, vea Términos de uso complementarios para las versiones preliminares de Microsoft Azure.
Una implementación de adaptador presta servicio a un adaptador de adaptación de rango bajo (LoRA) en una implementación de destino de proceso administrado compatible en Microsoft Foundry. Las implementaciones del adaptador no requieren capacidad de cómputo adicional. Comparten la capacidad de proceso proporcionada por la implementación del modelo base, denominada implementación de destino. Aunque las implementaciones de adaptadores no requieren capacidad de proceso adicional, vienen con su propio nombre de implementación, lo que permite enrutar las solicitudes de inferencia a través del punto de conexión de inferencia de la cuenta de Foundry.
Varios adaptadores compatibles pueden compartir un despliegue de destino. Esta configuración se denomina despliegue multi-LoRA.
Este artículo solo se aplica a los adaptadores de LoRA producidos como salida de ajuste fino en Foundry. Aún no puede importar sus propios adaptadores.
Cómo los adaptadores de LoRA especializan un modelo base
La adaptación de rango bajo es una técnica de ajuste fino que entrena un pequeño conjunto de parámetros adicionales en lugar de actualizar todos los parámetros del modelo base. El adaptador loRA resultante es un conjunto ligero de cambios aprendidos que especializa el modelo para una tarea o dominio.
Un adaptador de LoRA no se puede ejecutar por sí mismo. En tiempo de inferencia, el runtime de servicio combina el adaptador con el modelo base compatible. El modelo base y la versión exactos son importantes porque los cambios aprendidos del adaptador se aplican a la arquitectura y los pesos de ese modelo.
Recursos en una implementación del adaptador
El servicio de adaptadores usa recursos de implementación y modelo relacionados. Cada recurso tiene una responsabilidad independiente.
| Término | Meaning |
|---|---|
| Modelo base | Modelo y versión subyacentes que se usan para crear el adaptador. Una implementación de destino debe usar un modelo base y una versión compatibles. |
| Adaptador LoRA registrado | El recurso de modelo creado a partir de una salida de ajuste fino de Foundry. El registro hace que el adaptador esté disponible en Build > Models, pero no proporciona capacidad de cómputo ni hace que el adaptador sea invocable. |
| Plantilla de implementación | Un activo con nombre y versión que define cómo se ejecuta un modelo, incluida la configuración del entorno de ejecución de servicio y del acelerador. Para el servicio de adaptadores, seleccione una plantilla que admita LoRA. |
| Implementación de destino | Implementación de proceso administrado que ejecuta el modelo base compatible mediante una plantilla de implementación habilitada para LoRA. Posee los aceleradores, la capacidad, las réplicas y el punto de conexión de inferencia que comparten sus adaptadores. |
| Implementación del adaptador | Una conexión implementada entre una versión del adaptador de LoRA registrada y una implementación de destino. Tiene su propio nombre de implementación, pero no aprovisiona recursos de proceso, capacidad, réplicas ni un punto de conexión por separado. |
| Implementación multi-LoRA | Dos o más implementaciones de adaptadores compatibles que usan la misma implementación de destino. Cada adaptador mantiene su propio nombre de implementación y comportamiento especializado al compartir la infraestructura de la implementación de destino. |
Por ejemplo, una implementación de destino denominada qwen-prod puede hospedar implementaciones de adaptadores denominadas qwen-support y qwen-finance. Ambos adaptadores usan el modelo base, la capacidad de cómputo y el punto de conexión proporcionados por qwen-prod. Sus nombres de implementación independientes identifican qué comportamiento ajustado selecciona una aplicación.
Funcionamiento del uso compartido multi-LoRA
La implementación de destino es la base de servicio compartida. Su plantilla de implementación determina si el entorno de ejecución admite LoRA y define el tipo de acelerador, las instancias de modelo y otra configuración en tiempo de ejecución.
Adjuntar un adaptador no crea otra instancia de modelo ni aumenta la capacidad de la implementación de destino. Cada adaptador del destino consume de la misma capacidad de servicio. El escalado de la implementación de destino cambia la capacidad disponible para el modelo base y todos los adaptadores conectados.
Cómo selecciona la inferencia un adaptador
El adaptador debe finalizar el aprovisionamiento para poder atender solicitudes. Una implementación correcta muestra un estado de aprovisionamiento Succeeded.
Supongamos que qwen-prod es la implementación de destino del modelo base y qwen-support y qwen-finance son sus implementaciones de adaptador. Envíe solicitudes al punto de conexión /openai/v1/chat/completions de la cuenta de Foundry. Establezca model con el nombre de la implementación que desea invocar:
model valor |
Comportamiento seleccionado |
|---|---|
qwen-support |
Modelo base con el adaptador de soporte. |
qwen-finance |
Modelo base con el adaptador Finance. |
La solicitud siguiente selecciona el adaptador de soporte. Copie el punto de conexión de la cuenta desde los detalles de implementación del adaptador en el portal. Para la autenticación de Microsoft Entra ID, adquiera un token de acceso para el scope https://ai.azure.com/.default.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Para invocar el adaptador de finanzas, cambie model a qwen-finance y use un prompt para su tarea. El servicio resuelve internamente el despliegue de destino del adaptador.
Para obtener instrucciones de autenticación y pruebas, consulte Probar un adaptador con completions de chat.
Requisitos de compatibilidad y capacidad
Foundry valida el adaptador y la implementación de destino antes de poner el adaptador a disposición. La configuración debe cumplir estos requisitos:
- El adaptador es una salida registrada de un trabajo de ajuste fino de Foundry.
- La implementación de destino ejecuta el modelo base compatible y la versión compatible.
- El destino usa una plantilla de implementación que admite LoRA.
- El adaptador se ajusta al número de adaptadores admitidos de la plantilla, el rango de LoRA y la memoria disponible.
- El destino tiene suficiente cuota de proceso administrado y capacidad para su familia de aceleradores y su región.
Ciclo de vida y dependencias del adaptador
Una implementación del adaptador y su adaptador loRA registrado son recursos independientes. Las reglas siguientes describen cómo afectan los cambios de despliegue al adaptador y al despliegue de destino.
Una implementación de adaptador existente hace referencia a una versión fija del adaptador loRA registrado, no al modelo base. Para proporcionar una versión de adaptador diferente, cree una nueva implementación del adaptador o elimine y vuelva a crear la implementación existente.
Puede mover el mismo origen del adaptador a otra implementación de destino compatible actualizando el nombre de implementación de destino. Espere a que la actualización se realice correctamente antes de enrutar las solicitudes al nuevo destino.
La eliminación de una implementación del adaptador no elimina su versión de modelo registrada ni la implementación de destino. Tampoco afecta a otros adaptadores que comparten el destino.
Quite las implementaciones de adaptador dependientes antes de eliminar una versión del modelo de adaptador registrado o una implementación de destino. Esta ordenación impide que una implementación del adaptador haga referencia a un origen o destino que ya no exista.
Facturación, cuota y límites
La implementación de destino se factura por hora y por acelerador. La cuota de proceso administrado se asigna por familia de aceleradores y región, independientemente de la cuota de máquinas virtuales de Azure. Para más información, consulte Facturación y cuota de computación administrada.
Las implementaciones de adaptador no tienen un precio por separado. La facturación se aplica a la capacidad de procesamiento de la implementación de destino.
Para ver el límite de número de adaptadores, consulte Implementar adaptadores en el portal.
Para conocer las tarifas actuales de proceso administrado, consulte la calculadora de precios de Azure.
Paso siguiente
Implemente y pruebe uno o varios adaptadores de LoRA registrados en una implementación de destino compatible.