Puntos de conexión por lotes

Azure Machine Learning permite implementar puntos de conexión y despliegues por lotes para realizar inferencias de larga duración y asincrónicas con modelos y canalizaciones de aprendizaje automático. Al entrenar un modelo o una canalización de Machine Learning, debe implementarlo para que otros usuarios puedan usarlos con nuevos datos de entrada para generar predicciones. Este proceso de generación de predicciones con el modelo o canalización se denomina inferencia.

Los puntos de conexión por lotes reciben punteros hacia los datos y ejecutan trabajos de forma asincrónica para procesar los datos en paralelo en los clústeres de proceso. Los endpoints de procesamiento por lotes almacenan los resultados en un almacén de datos para su análisis posterior. Utiliza puntos finales por lotes cuando:

Implementaciones en lote

Una implementación es un conjunto de recursos y procesos necesarios para implementar la funcionalidad que proporciona el punto de conexión. Un punto de conexión puede hospedar varios despliegues, cada uno con su propia configuración, desacoplando la interfaz del punto de conexión de los detalles de implementación. Cuando se invoca un punto de conexión por lotes, enruta automáticamente el cliente a su implementación predeterminada. Esta implementación predeterminada se puede configurar y cambiar en cualquier momento.

Dos tipos de despliegues son posibles en los puntos de conexión por lotes de Azure Machine Learning.

• Implementación de modelos
• Implementación de componentes de canalización

Implementación de modelos

La implementación del modelo permite poner en marcha la inferencia de modelos a escala, por lo que puede procesar grandes cantidades de datos de forma asincrónica y de larga duración. Azure Machine Learning controla automáticamente la escalabilidad mediante la paralelización de los procesos de inferencia en varios nodos de un clúster de proceso.

Usa la implementación del modelo cuando:

La principal ventaja de las implementaciones de modelos es que puede usar los mismos recursos que se implementan para la inferencia en tiempo real a los puntos de conexión en línea, pero ahora puede ejecutarlos a escala en lote. Si el modelo requiere preprocesamiento simple o posterior al procesamiento, puede crear un script de puntuación que realice las transformaciones de datos necesarias.

Para crear una implementación de modelo en un punto de conexión por lotes, deberá especificar los siguientes elementos:

• Modelo
• Clúster de proceso
• Script de puntuación (opcional para los modelos de MLflow)
• Entorno (opcional para los modelos de MLflow)

Implementación de componentes de canalización

La implementación de componentes de canalización permite poner en marcha gráficos de procesamiento completos (o canalizaciones) para realizar la inferencia por lotes de forma asincrónica y de larga duración.

Use la Implementación de componentes de canalización cuando:

La principal ventaja de las implementaciones de componentes de canalización es la reutilización de componentes que ya existen en la plataforma y la capacidad de operacionalizar rutinas de inferencia complejas.

Para crear una implementación de componentes de canalización en un punto de conexión por lotes, deberá especificar los siguientes elementos:

• Componente de canalización
• Configuración del clúster de proceso

Los puntos de conexión por lotes también permiten Crear implementaciones de componentes de canalización a partir de trabajos de canalización existentes. Al hacerlo, Azure Machine Learning creará automáticamente un componente de canalización fuera del trabajo. Esto simplifica el uso de estos tipos de implementaciones. Sin embargo, se considera un procedimiento recomendado crear siempre componentes de canalización explícitamente para optimizar la práctica de MLOps.

Administración de costos

Al invocar un punto de conexión por lotes, se inicia asincrónicamente un trabajo de inferencia por lotes. Azure Machine Learning aprovisiona automáticamente los recursos de proceso cuando se inicia el trabajo y los desasigna automáticamente a medida que se completa el trabajo. De este modo, solo se paga por el proceso cuando se usa.

Los puntos de conexión de Batch también se pueden ejecutar en máquinas virtuales de baja prioridad. Los puntos de conexión de Batch se pueden recuperar automáticamente de los nodos desasignados mediante la reprogramación de los miniprocesos afectados. El sistema conserva el trabajo realizado de los mini-lotes ya completados, pero no proporciona puntos de control a nivel de trabajo. Para más información sobre el uso de máquinas virtuales de prioridad baja para reducir el costo de las cargas de trabajo de inferencia por lotes, consulte Uso de máquinas virtuales de prioridad baja en puntos de conexión por lotes.

Por último, Azure Machine Learning no le cobra por los puntos de conexión por lotes o las implementaciones por lotes por sí mismos, por lo que puede organizar los puntos de conexión e implementaciones como mejor se adapte a su escenario. Los puntos de conexión y las implementaciones pueden usar clústeres independientes o compartidos, por lo que es posible lograr un control específico sobre el proceso que consumen los trabajos. Use la escala a cero en clústeres para asegurarse de que no se consumen recursos cuando están inactivos.

Optimización de la práctica de MLOps

Los puntos de conexión de Batch pueden controlar varias implementaciones en el mismo punto de conexión, lo que permite cambiar la implementación del punto de conexión sin cambiar la dirección URL que usan los consumidores para invocarlo.

Puede agregar, quitar y actualizar implementaciones sin afectar al propio punto de conexión.

Orígenes de datos flexibles y almacenamiento

Los puntos de conexión de Batch leen y escriben datos directamente desde el almacenamiento. Puede especificar Azure Machine Learning almacenes de datos, Azure Machine Learning recursos de datos o cuentas de almacenamiento como entradas. Para obtener más información sobre las opciones de entrada admitidas y cómo especificarlas, consulte Creación de trabajos y datos de entrada para puntos de conexión por lotes.

Seguridad

Los puntos de conexión de Batch proporcionan todas las funcionalidades necesarias para operar cargas de trabajo de nivel de producción en una configuración empresarial. Soporta redes privadas en áreas de trabajo seguras y Autenticación Microsoft Entra, ya sea mediante una entidad de seguridad de usuario (como una cuenta de usuario) o una entidad de seguridad de servicio (como una identidad administrada o no administrada). Los trabajos generados por un extremo de procesamiento por lotes se ejecutan bajo la identidad del invocador, lo que brinda la flexibilidad de implementar cualquier escenario. Para obtener más información sobre la autorización al usar puntos de conexión por lotes, consulte Cómo autenticarse en puntos de conexión por lotes.

Contenido relacionado

• Implementación de modelos con puntos de conexión por lotes
• Implementación de canalizaciones con puntos de conexión por lotes
• Implementación de modelos de MLFlow en implementaciones por lotes
• Creación de trabajos y datos de entrada en puntos de conexión por lotes
• Aislamiento de red para puntos de conexión de Batch