¿Por qué usar AI Runtime en lugar de la computación clásica?

AI Runtime es computación sin servidor con GPU para entrenamiento, ajuste fino y ejecutar inferencias por lotes sobre modelos personalizados de aprendizaje profundo. Si ejecutas estas cargas de trabajo en computación clásica con Databricks Runtime ML, Databricks recomienda trasladarlas a AI Runtime para un menor coste total de propiedad, una experiencia de desarrollo más flexible y una escala multinodo. Las siguientes secciones comparan ambas opciones para los ingenieros de ML y los equipos de plataforma, y describen cómo Genie Code puede ayudarte a migrar.

Compara AI Runtime con el cómputo clásico

La siguiente tabla compara AI Runtime con Databricks Runtime ML en cómputo clásico:

Coste total de propiedad

AI Runtime reduce el coste total de propiedad con GPU gestionadas y sin servidor de alto rendimiento:

• Inicio más rápido: La infraestructura GPU sin servidor está disponible bajo demanda, así que no tienes que esperar a que se inicie un clúster de GPU. Los clústeres clásicos de GPU pueden tardar varios minutos o más en arrancar, dependiendo del tamaño del clúster y la disponibilidad de la GPU.
• Precios de pago por uso: Solo pagas por la computación con GPU serverless que usan tus cargas de trabajo, sin gestionar ni pagar por clústeres inactivos.
• Mayor aprovechamiento de la GPU: Opciones de cálculo flexibles, carga rápida de datos, puntos de control eficientes y entrenamiento multinodo reducen el tiempo de inactividad de la GPU.
• Reducción de la carga administrativa: AI Runtime gestiona el despliegue de cómputo, la red de clústeres, la gestión de la salud de la GPU y las actualizaciones de los controladores CUDA. Con la computación clásica, tu equipo se encarga de la administración de nodos, la configuración del clúster y el mantenimiento continuo de la infraestructura.

Experiencia del desarrollador

AI Runtime ofrece una experiencia flexible para desarrolladores en cargas de trabajo de IA y aprendizaje profundo:

• Conectividad: Trabaja en notebooks, conéctate desde un IDE a través de un túnel SSH (Beta) o envía cargas de trabajo con la CLI de Databricks. Para automatizar ejecuciones, programar tareas o usar Declarative Automation Bundles. Classic Compute no tiene una CLI dedicada para enviar cargas de trabajo de entrenamiento con GPU.
• Runtime dedicado al aprendizaje profundo: El tiempo de ejecución de IA soporta de forma nativa frameworks como Ray y PyTorch. Elige el entorno estándar para disponer de un control total sobre tu pila de dependencias, el entorno de IA de Databricks con paquetes habituales de IA y ML, o una imagen de Docker personalizada. Los runtimes clásicos incluyen un gran conjunto de librerías preinstaladas vinculadas a la versión del runtime.
• Depuración y observabilidad: Realice un seguimiento de los experimentos, supervise la utilización de cómputo, gestione los modelos y resuelva los problemas con la integración integrada de MLflow. Con el cómputo clásico, los logs y las métricas de utilización de cómputo no se almacenan automáticamente en la ejecución de MLflow.
• Acceso seguro a datos:Accede a datos estructurados y no estructurados gobernados por Unity Catalog a través de Spark Connect, sin ejecutar un clúster Apache Spark.

Escala y rendimiento

AI Runtime te ayuda a escalar las cargas de trabajo de aprendizaje profundo de forma eficiente:

• Carga y puntos de control optimizados de datos: Carga de datos de alto rendimiento y puntos de control distribuidos asíncronos aceleran las tuberías de entrenamiento y minimizan el tiempo de inactividad de la GPU. El cómputo clásico carece de cargadores de datos nativos de alto rendimiento y de puntos de control distribuidos. Consulta Mejorar el rendimiento y la resiliencia del entrenamiento en AI Runtime.
• Resiliencia integrada de la GPU: Las comprobaciones automáticas continuas de salud ayudan a detectar y aislar nodos de GPU que fallan, lo que reduce las interrupciones en largas sesiones de entrenamiento. Con el cómputo clásico, mantienes la salud de los nodos de la GPU tú mismo, y aislar un nodo defectuoso requiere interrumpir cargas de trabajo activas. Consulta cómo mantenemos las GPUs fiables en toda la IA de Databricks en el blog de ingeniería de Databricks.
• Entrenamiento multinodo: Escala de una sola GPU a entrenamiento distribuido multinodo con redes de alta velocidad y configuración automática del entorno. Para los aceleradores que soportan entrenamiento multinodo, consulta opciones de hardware.
• Inferencia por lotes personalizada: Ejecute inferencia por lotes personalizada a gran escala en GPU distribuidas sin gestionar clústeres de GPU.

Migrar desde computación clásica con Genie Code

Genie Code puede ayudar a automatizar la refactorización de código y la configuración del entorno en cuadernos conectados a AI Runtime cuando trasladas una carga de trabajo desde el cómputo clásico. Para la lista completa de pasos de migración, véase Migrar cargas de trabajo clásicas de GPU a serverless.

Lo que automatiza Genie Code

Genie Code puede ayudar con las siguientes tareas de migración:

• Refactorización: Convierte los cuadernos de Databricks Runtime ML, como los que usan TorchDistributor, en cuadernos de AI Runtime que usan el decorador @distributed de databricks.air.
• Resolución de dependencias: Evalúa importaciones de notebooks, identifica paquetes incompatibles o faltantes y configura un entorno de GPU serverless.
• Diagnóstico de errores multi-rank: Analiza los registros de salida en todos los nodos para aislar causas raíz como errores de falta de memoria (OOM) de la GPU o bloqueos de comunicación.

Ejemplos de indicaciones para la migración de Genie Code

A continuación, ejemplos de prompts que puedes dar a Genie Code:

• Conversión de código: "Migra este cuaderno de TorchDistributor al decorador databricks.air @distributed ."
• Configuración del entorno: "Inspeccionar los paquetes importados, recomendar el entorno de IA o Standard de Databricks, y generar los comandos de instalación %pip necesarios."
• Depuración: "Analiza los registros de entrenamiento distribuidos en todos los rangos para determinar por qué falló la tarea."

Recursos adicionales

• Migrar cargas de trabajo clásicas de GPU a serverless
• Inicio rápido de AI Runtime
• Requisitos y disponibilidad del entorno de ejecución de IA