Entorno de ejecución de IA

AI Runtime es un servicio de computación con GPU sin servidor en Databricks, destinado a cargas de trabajo de aprendizaje profundo. Puedes usar AI Runtime para entrenar y afinar modelos personalizados con frameworks como PyTorch y Hugging Face Transformers.

Get started

Ejecuta tu primera carga de trabajo en minutos usando nuestras guías de inicio rápido.

Get started Descripción
🚀 Inicio rápido de la CLI de Databricks ¿Vienes de un clúster de Slurm o Kubernetes? Entrena en el tiempo de ejecución de IA desde tu terminal en minutos.
📓 Guía de inicio rápido de Notebook Conecta tu portátil a una GPU en segundos y desarrolla de forma interactiva.
⚡ Ray ¿Vienes de un clúster de Ray? Ejecuta Ray en AI Runtime con soporte para paneles.
🧭 Resumen Aprende las cosas clave sobre el tiempo de ejecución de IA en dos minutos: GPUs disponibles, cómo funciona y limitaciones.

Características

AI Runtime es una plataforma de GPU full-stack, con muchas formas de conectarse a GPUs, herramientas integradas de observabilidad y depuración, y entornos preconstruidos.

Conexión al entorno de ejecución de IA

Accede a las GPUs desde donde trabajes.

Feature Descripción
Blocs de notas Adjunta un notebook a AI Runtime y desarrolla de forma interactiva, sin configuración de clúster.
IDE a través de SSH Conéctate desde tu IDE o terminal a través de un túnel SSH para trabajar directamente en un nodo GPU.
CLI de Databricks Envía y gestiona trabajos de entrenamiento de GPU distribuidos desde tu portátil usando configuraciones de trabajos YAML.
Agentes de IA Usa la databricks-ai-runtime habilidad del agente para enviar, monitorizar y gestionar trabajos de entrenamiento de GPU desde tu agente de IA.
Raya Ejecuta Ray Core, Ray Data, Ray Train y Ray Tune en AI Runtime.

Gestión de dependencias

Controla las librerías de Python y del sistema con las que se ejecuta tu carga de trabajo.

Feature Descripción
Entornos preconstruidos Empieza desde un entorno estándar mínimo o un entorno de IA Databricks preinstalado con frameworks de ML.

Cargar datos en las GPU

Suministra datos de entrenamiento a tus GPU de forma eficiente.

Feature Descripción
Cargadores de datos eficientes Transmite datos desde volúmenes de Unity Catalog con cargadores tolerantes a fallos diseñados para un alto uso de GPU.

Depuración y observabilidad

Haz un seguimiento de los experimentos, inspecciona los resultados y diagnostica fallos.

Feature Descripción
MLflow para aprendizaje profundo Haz un seguimiento de experimentos, métricas y ejecuciones con MLflow.
Visor de registros Consulta la salida de entrenamiento y monitoriza el uso de recursos de la GPU mientras tu código se ejecuta.
Depuración con agentes Usa Genie Code para generar código de entrenamiento, resolver problemas de entorno y depurar fallos de la GPU.

Programación y servicio en tiempo real

Pasar del desarrollo interactivo a tareas y endpoints programados.

Feature Descripción
Programar cargas de trabajo de GPU Despliega código de entrenamiento con Paquetes de Automatización Declarativa, programa ejecuciones y crea flujos de trabajo multitarea de GPU y CPU.
Sirva sus modelos Despliega tus modelos entrenados detrás de un endpoint escalable con Model Serving.

Examples

Explora ejemplos integrales de notebooks y de Databricks CLI para AI Runtime.

Ejemplo Descripción
Aprendizaje automático clásico XGBoost acelerado por GPU, predicción tabular sin disparos y pronóstico de series temporales.
Sistemas de recomendaciones Entrena modelos de recomendación de aprendizaje profundo, como arquitecturas de dos torres.
Visión por computadora Cargas de trabajo de detección de objetos y clasificación de imágenes en GPUs.
Modelos OSS (LLMs) posteriores al entrenamiento Realiza ajuste fino y posentrena LLMs de código abierto con LoRA, ajuste fino completo y bibliotecas como TRL, Unsloth y Axolotl.
Inferencia por lotes Ejecuta inferencia por lotes a gran escala con Ray Data y vLLM en varias GPUs.
Entrenamiento distribuido con varias GPU Escala el entrenamiento entre múltiples GPUs y nodos con DDP, FSDP y DeepSpeed.

Guides

Guías centradas en tareas para migrar cargas de trabajo a AI Runtime y sacar el máximo partido a tus GPUs.

Guide Descripción
Migrar desde Slurm Mapea tus scripts de lote de Slurm, lanzadores distribuidos y almacenamiento compartido en la CLI de Databricks.
Migrar cargas de trabajo clásicas de GPU Traslada una carga de trabajo de aprendizaje profundo existente de un clúster clásico de Databricks a AI Runtime.
Rendimiento y resiliencia Mejorar el rendimiento de la formación y hacer que los trabajos de larga duración sean más resistentes ante fallos.

Recursos adicionales

Encuentra contenido útil: las últimas actualizaciones de productos y cómo funciona AI Runtime bajo el capó.

Resource Descripción
Actualizaciones de productos Consulta las últimas actualizaciones y anuncios de productos AI Runtime.
Cómo funciona AI Runtime por dentro Lee cómo Databricks mantiene las GPUs fiables a lo largo del tiempo de ejecución de IA.
  • Se actualizó por última vez el