Databricks Runtime 13.3 LTS para Machine Learning (EoS)

Databricks Runtime 13.3 LTS para Machine Learning proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 13.3 LTS (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para obtener más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte Aprendizaje automático en Azure Databricks.

Nuevas características y mejoras

Databricks Runtime 13.3 LTS ML se basa en Databricks Runtime 13.3 LTS. Para información sobre las novedades de Databricks Runtime 13.3 LTS, incluyendo Apache Spark MLlib y SparkR, consulte las notas de versión de Databricks Runtime 13.3 LTS (EoS ).

Cambios en el Feature Store de Databricks

• Databricks Runtime 13.3 LTS ML contiene el cliente de Feature Store v0.14.0. Con la versión 0.14.0 del cliente y versiones posteriores, debe especificar columnas de clave de marca de tiempo en el argumento primary_keys. Las claves de marca de tiempo forman parte de las "claves principales" que identifican de forma única cada fila de la tabla de características.
• Ahora puede excluir valores de características con marcas de tiempo antes de una hora especificada del conjunto de entrenamiento. Para más información, consulte Establecimiento de un límite de tiempo para los valores de características históricos.
• Las características de aprendizaje automático ahora se pueden calcular a petición en el momento de la inferencia. La lógica de cálculo de las características, los modelos y los datos están regidos por Unity Catalog. Esto permite a los modelos calcular características mediante entradas que solo están disponibles en el momento de la inferencia, como la ubicación actual de un usuario. Para obtener más información, consulte Cálculo de características a petición.

Entorno del sistema

El entorno del sistema en Databricks Runtime 13.3 LTS ML se diferencia del de Databricks Runtime 13.3 LTS en lo siguiente:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Consulte Bibliotecas de Python cuyo ámbito es Notebook.
• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.7
  • cuDNN 8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

Databricks Runtime 13.3 LTS ML incluye XGBoost 1.7.3, que no admite clústeres de GPU con capacidad de proceso 5.2 e inferiores.

El paquete miniconda se ha quitado de Databricks Runtime 13.0 ML y versiones posteriores.

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 13.3 LTS ML, que difieren de las incluidas en Databricks Runtime 13.3 LTS.

En esta sección:

• Bibliotecas de nivel superior
• bibliotecas Python
• Bibliotecas de R
• bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 13.3 LTS ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn

bibliotecas de Python

Databricks Runtime 13.3 LTS ML usa Virtualenv para Python administración de paquetes e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 13.3 LTS ML también incluye los paquetes siguientes:

• Hyperopt 0.2.7+db3
• Sparkdl 3.0.0_db1
• AutoML 1.20.0

Para reproducir el entorno de ML de Databricks Runtime Python en el entorno virtual de Python local, descargue el archivo requirements-13.3.txt y ejecute el comando pip install -r requirements-13.3.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas por Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

bibliotecas de Python en clústeres de CPU

bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 13.3 LTS.

bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de Java y las bibliotecas de Scala en Databricks Runtime 13.3 LTS, Databricks Runtime 13.3 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU