Databricks Runtime 14.3 LTS pour Machine Learning

Databricks Runtime 14.3 LTS pour l'apprentissage automatique fournit un environnement prêt à l'emploi pour l'apprentissage automatique et la science des données basé sur Databricks Runtime 14.3 LTS. Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Note

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez les cycles de vie de prise en charge de Databricks Runtime.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 14.3 LTS ML s’appuie sur Databricks Runtime 14.3 LTS. Pour plus d’informations sur les nouveautés de Databricks Runtime 14.3 LTS, notamment Apache Spark MLlib et SparkR, consultez les notes de publication databricks Runtime 14.3 LTS .

Environnement du système

L’environnement système dans Databricks Runtime 14.3 LTS ML diffère de Databricks Runtime 14.3 LTS comme suit :

  • Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
    • CUDA11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

Databricks Runtime 14.3 LTS ML inclut XGBoost 1.7.6, qui ne prend pas en charge les clusters GPU avec une capacité de calcul 5.2 et antérieure.

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 14.3 LTS ML qui diffèrent de celles incluses dans Databricks Runtime 14.3 LTS.

Dans cette section :

Bibliothèques de niveau supérieur

Databricks Runtime 14.3 LTS ML inclut les bibliothèques de haut niveau suivantes :

bibliothèques de Python

Databricks Runtime 14.3 LTS ML utilise virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.

Outre les packages spécifiés dans les sections suivantes, Databricks Runtime 14.3 LTS ML inclut également les packages suivants :

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.24.0

Note

Les fichiers de dépendances enregistrent les versions des packages pour cette version logicielle. La reproduction de ces versions permet d’installer des bundles d’autorités de certification obsolètes, y compris certifi. Avant d’établir des connexions HTTPS à distance, appliquez les mises à jour bundle listées dans l’avis de sécurité eMudhra. Gardez la vérification des certificats TLS activée et testez la compatibilité des paquets après les mises à jour.

Pour reproduire l’environnement Python de Databricks Runtime ML dans votre environnement virtuel Python local, téléchargez le fichier requirements-14.3.txt et exécutez la commande spécifiée dans pip install -r requirements-14.3.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks, telles que databricks-automl, databricks-feature-store, ou le fork Databricks de hyperopt.

bibliothèques de Python sur les clusters processeur

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Azure Storage File Data Lake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
black 22.6.0 bleach 4.1.0 blinker 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catalogue 2.0.10 encodeurs de catégorie 2.6.3
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 comm 0.1.2
confection 0.1.4 configparser 5.2.0 contourpy 1.0.5
chiffrement 39.0.1 cycliste 0.11.0 cymem 2.0.8
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 Ingénierie des fonctionnalités Databricks 0.2.0 Kit de développement logiciel Databricks (SDK) 0.1.6
dataclasses-json 0.6.3 jeux de données 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 décorateur 5.1.1
deepspeed 0.12.4 defusedxml 0.7.1 dill 0.3.6
cache de disque 5.6.3 distlib 0.3.7 Conversion de docstring en markdown 0.11
points d’entrée 0,4 évaluer 0.4.1 exécuter 0.8.3
aperçu des facettes 1.1.1 fastjsonschema 2.19.1 fasttext 0.9.2
verrou de fichier 3.9.0 Flask 2.2.5 flatbuffers 26/05/2023
outils de police 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
futur 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage (Stockage dans le cloud de Google) 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 vacances 0.38
Horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 ImageHash 4.3.1
imbalanced-learn 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (un outil de widgets interactifs pour Python) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
jupyter-client 7.3.4 serveur Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 codes de langue 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
marshmallow 3.20.2 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 multidict 6.0.4 multimethod 1,10
multiprocess 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
carnet de notes 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 empaquetage 23,2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 pmdarima 2.0.4
pooch 1.4.0 preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.36 prophète 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
éditeur de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
requêtes 2.28.1 requests-oauthlib 1.3.1 réponses 0.18.0
rope 1.7.0 Rsa 4,9 s3transfer 0.6.2
safetensors 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformateurs de phrases 2.2.2 sentencepiece 0.1.99 setuptools 65.6.3
shap 0.44.0 simplejson 3.17.6 six 1.16.0
découpeur 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 fichier audio 0.12.1 soupsieve 2.3.2.post1
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchimie 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
données en pile 0.2.0 stanio 0.3.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5
sympy 1.11.1 tabulate 0.8.10 tangled-up-in-unicode 0.2.0
ténacité 8.1.0 tensorboard 2.14.1 serveur de données TensorBoard 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow-cpu 2.14.1 estimateur TensorFlow 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 générateurs de jetons 0.15.0
tomli 2.0.1 torch 2.0.1+cpu Torchvision 0.15.2+unité centrale de traitement
tornade 6.1 tqdm 4.64.1 traitlets 5.7.1
transformateurs 4.36.1 typeguard 2.13.3 typer 0.9.0
typing-inspect 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.14 virtualenv 20.16.7
visions 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 weasel 0.3.4 webencodings 0.5.1
websocket-client 0.58.0 Outil 2.2.2 c’est quoi le patch 1.0.2
roue 0.38.4 widgetsnbextension 3.6.1 nuage de mots 1.9.3
wrapt 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.4 ydata-profiling 4.2.0
zipp 3.11.0

bibliothèques Python sur des clusters GPU

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Azure Storage File Data Lake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
black 22.6.0 bleach 4.1.0 blinker 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catalogue 2.0.10 encodeurs de catégorie 2.6.3
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
comm 0.1.2 confection 0.1.4 configparser 5.2.0
contourpy 1.0.5 chiffrement 39.0.1 cycliste 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 Ingénierie des fonctionnalités Databricks 0.2.0
Kit de développement logiciel Databricks (SDK) 0.1.6 dataclasses-json 0.6.3 jeux de données 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
décorateur 5.1.1 deepspeed 0.12.4 defusedxml 0.7.1
dill 0.3.6 cache de disque 5.6.3 distlib 0.3.7
Conversion de docstring en markdown 0.11 einops 0.7.0 points d’entrée 0,4
évaluer 0.4.1 exécuter 0.8.3 aperçu des facettes 1.1.1
fastjsonschema 2.19.1 fasttext 0.9.2 verrou de fichier 3.9.0
flash-attn 2.3.6 Flask 2.2.5 flatbuffers 26/05/2023
outils de police 4.25.0 frozenlist 1.4.1 fsspec 2023.6.0
futur 0.18.3 gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage (Stockage dans le cloud de Google) 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 vacances 0.38
Horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 idna 3.4 ImageHash 4.3.1
imbalanced-learn 0.11.0 importlib-metadata 4.11.3 importlib-resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (un outil de widgets interactifs pour Python) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
jupyter-client 7.3.4 serveur Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 codes de langue 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 lit 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 marshmallow 3.20.2 matplotlib 3.7.0
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 multidict 6.0.4
multimethod 1,10 multiprocess 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 carnet de notes 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 empaquetage 23,2
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
pmdarima 2.0.4 pooch 1.4.0 preshed 3.0.9
prompt-toolkit 3.0.36 prophète 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
éditeur de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
requêtes 2.28.1 requests-oauthlib 1.3.1 réponses 0.18.0
rope 1.7.0 Rsa 4,9 s3transfer 0.6.2
safetensors 0.4.1 scikit-learn 1.1.1 scipy 1.10.0
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformateurs de phrases 2.2.2 sentencepiece 0.1.99 setuptools 65.6.3
shap 0.44.0 simplejson 3.17.6 six 1.16.0
découpeur 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 fichier audio 0.12.1 soupsieve 2.3.2.post1
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchimie 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
données en pile 0.2.0 stanio 0.3.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5
sympy 1.11.1 tabulate 0.8.10 tangled-up-in-unicode 0.2.0
ténacité 8.1.0 tensorboard 2.14.1 serveur de données TensorBoard 0.7.2
tensorboard-plugin-profile 2.14.0 TensorFlow 2.14.1 estimateur TensorFlow 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 générateurs de jetons 0.15.0
tomli 2.0.1 torch 2.0.1+cu118 Torchvision 0.15.2+cu118
tornade 6.1 tqdm 4.64.1 traitlets 5.7.1
transformateurs 4.36.1 triton 2.0.0 typeguard 2.13.3
typer 0.9.0 typing-inspect 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 visions 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 weasel 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Outil 2.2.2
c’est quoi le patch 1.0.2 roue 0.38.4 widgetsnbextension 3.6.1
nuage de mots 1.9.3 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.4
ydata-profiling 4.2.0 zipp 3.11.0

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 14.3 LTS.

bibliothèques Java et Scala (cluster Scala 2.12)

Outre les bibliothèques Java et Scala dans Databricks Runtime 14.3 LTS, Databricks Runtime 14.3 LTS ML contient les jaRs suivants :

Clusters UC

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Dernière mise à jour :