Databricks Runtime 14.2 for Machine Learning (EoS)

備註

針對此 Databricks Runtime 版本的支援已結束。 關於停止支援日期,請參見停止支援及終止服務歷史。 如需查看所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本說明和相容性。

Databricks Runtime 14.2 for Machine Learning 提供一個基於Databricks Runtime 14.2 (EoS)的即用型環境,用於機器學習和資料科學。 Databricks Runtime ML 含有許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

新功能和改進

Databricks Runtime 14.2 ML 建置在 Databricks Runtime 14.2 之上。 如需 Databricks Runtime 14.2 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 14.2 (EoS) 版本資訊。

系統環境

Databricks Runtime 14.2 ML 中的系統環境與 Databricks Runtime 14.2 不同,如下所示:

Databricks Runtime 14.2 ML 包含 XGBoost 1.7.6,其不支援具有 計算功能 5.2 和以下的 GPU 叢集。

程式庫

下列各節列出 Databricks Runtime 14.2 ML 中包含的連結庫,與 Databricks Runtime 14.2 中包含的連結庫不同。

本節內容:

頂層程式庫

Databricks Runtime 14.2 ML 包含下列最上層 連結庫:

Python 函式庫

Databricks Runtime 14.2 ML 使用 virtualenv 進行Python套件管理,並包含許多熱門的機器學習套件。

除了下列各節中指定的套件之外,Databricks Runtime 14.2 ML 也包含下列套件:

  • Hyperopt 0.2.7+DB4
  • SparkDL 3.0.0_db1
  • AutoML 1.23.0

若要在本地Python虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-14.2.txt 檔案並執行 pip install -r requirements-14.2.txt。 此指令安裝 Databricks 執行時機器學習所使用的所有 open source 函式庫,但不會安裝由 Databricks 開發的函式庫,例如 databricks-automl、databricks-feature-store,或 Databricks 分支的 hyperopt。

CPU 叢集上的 Python 函式庫

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
屬性 22.1.0 audioread(音頻讀取) 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
反向回呼 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
黑色 22.6.0 漂白劑 4.1.0 方向燈 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 目錄 2.0.10 category-encoders 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 點擊 8.0.4 cloudpathlib 0.16.0
cloudpickle(Python 庫) 2.0.0 cmdstanpy 1.2.0 通訊 0.1.2
糖果 0.1.3 configparser 5.2.0 contourpy 1.0.5
加密 39.0.1 cycler 0.11.0 cymem 2.0.8
Cython 0.29.32 達屍岩 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 Databricks特徵工程 0.1.2 databricks-feature-store 0.16.1
databricks-sdk 0.1.6 dataclasses-json 0.6.1 資料集 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
裝飾項目 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
蒔蘿 0.3.6 diskcache 5.6.3 distlib 0.3.7
docstring-to-markdown 0.11 entrypoints 0.4 evaluate 0.4.1
executing 0.8.3 面向概覽 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 filelock 3.9.0 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 future 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google 雲端儲存 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
假期 0.35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 imbalanced-learn(不平衡資料學習工具庫) 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 吉普尼 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 Jupyter 伺服器 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 密鑰環 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
marshmallow 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 multidict 6.0.4 multimethod 1.10
multiprocess 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
筆記本 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 包裝 22.0 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 病症 0.10.3 替罪羊 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 狗 1.4.0 preshed 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 Prophet 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 Python 編輯器 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 請求 2.28.1
requests-oauthlib 1.3.1 回覆 0.18.0 繩子 1.7.0
rsa 4.9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 句子轉換器 2.2.2
sentencepiece 0.1.99 setuptools 65.6.3 shap 0.43.0
simplejson 3.17.6 六 1.16.0 交叉分析篩選器 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
聲音檔案 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
認真嗎 2.4.8 ssh-import-id 5.11 堆疊資料 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy(Python 符號運算庫) 1.11.1
製表 0.8.10 Unicode 糾結 0.2.0 韌性 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 完成 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 分詞器 0.14.0 tomli 2.0.1
torch 2.0.1+cpu torchvision 0.15.2+cpu tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 transformers (變壓器或轉換器) 4.34.0
typeguard 2.13.3 typer(命令行應用構建工具) 0.9.0 打字檢查 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 自動更新 0.1
urllib3 1.26.14 virtualenv 20.16.7 願景 0.7.5
wadllib 1.3.6 山葵 1.1.2 wcwidth 0.2.5
鼬鼠 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.2 whatthepatch 1.0.2 Wheel 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 包裹 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 ydata-profiling 4.2.0 zipp 3.11.0

GPU 叢集上的 Python 函式庫

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
屬性 22.1.0 audioread(音頻讀取) 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
反向回呼 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
黑色 22.6.0 漂白劑 4.1.0 方向燈 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 目錄 2.0.10 category-encoders 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 點擊 8.0.4 cloudpathlib 0.16.0
cloudpickle(Python 庫) 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
通訊 0.1.2 糖果 0.1.3 configparser 5.2.0
contourpy 1.0.5 加密 39.0.1 cycler 0.11.0
cymem 2.0.8 Cython 0.29.32 達屍岩 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 Databricks特徵工程 0.1.2
databricks-feature-store 0.16.1 databricks-sdk 0.1.6 dataclasses-json 0.6.1
資料集 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 裝飾項目 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 蒔蘿 0.3.6 diskcache 5.6.3
distlib 0.3.7 docstring-to-markdown 0.11 einops 0.7.0
entrypoints 0.4 evaluate 0.4.1 executing 0.8.3
面向概覽 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
filelock 3.9.0 flash-attn 2.3.2 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 future 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google 雲端儲存 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
假期 0.35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 imbalanced-learn(不平衡資料學習工具庫) 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 吉普尼 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 Jupyter 伺服器 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 密鑰環 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 lit 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 marshmallow 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 multidict 6.0.4
multimethod 1.10 multiprocess 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 筆記本 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 包裝 22.0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 病症 0.10.3
替罪羊 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.4.0
pip 22.3.1 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 狗 1.4.0
preshed 3.0.9 prompt-toolkit 3.0.36 Prophet 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 Python 編輯器 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 請求 2.28.1
requests-oauthlib 1.3.1 回覆 0.18.0 繩子 1.7.0
rsa 4.9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 句子轉換器 2.2.2
sentencepiece 0.1.99 setuptools 65.6.3 shap 0.43.0
simplejson 3.17.6 六 1.16.0 交叉分析篩選器 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
聲音檔案 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
認真嗎 2.4.8 ssh-import-id 5.11 堆疊資料 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy(Python 符號運算庫) 1.11.1
製表 0.8.10 Unicode 糾結 0.2.0 韌性 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 完成 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 分詞器 0.14.0 tomli 2.0.1
torch 2.0.1+cu118 torchvision 0.15.2+cu118 tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 transformers (變壓器或轉換器) 4.34.0
triton 2.0.0 typeguard 2.13.3 typer(命令行應用構建工具) 0.9.0
打字檢查 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
自動更新 0.1 urllib3 1.26.14 virtualenv 20.16.7
願景 0.7.5 wadllib 1.3.6 山葵 1.1.2
wcwidth 0.2.5 鼬鼠 0.3.3 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
Wheel 0.38.4 widgetsnbextension 3.6.1 wordcloud 1.9.2
包裹 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 ydata-profiling 4.2.0
zipp 3.11.0

R 程式庫

R 連結庫與 Databricks Runtime 14.2 中的 R 連結庫 相同。

Java 與 Scala 函式庫(Scala 2.12 叢集)

除了 Databricks Runtime 14.2 中的 Java 與 Scala 函式庫外,Databricks Runtime 14.2 ML 還包含以下 JAR:

CPU 叢集

群組識別碼 成品識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

圖形處理器集群

群組識別碼 成品識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0