Databricks Runtime 15.3 dla uczenia maszynowego (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 15.3 dla uczenia maszynowego zapewnia gotowe do użycia środowisko na potrzeby uczenia maszynowego i nauki o danych na podstawie Databricks Runtime 15.3 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.3 ML jest oparte na środowisku Databricks Runtime 15.3. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.3, w tym Apache Spark MLlib i SparkR, zobacz notatki wydania dotyczące Databricks Runtime 15.3 (EoS).

Podziały danych i wagi próbek w automatycznym uczeniu maszynowym

Rozwiązanie AutoML obsługuje teraz ręczne podziały danych, dzięki czemu można określić wiersz po wierszu zestawy danych trenowania, walidacji i testowania dla modeli klasyfikacji i regresji. Zobacz Dzielenie danych na zbiory treningowe, walidacyjne i testowe.

Rozwiązanie AutoML obsługuje teraz wagi próbek, co pozwala dostosować znaczenie każdego wiersza podczas trenowania modelu regresji. Aby uzyskać więcej informacji, zapoznaj się z parametrami regresji dla interfejsu API Python AutoML.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.3 ML różni się od środowiska Databricks Runtime 15.3 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.3 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.3.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.3 ML obejmuje następujące biblioteki najwyższego poziomu:

biblioteki Python

Środowisko Databricks Runtime 15.3 ML używa virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.3 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • Sparkdl 3.0.0_db1
  • automl 1.27.0

Uwaga / Notatka

Pliki wymagań rejestrują wersje pakietów dla tej wersji. Powielanie tych wersji może zainstalować przestarzałe pakiety urzędów certyfikacji, w tym certifi. Przed nawiązaniem zdalnych połączeń HTTPS zastosuj aktualizacje pakietu wymienione w zaleceniach bezpieczeństwa eMudhra. Zachowaj włączoną weryfikację certyfikatu TLS i testuj kompatybilność pakietów po aktualizacjach.

Aby odtworzyć środowisko Databricks Runtime ML w lokalnym wirtualnym środowisku Python, pobierz plik requirements-15.3.txt i uruchom pip install -r requirements-15.3.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-engineering lub rozwidlenie usługi Databricks hyperopt.

biblioteki Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 czarny 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 1.4.0 kliknij 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
Komunikacja 0.1.2 słodycze 0.1.4 configparser 5.2.0
contourpy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-inżynieria cech 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 zbiory danych 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 koper 0.3.6
bufor dyskowy 5.6.3 distlib 0.3.8 dm-tree 0.1.8
punkty wejścia 0,4 oceniać 0.4.2 Wykonywanie 0.8.3
aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4 fastjsonschema 2.19.1
fasttext 0.9.2 filelock 3.13.4 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 zamrożona lista 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 gość 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 sala gimnastyczna 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 wakacje 0,45
korowód 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.21.2
idna 3.4 ImageHash 4.3.1 imageio 2.31.1
niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
jegodangerous 2.0.1 jax-jumpy 1.0.0 jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2,4 jsonschema 4.17.3 jupyter-server 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
keras 3.1.1 breloczek do kluczy 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters 0.0.2 kody językowe 3.4.0 langsmith 0.1.63
dane_językowe 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify-it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.1.1 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 Zefir 3.21.2
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.12.0 mistune 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.11.3 more-itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 msal 1.28.0
msal-extensions 1.1.0 msgpack 1.0.8 multidict 6.0.2
wielometodowy 1.11.2 przetwarzanie wieloprocesowe 0.70.14 MurmurHash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 Ninja 1.11.1.1
nltk 3.8.1 notes 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 oauthlib 3.2.0
Oci 2.126.4 openai 1.29.0 opencensus 0.11.4
opencensus-context 0.1.3 opt-einsum 3.3.0 optree 0.11.0
orjson 3.10.3 opakowanie 23.2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 3.4.0 parso 0.8.3
specyfikacja ścieżki 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Poduszka 9.4.0 pip 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 kundel 1.8.1
portalocker 2.8.2 preshed 3.0.9 prometheus-client 0.14.1
prompt-toolkit 3.0.36 prorok 1.1.5 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 8.0.0
py-spy 0.3.14 pyarrow 14.0.1 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.12.0
pyccolo 0.0.52 pycparser 2.21 pydantic 1.10.6
Pygments 2.15.1 PyGObject 3.42.1 PyJWT 2.3.0
PyNaCl 1.5.0 pynvml 11.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.12.0 wyrażenie regularne 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 bogaty 13.7.1 rsa 4.9
s3transfer 0.10.1 bezpiecznetensory 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 morski 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.7.0
element zdania 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 Sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 Sniffio 1.2.0
plik dźwiękowy 0.12.1 sito do zupy 2,4 soxr 0.3.7
spacy 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
serio 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.5.0 statsmodels 0.14.0 sympy 1.11.1
splątane w Unicode 0.2.0 Wytrzymałość 8.2.2 tablica tensorboard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2
tensorflow 2.16.1 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.0
termcolor 2.4.0 ukończony 0.17.1 Tekstowy 0.63.3
tf_keras 2.16.0 cienki 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizatory 0.19.0 pochodnia 2.3.0+ procesor
torcheval 0.0.7 torchvision 0.18.0+procesor tornado 6.3.2
tqdm 4.65.0 traitlets (retain original term if referring to specific software library) 5.7.1 Transformatory 4.40.2
osłona typów 2.13.3 pisarz 0.9.4 sprawdzanie wpisywania 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 łasica 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.2.3
wheel 0.38.4 wordcloud 1.9.3 owinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
profilowanie danych 4.5.1 zipp 3.11.0 zstd 1.5.5.1

biblioteki Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 azure-storage-blob 12.19.1
azure-storage-file-datalake 12.14.0 backcall 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 czarny 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
wyłącznik obwodowy 1.4.0 kliknij 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
Komunikacja 0.1.2 słodycze 0.1.4 configparser 5.2.0
contourpy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.21 databricks-inżynieria cech 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 zbiory danych 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
deepspeed 0.14.0 defusedxml 0.7.1 koper 0.3.6
bufor dyskowy 5.6.3 distlib 0.3.8 dm-tree 0.1.8
einops 0.8.0 punkty wejścia 0,4 oceniać 0.4.2
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 filelock 3.13.4
flash-attn 2.5.8 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.25.0 zamrożona lista 1.3.3 fsspec 2023.5.0
przyszłość 0.18.3 gość 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-resumable-media 2.7.0
googleapis-common-protos 1.63.0 greenlet 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 wakacje 0,45 korowód 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.21.2 idna 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jegodangerous 2.0.1
jax-jumpy 1.0.0 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 keras 3.1.1
breloczek do kluczy 23.5.0 kiwisolver 1.4.4 langchain 0.1.20
langchain-community 0.0.38 langchain-core 0.1.52 langchain-text-splitters 0.0.2
kody językowe 3.4.0 langsmith 0.1.63 dane_językowe 1.2.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 linkify-it-py 2.0.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.1.1 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 Zefir 3.21.2 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.12.0 mistune 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 mosaicml-streaming 0.7.4
mpmath 1.3.0 msal 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidict 6.0.2 wielometodowy 1.11.2
przetwarzanie wieloprocesowe 0.70.14 MurmurHash 1.0.10 mypy-extensions 0.4.3
namex 0.0.8 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 nltk 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105
nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26
nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107
nvidia-cusparse-cu12 12.1.0.106 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.40
nvidia-nvtx-cu12 12.1.105 oauthlib 3.2.0 Oci 2.126.4
openai 1.29.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 optree 0.11.0 orjson 3.10.3
opakowanie 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 parso 0.8.3 specyfikacja ścieżki 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Poduszka 9.4.0
pip 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 portalocker 2.8.2
preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prorok 1.1.5 proto-plus 1.23.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.12.0 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing 3.0.9 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 Python-editor 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy 0.6.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 promień 2.12.0
wyrażenie regularne 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
bogaty 13.7.1 rsa 4.9 s3transfer 0.10.1
bezpiecznetensory 0.4.2 scikit-image 0.20.0 scikit-learn 1.3.0
scipy 1.11.1 morski 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformatory zdań 2.7.0 element zdania 0.1.99
setuptools 68.0.0 Shap 0.44.0 simplejson 3.17.6
Sześć 1.16.0 fragmentator 0.0.7 inteligentne-otwarcie 5.2.1
smmap 5.0.0 Sniffio 1.2.0 plik dźwiękowy 0.12.1
sito do zupy 2,4 soxr 0.3.7 spacy 3.7.2
spacy-legacy 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 serio 2.4.8
ssh-import-id 5,11 stack-data 0.2.0 stanio 0.5.0
statsmodels 0.14.0 sympy 1.11.1 splątane w Unicode 0.2.0
Wytrzymałość 8.2.2 tablica tensorboard 2.16.2 tensorboard-data-server 0.7.2
tensorboard_plugin_profile 2.15.1 tensorboardX 2.6.2.2 tensorflow 2.16.1
tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.0 termcolor 2.4.0
ukończony 0.17.1 Tekstowy 0.63.3 tf_keras 2.16.0
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizatory 0.19.0 pochodnia 2.3.0+cu121 torcheval 0.0.7
torchvision 0.18.0+cu121 tornado 6.3.2 tqdm 4.65.0
traitlets (retain original term if referring to specific software library) 5.7.1 Transformatory 4.40.2 tryton 2.3.0
osłona typów 2.13.3 pisarz 0.9.4 sprawdzanie wpisywania 0.9.0
typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 łasica 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.2.3
wheel 0.38.4 wordcloud 1.9.3 owinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
profilowanie danych 4.5.1 zipp 3.11.0 zstd 1.5.5.1

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.3.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.3 środowisko Databricks Runtime 15.3 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Ostatnia aktualizacja o