Databricks Runtime 15.0 dla uczenia maszynowego (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 15.0 dla uczenia maszynowego zapewnia gotowe środowisko na potrzeby uczenia maszynowego i nauki o danych na podstawie Databricks Runtime 15.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.0 ML jest oparte na środowisku Databricks Runtime 15.0. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 15.0, w tym Apache Spark MLlib i SparkR, zobacz notki release dotyczące środowiska Databricks Runtime 15.0 (EoS).

Zmiany przełomowe

Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie

W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks (databricks/databricks-cli), została ona automatycznie zainstalowana w $PATH. Środowisko Databricks Runtime 15.0 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.

Począwszy od wersji Databricks Runtime 15.0 ML, starszy interfejs CLI Databricks nie jest już automatycznie umieszczany w $PATH. Jest to zmiana powodująca niekompatybilność dla użytkowników, którzy polegają na przestarzałym interfejsie wiersza polecenia obecnym w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ... nie działają już w środowisku Databricks Runtime 15.0 ML i nowszym.

Aby nadal korzystać ze starszego interfejsu wiersza polecenia (CLI) usługi Databricks z notatnika, zainstaluj go jako bibliotekę klastra lub notatnika. Nowy interfejs wiersza polecenia usługi Databricks (databricks/cli) jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

Rozwiązanie MLeap nie jest już dostępne, począwszy od środowiska Databricks Runtime 15.0 ML

Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.0 ML i nowszym. Aby spakować modele do wdrażania na platformach opartych na JVM, usługa Databricks zaleca użycie formatu ONNX.

Zaprzestanie wsparcia dla Horovod i HorovodRunner

Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w Databricks Runtime 15.0 ML, ale zostaną usunięte w następnej głównej wersji Databricks Runtime ML.

Uwaga / Notatka

horovod.spark nie obsługuje wersji pyarrow w wersji 11.0 lub nowszej (zobacz odpowiedni GitHub Problem). Środowisko Databricks Runtime 15.0 ML zawiera wersję pyarrow 14.0.1. Aby używać horovod.spark z Databricks Runtime 15.0 ML lub nowszego, należy ręcznie zainstalować pyarrow, określając wersję poniżej 11.0.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.0 ML różni się od środowiska Databricks Runtime 15.0 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.0 ML obejmuje następujące biblioteki najwyższego poziomu:

biblioteki Python

Środowisko Databricks Runtime 15.0 ML używa virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db4
  • Sparkdl 3.0.0_db1
  • automl 1.25.0

Uwaga / Notatka

Pliki requirements zawierają wersje pakietów dla tego wydania. Powielanie tych wersji może instalować przestarzałe pakiety urzędów certyfikacji, w tym certifi. Przed nawiązaniem zdalnych połączeń HTTPS zastosuj aktualizacje pakietu wymienione w zaleceniach bezpieczeństwa eMudhra. Zachowaj włączoną weryfikację certyfikatu TLS i testuj kompatybilność pakietów po aktualizacjach.

Aby odtworzyć Pythonowe środowisko ML Databricks Runtime w lokalnym środowisku wirtualnym Pythona, pobierz plik requirements-15.0.txt i uruchom pip install -r requirements-15.0.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-store lub rozwidlenie usługi Databricks hyperopt.

biblioteki Python w klastrach procesora CPU

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0
Wezwanie zwrotne 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 komunikacja 0.1.2 wyrób cukierniczy 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zbiory danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 punkty wejścia 0,4 ocenić 0.4.1
wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4
fastjsonschema 2.19.1 FastText 0.9.2 blokada plików 3.9.0
Flask 2.2.5 FlatBuffers 26.05.23 fonttools 4.25.0
zablokowana lista 1.3.3 fsspec 2023.5.0 przyszłość 0.18.3
Гаст 0.4.0 gitdb (baza danych Git) 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0
google-cloud-core 2.4.1 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0
Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 zielona nitka 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 Gviz-API 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 wakacje 0.38 korowód 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 Hugging Face Hub 0.20.2 IDNA 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 to jest niebezpieczne 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 JsonPointer 2,4
jsonschema 4.17.3 serwer Jupyter 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5
Keras 2.15.0 breloczek 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-community 0.0.20 langchain-core 0.1.23
kody językowe 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 leniwy ładowacz 0.2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown —it-py 2.2.0
MarkupSafe 2.1.1 pianka cukrowa 3.21.1 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdurl 0.1.0 Mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 more-itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 multidict 6.0.2
wielometoda 1.11.2 wieloprocesowy 0.70.14 MurmurHash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 NBClient 0.5.13
nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia —ml-py 12.535.133 oauthlib 3.2.0
openai 1.9.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 opakowanie 23.2 Pandas 2.0.3
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3
specyfikacja ścieżki 0.10.3 ofiara 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 kundel 1.8.1
przeszhetowany 3.0.9 prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.36
prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Pythonowy edytor 1.0.4
python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 promień 2.9.3
wyrażenie regularne 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
Odpowiedzi 0.13.3 bogaty 13.7.1 rsa 4.9
s3transfer 0.10.0 safetensors 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1 urodzony na morzu 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.2.2
element zdania 0.1.99 setuptools 68.0.0 kształt 0.44.0
simplejson 3.17.6 sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 Sniffio 1.2.0
Plik dźwiękowy 0.12.1 soupsieve 2,4 soxr 0.3.7
przestronny 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0
cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0 sympy 1.11.1
splątane w Unicode 0.2.0 Wytrzymałość 8.2.2 TensorBoard 2.15.1
serwer danych TensorBoard 0.7.2 wtyczka TensorBoard do profilowania 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 zakończony 0.17.1 cienki 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 narzędzia tokenizacji 0.15.0
pochodnia 2.1.2+ procesor torcheval 0.0.7 TorchVision 0.16.2+ procesor
tornado 6.3.2 tqdm 4.65.0 traitlets 5.7.1
Transformersi 4.36.2 typeguard 2.13.3 pisarz 0.9.0
monitorowanie pisania 0.9.0 moduł typing_extensions 4.7.1 tzdata 2022.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.21.0 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 szerokość(wcwidth) 0.2.5 łasica 0.3.4
kodowania webowe 0.5.1 websocket-klient 0.58.0 Narzędzie 2.2.3
wheel 0.38.4 widgetsnbextension 4.0.5 wordcloud 1.9.3
zawinięty 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 ydata-profiling (profilowanie danych) 4.5.1 zamek błyskawiczny 3.11.0

biblioteki Python w klastrach gpu

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0
Wezwanie zwrotne 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 komunikacja 0.1.2 wyrób cukierniczy 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zbiory danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 punkty wejścia 0,4
ocenić 0.4.1 wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Powiadomienia Farama 0.0.4 fastjsonschema 2.19.1 FastText 0.9.2
blokada plików 3.9.0 flash-attn 2.5.0 Flask 2.2.5
FlatBuffers 26.05.23 fonttools 4.25.0 zablokowana lista 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 Гаст 0.4.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0
Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
zielona nitka 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 Gviz-API 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
wakacje 0.38 korowód 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
Hugging Face Hub 0.20.2 IDNA 3.4 ImageHash 4.3.1
imageio 2.31.1 niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 to jest niebezpieczne 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 JsonPointer 2,4 jsonschema 4.17.3
serwer Jupyter 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5 Keras 2.15.0
breloczek 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-community 0.0.20 langchain-core 0.1.23 kody językowe 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 leniwy ładowacz 0.2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown —it-py 2.2.0 MarkupSafe 2.1.1
pianka cukrowa 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 Mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 more-itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 multidict 6.0.2 wielometoda 1.11.2
wieloprocesowy 0.70.14 MurmurHash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 notes 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia —ml-py 12.535.133 oauthlib 3.2.0 openai 1.9.0
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
opakowanie 23.2 Pandas 2.0.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.10.3
ofiara 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.4.0
pip 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 przeszhetowany 3.0.9
zestaw narzędzi prompt 3.0.36 prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1
psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
Pythonowy edytor 1.0.4 python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.9.3 wyrażenie regularne 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 Odpowiedzi 0.13.3 bogaty 13.7.1
rsa 4.9 s3transfer 0.10.0 safetensors 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1
urodzony na morzu 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformatory zdań 2.2.2 element zdania 0.1.99 setuptools 68.0.0
kształt 0.44.0 simplejson 3.17.6 sześć 1.16.0
fragmentator 0.0.7 inteligentne-otwarcie 5.2.1 smmap 5.0.0
Sniffio 1.2.0 Plik dźwiękowy 0.12.1 soupsieve 2,4
soxr 0.3.7 przestronny 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11
stos danych 0.2.0 cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0
sympy 1.11.1 splątane w Unicode 0.2.0 Wytrzymałość 8.2.2
TensorBoard 2.15.1 serwer danych TensorBoard 0.7.2 wtyczka TensorBoard do profilowania 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 zakończony 0.17.1
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
narzędzia tokenizacji 0.15.0 pochodnia 2.1.2+cu121 torcheval 0.0.7
TorchVision 0.16.2+cu121 tornado 6.3.2 tqdm 4.65.0
traitlets 5.7.1 Transformersi 4.36.2 Triton 2.1.0
typeguard 2.13.3 pisarz 0.9.0 monitorowanie pisania 0.9.0
moduł typing_extensions 4.7.1 tzdata 2022.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 virtualenv 20.21.0
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.2
szerokość(wcwidth) 0.2.5 łasica 0.3.4 kodowania webowe 0.5.1
websocket-klient 0.58.0 Narzędzie 2.2.3 wheel 0.38.4
widgetsnbextension 4.0.5 wordcloud 1.9.3 zawinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
ydata-profiling (profilowanie danych) 4.5.1 zamek błyskawiczny 3.11.0

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.0.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.0 środowisko Databricks Runtime 15.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Ostatnia aktualizacja o