Databricks Runtime 12.2 LTS dla Machine Learning (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 12.2 LTS dla uczenia maszynowego zapewnia gotowe środowisko na potrzeby uczenia maszynowego i data science na podstawie Databricks Runtime 12.2 LTS (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 12.2 LTS ML jest oparte na środowisku Databricks Runtime 12.2 LTS. Aby uzyskać informacje na temat nowości w Databricks Runtime 12.2 LTS, w tym Apache Spark MLlib i SparkR, przeczytaj notatki o wydaniu Databricks Runtime 12.2 LTS (EoS).

zautomatyzowane uczenie maszynowe

Można użyć istniejących tabel funkcji w Feature Store, aby rozszerzyć oryginalny zestaw danych wejściowych w problemach prognozowania AutoML. Aby uzyskać szczegółowe informacje, zobacz Integracja magazynu funkcji AutoML.

Aby uzyskać więcej informacji na temat rozwiązania AutoML, zobacz Co to jest rozwiązanie AutoML?.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 12.2 LTS ML różni się od środowiska Databricks Runtime 12.2 LTS w następujący sposób:

  • DBUtils: Środowisko uruchomieniowe Databricks Runtime ML nie zawiera narzędzia biblioteki (dbutils.library) (starsza wersja). Użyj poleceń %pip zamiast tego. Zobacz biblioteki Python Python Notebook.
  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 11.3
    • cuDNN 8.0.5.39
    • NCCL 2.9.9
    • TensorRT 7.2.2

Środowisko Databricks Runtime 12.2 LTS ML zawiera bibliotekę XGBoost 1.7.2, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 12.2 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 12.2 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 12.2 LTS ML obejmuje następujące biblioteki najwyższego poziomu:

biblioteki Python

Środowisko Databricks Runtime 12.2 LTS ML używa usługi Virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 12.2 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

Uwaga

Pliki requirements zawierają wersje pakietów dla tego wydania. Użycie tych wersji może spowodować zainstalowanie przestarzałych pakietów urzędów certyfikacji, w tym certifi. Przed nawiązaniem zdalnych połączeń HTTPS zastosuj aktualizacje pakietu wymienione w zaleceniach bezpieczeństwa eMudhra. Zachowaj włączoną weryfikację certyfikatu TLS i testuj kompatybilność pakietów po aktualizacjach.

Aby odtworzyć środowisko Python ML Databricks Runtime w lokalnym wirtualnym środowisku Python, pobierz plik requirements-12.2.txt i uruchom pip install -r requirements-12.2.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-store lub rozwidlenie usługi Databricks hyperopt.

biblioteki Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
zwrotne wywołanie 0.2.0 backports.ustawienia-punktów-wejścia 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 czarny 22.3.0 wybielacz 4.1.0
błogość 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certyfikat 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmdstanpy 1.1.0 słodycze 0.0.4 configparser 5.2.0
konwertuj datę 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 Sklep z funkcjami Databricks (databricks-feature-store) 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.4 bufor dyskowy 5.4.0
distlib 0.3.6 Konwertowanie docstringów na markdown 0,11 punkty wejścia 0,4
efem 4.1.4 Wykonywanie 0.8.3 aspekty — omówienie 1.0.0
fastjsonschema 2.16.2 FastText 0.9.2 blokada plików 3.6.0
Flask 1.1.2 flatbuffers 23.1.21 fonttools 4.25.0
fsspec 2022.2.0 przyszłość 0.18.2 Gast 0.4.0
gitdb (baza danych Git) 4.0.10 GitPython 3.1.27 google-auth (autoryzacja Google) 1.33.0
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6 makaron google 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 Gviz-API 1.10.0 h5py 3.6.0
konwerter hijri 2.2.4 wakacje 0.18 korowód 0.27.0
htmlmin 0.1.12 Hugging Face Hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 niezrównoważona nauka 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jestniebezpieczne 2.0.1
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets (widżety jupyterlab) 1.0.0 Keras 2.11.0 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 kody językowe 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Kalendarz Księżycowy 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 pakiet matplotlib-inline 0.1.2 Mccabe 0.7.0
niepoprawne zestrojenie 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
wielometoda 1.9.1 szmurhash 1.0.9 mypy-extensions 0.4.3
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 Natural Language Toolkit (nltk) 3.7
nodeenv 1.7.0 notes 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
opakowanie 21,3 Pandas 1.4.2 Pandas Profiling 3.6.2
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3
specyfikacja ścieżki 0.9.0 patia 0.10.1 frajer 0.5.2
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.0.1 pip (menedżer pakietów Pythona) 21.2.4
platformdirs 2.6.2 kreślenie 5.6.0 wtyczka 1.0.0
pmdarima 2.0.2 przeszhetowany 3.0.8 prometheus-client 0.13.1
zestaw narzędzi prompt 3.0.20 prorok 1.1.1 Protobuf (w skrócie od Protocol Buffers) 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.2 pyflakes (narzędzie do analizy statycznej kodu Python) 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4
pyright 1.1.283 pyrsistent 0.18.0 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0
pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 wyrażenie regularne 2022-03-15 żądania 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 lina 0.22.0
RSA 4.7.2 s3transfer 0.5.0 scikit-learn 1.0.2
scipy (biblioteka naukowa dla Pythona) 1.7.3 urodzony na morzu 0.11.2 Send2Trash 1.8.0
setuptools 61.2.0 setuptools-git 1.2 Shap 0.41.0
simplejson 3.17.6 Sześć 1.16.0 fragmentator 0.0.7
inteligentne otwieranie 5.2.1 smmap 5.0.0 sitko do zupy 2.3.1
przestronny 3.4.4 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 sqlparse 0.4.2 serio 2.4.5
ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 stos danych 0.2.0 statsmodels - biblioteka do modelowania statystycznego 0.13.2
tabelować 0.8.9 splątany-w-unicode 0.2.0 Wytrzymałość 8.0.1
TensorBoard 2.11.2 serwer danych TensorBoard 0.6.1 wtyczka TensorBoard do profilowania 2.11.1
wtyczka-tensorboard-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.2.0 ukończony 0.13.1
ścieżka testowa 0.5.0 cienki 8.1.7 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tokenizatory 0.13.2 tomli 1.2.2
pochodnia 1.13.1+procesor TorchVision (Wizja Pochodni 0.14.1+ procesor tornado 6.1
tqdm 4.64.0 traitlets 5.1.1 Transformatory 4.25.1
strażnik typów 2.13.3 pisarz 0.7.0 moduł typing_extensions 4.1.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.1.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.9
virtualenv 20.8.0 Wizje 0.7.5 wasabi 0.10.1
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 websocket-klient 0.58.0
Narzędzie 2.0.3 czymjestłatka 1.0.4 wheel 0.37.1
widgetsnbextension 3.6.1 zawinięty 1.12.1 xgboost 1.7.2
yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.31.0 zamek błyskawiczny 3.7.0

biblioteki Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
attrs 21.4.0 azure-core 1.26.3 azure-cosmos 4.2.0
zwrotne wywołanie 0.2.0 backports.ustawienia-punktów-wejścia 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 czarny 22.3.0 wybielacz 4.1.0
błogość 0.7.9 boto3 1.21.32 botocore 1.24.32
cachetools (narzędzia do zarządzania pamięcią podręczną) 4.2.2 katalog 2.0.8 kodery kategorii 2.5.1.post0
certyfikat 2021.10.8 cffi 1.15.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmdstanpy 1.1.0 słodycze 0.0.4 configparser 5.2.0
konwertuj datę 2.4.0 kryptografia 3.4.8 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.28 databricks-automl-runtime 0.2.15
databricks-cli 0.17.4 Sklep z funkcjami Databricks (databricks-feature-store) 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 dekorator 5.1.1
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.4 bufor dyskowy 5.4.0
distlib 0.3.6 Konwertowanie docstringów na markdown 0,11 punkty wejścia 0,4
efem 4.1.4 Wykonywanie 0.8.3 aspekty — omówienie 1.0.0
fastjsonschema 2.16.2 FastText 0.9.2 blokada plików 3.6.0
Flask 1.1.2 flatbuffers 23.1.21 fonttools 4.25.0
fsspec 2022.2.0 przyszłość 0.18.2 Gast 0.4.0
gitdb (baza danych Git) 4.0.10 GitPython 3.1.27 google-auth (autoryzacja Google) 1.33.0
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6 makaron google 0.2.0 grpcio 1.42.0
gunicorn 20.1.0 Gviz-API 1.10.0 h5py 3.6.0
konwerter hijri 2.2.4 wakacje 0.18 korowód 0.27.0
htmlmin 0.1.12 Hugging Face Hub 0.12.0 IDNA 3.3
ImageHash 4.3.1 niezrównoważona nauka 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jestniebezpieczne 2.0.1
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 joblibspark 0.5.1 jsonschema 4.4.0
jupyter-client 6.1.12 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets (widżety jupyterlab) 1.0.0 Keras 2.11.0 kiwisolver 1.3.2
koreański kalendarz księżycowy 0.3.1 kody językowe 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 Kalendarz Księżycowy 0.0.9
Mako 1.2.0 Markdown 3.3.4 MarkupSafe 2.0.1
matplotlib 3.5.1 pakiet matplotlib-inline 0.1.2 Mccabe 0.7.0
niepoprawne zestrojenie 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
wielometoda 1.9.1 szmurhash 1.0.9 mypy-extensions 0.4.3
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.4.4 nbformat 5.3.0
nest-asyncio 1.5.5 networkx 2.7.1 Natural Language Toolkit (nltk) 3.7
nodeenv 1.7.0 notes 6.4.8 numba 0.55.1
numpy 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
opakowanie 21,3 Pandas 1.4.2 Pandas Profiling 3.6.2
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3
specyfikacja ścieżki 0.9.0 patia 0.10.1 frajer 0.5.2
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.0.1 pip (menedżer pakietów Pythona) 21.2.4
platformdirs 2.6.2 kreślenie 5.6.0 wtyczka 1.0.0
pmdarima 2.0.2 przeszhetowany 3.0.8 zestaw narzędzi prompt 3.0.20
prorok 1.1.1 Protobuf (w skrócie od Protocol Buffers) 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.2
pyflakes (narzędzie do analizy statycznej kodu Python) 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.6.0 pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
wyrażenie regularne 2022-03-15 żądania 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 lina 0.22.0 RSA 4.7.2
s3transfer 0.5.0 scikit-learn 1.0.2 scipy (biblioteka naukowa dla Pythona) 1.7.3
urodzony na morzu 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
setuptools-git 1.2 Shap 0.41.0 simplejson 3.17.6
Sześć 1.16.0 fragmentator 0.0.7 inteligentne otwieranie 5.2.1
smmap 5.0.0 sitko do zupy 2.3.1 przestronny 3.4.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
sqlparse 0.4.2 serio 2.4.5 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10
stos danych 0.2.0 statsmodels - biblioteka do modelowania statystycznego 0.13.2 tabelować 0.8.9
splątany-w-unicode 0.2.0 Wytrzymałość 8.0.1 TensorBoard 2.11.2
serwer danych TensorBoard 0.6.1 wtyczka TensorBoard do profilowania 2.11.1 wtyczka-tensorboard-wit 1.8.1
TensorFlow 2.11.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.2.0 ukończony 0.13.1 ścieżka testowa 0.5.0
cienki 8.1.7 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tokenizatory 0.13.2 tomli 1.2.2 pochodnia 1.13.1+cu117
TorchVision (Wizja Pochodni 0.14.1+cu117 tornado 6.1 tqdm 4.64.0
traitlets 5.1.1 Transformatory 4.25.1 strażnik typów 2.13.3
pisarz 0.7.0 moduł typing_extensions 4.1.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.1.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.9 virtualenv 20.8.0
Wizje 0.7.5 wasabi 0.10.1 szerokość(wcwidth) 0.2.5
kodowania webowe 0.5.1 websocket-klient 0.58.0 Narzędzie 2.0.3
czymjestłatka 1.0.4 wheel 0.37.1 widgetsnbextension 3.6.1
zawinięty 1.12.1 xgboost 1.7.2 yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.31.0
zamek błyskawiczny 3.7.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 12.2 LTS.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 12.2 LTS środowisko Databricks Runtime 12.2 LTS ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Ostatnia aktualizacja o