注意
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 13.3 LTS for Machine Learningは、Databricks Runtime 13.3 LTS (EoS)に基づく、機械学習とデータサイエンス向けのすぐに利用できる環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
注意
LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks ランタイムのサポート ライフサイクルに関する説明を参照してください。
Databricks Runtime ML クラスターを作成する手順など、詳細については、Azure Databricks の
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
Databricks Runtime 13.3 LTS ML は、Databricks Runtime 13.3 LTS の上に構築されています。 Databricks Runtime 13.3 LTSの新要素、Apache Spark MLlibやSparkRについては、 Databricks Runtime 13.3 LTS(EoS) リリースノートをご覧ください。
Databricks Feature Store の変更点
- Databricks Runtime 13.3 LTS ML には、Feature Store クライアント v0.14.0 が含まれています。 クライアント バージョン 0.14.0 以降では、
primary_keys引数でタイムスタンプ キー列を指定する必要があります。 タイムスタンプ キーは、特徴テーブルの各行を一意に識別する "主キー" の一部です。 - 指定した時刻より前のタイムスタンプを持つ特徴量値をトレーニング セットから除外できるようになりました。 詳細については、「古い特徴量値の制限時間を設定する」を参照してください。
- 機械学習機能は、推論時にオンデマンドで計算できるようになりました。 特徴量計算ロジック、モデル、データはすべて Unity Catalog によって管理されます。 これにより、モデルでは、ユーザーの現在の場所など、推論時にのみ使用できる入力を使用して特徴を計算できます。 詳細については、「 オンデマンド機能の計算」を参照してください。
システム環境
Databricks Runtime 13.3 LTS ML のシステム環境は、Databricks Runtime 13.3 LTS とは次のように異なります。
-
DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) は含まれていません。
代わりに
%pipコマンドを使用してください。 「NotebookスコープのPythonライブラリ」を参照。 - GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.7
- cuDNN 8.5.0.96-1
- NCCL 2.15.1
- TensorRT 7.2.2
Databricks Runtime 13.3 LTS ML には XGBoost 1.7.3 が含まれています。これは、コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。
miniconda パッケージは Databricks Runtime 13.0 ML 以降から削除されました。
ライブラリ
次のセクションでは、Databricks Runtime 13.3 LTS に含まれているものとは異なる、Databricks Runtime 13.3 LTS ML に含まれているライブラリが一覧表示されています。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 13.3 LTS ML には、次の最上位層ライブラリが含まれています。
- GraphFrames
- Horovod と HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python ライブラリ
Databricks Runtime 13.3 LTS ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージを含みます。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 13.3 LTS ML には次のパッケージも含まれています。
- Hyperopt 0.2.7+DB3
- sparkdl 3.0.0_db1
- AutoML 1.20.0
注意
要件ファイルには、今回のリリースにおけるパッケージのバージョンが記録されています。 これらのバージョンを使用すると、certifi を含む古い認証局バンドルがインストールされる可能性があります。 リモートHTTPS接続を行う前に、 eMudhraセキュリティアドバイザリーに記載されたバンドルアップデートを適用してください。 TLS証明書の検証を有効にしたまま、更新後にパッケージの互換性をテストしてください。
ローカルの Python 仮想環境で Databricks Runtime ML Python環境を再現するには、requirements-13.3.txt ファイルをダウンロードし、pip install -r requirements-13.3.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールされません。
CPUクラスター上のPythonライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.20.3 | aiohttp | 3.8.5 |
| アイオシグナル | 1.3.1 | anyio | 3.5.0 | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.2.1 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 21.4.0 | audioread | 3.0.0 | azure-core (アジュール コア) | 1.28.0 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.17.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.12.0 |
| backcall | 0.2.0 | bcrypt（ビークリプト） | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 黒い | 22.6.0 | 漂白剤 | 4.1.0 | ウインカー | 1.4 |
| ブリス | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.28 |
| キャッシュツールズ (cachetools) | 4.2.4 | カタログ | 2.0.9 | category-encoders (カテゴリーエンコーダー) | 2.6.1 |
| サーティフィ | 2022.9.14 | cffi | 1.15.1 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリックする | 8.0.4 | クラウドピックル | 2.0.0 |
| cmdstanpy | 1.1.0 | confection | 0.1.0 | configparser (コンフィグパーサー) | 5.2.0 |
| convertdate | 2.4.0 | 暗号 | 37.0.1 | サイクリスト | 0.11.0 |
| サイメム | 2.0.7 | Cython | 0.29.32 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.17 | databricks-cli | 0.17.7 | databricks-feature-store | 0.14.0 |
| databricks-sdk（データブリックスSDK） | 0.1.6 | dataclasses-json | 0.5.13 | データセット | 2.13.1 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.0 |
| デコレータ | 5.1.1 | デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.4 |
| ディスクキャッシュ | 5.6.1 | distlib | 0.3.7 | ドックストリングをMarkdownに変換 | 0.12 |
| 入口点 | 0.4 | エフェム | 4.1.4 | evaluate | 0.4.0 |
| 実行中 | 1.2.0 | facets-overview | 1.0.3 | fastapi | 0.98.0 |
| fastjsonschema | 2.18.0 | fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.6.0 |
| Flask | 1.1.2+db1 | フラットバッファーズ | 23年5月26日 | fonttools（フォントツールズ） | 4.25.0 |
| フローズンリスト | 1.4.0 | fsspec | 2022.7.1 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.10 | GitPython | 3.1.27 |
| google-api-core | 2.8.2 | google-auth（Google認証） | 1.33.0 | google-auth-oauthlib | 0.4.6 |
| グーグルクラウドコア | 2.3.3 | Googleクラウドストレージ | 2.10.0 | google-crc32c | 1.5.0 |
| グーグルパスタ | 0.2.0 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.5.0 | Google API 共通プロトコル (googleapis-common-protos) | 1.56.4 |
| グリーンレット | 1.1.1 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 | h11 | 0.14.0 |
| h5py | 3.7.0 | 祝日 | 0.27.1 | ホロヴォド | 0.28.1 |
| htmlmin | 0.1.12 | httplib2 | 0.20.2 | httptools | 0.6.0 |
| huggingface-hub | 0.16.4 | IDNA | 3.3 | イメージハッシュ (ImageHash) | 4.3.1 |
| imbalanced-learn | 0.10.1 | importlib-metadata | 4.11.3 | importlib-resources | 6.0.0 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 |
| ipywidgets (インタラクティブウィジェット) | 7.7.2 | アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 |
| ジェダイ | 0.18.1 | ジープニー | 0.7.1 | ジンジャ2 | 2.11.3 |
| jmespath | 0.10.0 | 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 |
| JSONスキーマ | 4.16.0 | ジュピタークライアント | 7.3.4 | jupyter_core（ジュピター・コア） | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.11.0 |
| keyring | 23.5.0 | キウィソルバー | 1.4.2 | langchain | 0.0.217 |
| langchainplus-sdk | 0.0.20 | 言語コード | 3.3.0 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.3 |
| libclang | 15.0.6.1 | librosa | 0.10.0 | LightGBM | 3.3.5 |
| llvmlite | 0.38.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.4 | マークアップセーフ | 2.0.1 | マシュマロ | 3.20.1 |
| matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 | マッケイブ | 0.7.0 |
| mistune | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 2.5.0 |
| more-itertools | 8.10.0 | msgpack (メッセージパック) | 1.0.5 | マルチディクト | 6.0.4 |
| マルチメソッド | 1.9.1 | マルチプロセス | 0.70.12.2 | マーマーハッシュ (murmurhash) | 1.0.9 |
| mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclient（エヌビー・クライアント） | 0.5.13 | nbconvert | 6.4.4 |
| nbフォーマット | 5.5.0 | nest-asyncio（ネスト・アサインキオ） | 1.5.5 | networkx | 2.8.4 |
| 忍者 | 1.11.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| ノートブック | 6.4.12 | numba | 0.55.1 | numexpr | 2.8.4 |
| NumPy (数値計算ライブラリ) | 1.21.5 | oauthlib | 3.2.0 | オープンAI | 0.27.8 |
| openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 | パッケージング | 21.3 |
| パンダ | 1.4.4 | パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 |
| パルソ | 0.8.3 | pathspec | 0.9.0 | pathy | 0.10.2 |
| patsy | 0.5.2 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| フィック | 0.12.3 | ピクルシェア | 0.7.5 | 枕 | 9.2.0 |
| pip | 22.2.2 | プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | pmdarima | 2.0.3 | pooch | 1.7.0 |
| preshed | 3.0.8 | prometheus-クライアント | 0.14.1 | prompt-toolkit（プロンプトツールキット） | 3.0.36 |
| 預言者 | 1.1.4 | プロトバフ | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 |
| pyarrow (パイアロー) | 8.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | pycparser（パイシーパーサー） | 2.21 | pydantic | 1.10.6 |
| パイフレークス | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyMeeus | 0.5.12 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| python-dotenv | 1.0.0 | パイソンエディター | 1.0.4 | python-lsp-jsonrpc | 1.0.0 |
| Python LSP サーバー | 1.7.1 | Pytoolconfig | 1.2.2 | pytz | 2022年1月 |
| PyWavelets | 1.3.0 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| RegEx | 2022.7.9 | リクエスト | 2.28.1 | requests-oauthlib | 1.3.1 |
| 応答 | 0.18.0 | ロープ | 1.7.0 | RSA（アールエスエー） | 4.9 |
| s3transfer | 0.6.0 | セーフテンソル | 0.3.1 | scikit-learn（サイキット・ラーン） | 1.1.1 |
| scipy | 1.9.1 | seaborn（シーボーン） | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash(センド2トラッシュ) | 1.8.0 | sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 |
| setuptools（セットアップツール） | 63.4.1 | shap | 0.41.0 | simplejson | 3.17.6 |
| 6 | 1.16.0 | スライサー | 0.0.7 | スマートオープン | 5.2.1 |
| smmap | 5.0.0 | スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 |
| soupsieve | 2.3.1 | soxr | 0.3.5 | スペーシー | 3.5.3 |
| spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.4 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | srsly | 2.4.7 |
| ssh-import-id | 5.11 | スタックデータ | 0.6.2 | スターレット | 0.27.0 |
| statsmodels（スタッツモデルズ） | 0.13.2 | tabulate | 0.8.10 | 「tangled」-up-in-ユニコード | 0.2.0 |
| 粘り強さ | 8.1.0 | TensorBoard | 2.11.0 | テンソルボード・データサーバー | 0.6.1 |
| tensorboard-plugin-profile | 2.11.2 | テンソルボードプラグイン-WIT | 1.8.1 | tensorflow-cpu | 2.11.1 |
| tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.32.0 | termcolor | 2.3.0 |
| 終了しました | 0.13.1 | テストパス (testpath) | 0.6.0 | thinc | 8.1.10 |
| threadpoolctl | 2.2.0 | tiktoken | 0.4.0 | tokenize-rt | 4.2.1 |
| トークナイザー | 0.13.3 | tomli | 2.0.1 | 電灯 | 1.13.1+cpu |
| torchvision | 0.14.1+cpu | 竜巻 | 6.1 | tqdm | 4.64.1 |
| traitlets（トレイトレット） | 5.1.1 | トランスフォーマー | 4.30.2 | typeguard | 2.13.3 |
| typer | 0.7.0 | typing-inspect | 0.9.0 | タイピングエクステンションズ (typing_extensions) | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.11 |
| uvicorn | 0.23.1 | uvloop | 0.17.0 | virtualenv | 20.16.3 |
| ビジョン | 0.7.5 | wadllib | 1.3.6 | わさび | 1.1.2 |
| ウォッチファイルズ | 0.19.0 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 0.58.0 | ウェブソケット | 11.0.3 | Werkzeug | 2.0.3 |
| whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.37.1 | widgetsnbextension | 3.6.1 |
| ワードクラウド | 1.9.2 | wrapt | 1.14.1 | xgboost | 1.7.6 |
| xxhash | 3.2.0 | yapf (ヤップフ) | 0.31.0 | yarl | 1.9.2 |
| ydata-profiling | 4.2.0 | ジップ | 3.8.0 |
GPU クラスター上のPython ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 0.20.3 | aiohttp | 3.8.5 |
| アイオシグナル | 1.3.1 | anyio | 3.5.0 | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | アスター | 0.8.1 |
| アストトークン | 2.2.1 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| attrs | 21.4.0 | audioread | 3.0.0 | azure-core (アジュール コア) | 1.28.0 |
| azure-cosmos | 4.3.1 | アジュール・ストレージ・ブロブ | 12.17.0 | azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.12.0 |
| backcall | 0.2.0 | bcrypt（ビークリプト） | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 黒い | 22.6.0 | 漂白剤 | 4.1.0 | ウインカー | 1.4 |
| ブリス | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.28 |
| キャッシュツールズ (cachetools) | 4.2.4 | カタログ | 2.0.9 | category-encoders (カテゴリーエンコーダー) | 2.6.1 |
| サーティフィ | 2022.9.14 | cffi | 1.15.1 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | クリックする | 8.0.4 | クラウドピックル | 2.0.0 |
| cmdstanpy | 1.1.0 | confection | 0.1.0 | configparser (コンフィグパーサー) | 5.2.0 |
| convertdate | 2.4.0 | 暗号 | 37.0.1 | サイクリスト | 0.11.0 |
| サイメム | 2.0.7 | Cython | 0.29.32 | ダサイト | 1.8.1 |
| databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.17 | databricks-cli | 0.17.7 | databricks-feature-store | 0.14.0 |
| databricks-sdk（データブリックスSDK） | 0.1.6 | dataclasses-json | 0.5.13 | データセット | 2.13.1 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.0 |
| デコレータ | 5.1.1 | デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.4 |
| ディスクキャッシュ | 5.6.1 | distlib | 0.3.7 | ドックストリングをMarkdownに変換 | 0.12 |
| einops | 0.6.1 | 入口点 | 0.4 | エフェム | 4.1.4 |
| evaluate | 0.4.0 | 実行中 | 1.2.0 | facets-overview | 1.0.3 |
| fastapi | 0.98.0 | fastjsonschema | 2.18.0 | fasttext（ファーストテキスト） | 0.9.2 |
| ファイルロック | 3.6.0 | flash-attn | 1.0.7 | Flask | 1.1.2+db1 |
| フラットバッファーズ | 23年5月26日 | fonttools（フォントツールズ） | 4.25.0 | フローズンリスト | 1.4.0 |
| fsspec | 2022.7.1 | 未来 | 0.18.2 | ガスト | 0.4.0 |
| ギットディービー | 4.0.10 | GitPython | 3.1.27 | google-api-core | 2.8.2 |
| google-auth（Google認証） | 1.33.0 | google-auth-oauthlib | 0.4.6 | グーグルクラウドコア | 2.3.3 |
| Googleクラウドストレージ | 2.10.0 | google-crc32c | 1.5.0 | グーグルパスタ | 0.2.0 |
| google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.5.0 | Google API 共通プロトコル (googleapis-common-protos) | 1.56.4 | グリーンレット | 1.1.1 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | ガニーコーン (gunicorn) | 20.1.0 |
| gviz-api | 1.10.0 | h11 | 0.14.0 | h5py | 3.7.0 |
| 祝日 | 0.27.1 | ホロヴォド | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.16.4 |
| IDNA | 3.3 | イメージハッシュ (ImageHash) | 4.3.1 | imbalanced-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.0 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets (インタラクティブウィジェット) | 7.7.2 |
| アイソデート | 0.6.1 | itsdangerous（イッツデンジャラス） | 2.0.1 | ジェダイ | 0.18.1 |
| ジープニー | 0.7.1 | ジンジャ2 | 2.11.3 | jmespath | 0.10.0 |
| 「joblib」 | 1.2.0 | ジョブリブスパーク | 0.5.1 | JSONスキーマ | 4.16.0 |
| ジュピタークライアント | 7.3.4 | jupyter_core（ジュピター・コア） | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab ウィジェット | 1.0.0 | keras | 2.11.0 | keyring | 23.5.0 |
| キウィソルバー | 1.4.2 | langchain | 0.0.217 | langchainplus-sdk | 0.0.20 |
| 言語コード | 3.3.0 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0.3 | libclang | 15.0.6.1 |
| librosa | 0.10.0 | LightGBM | 3.3.5 | llvmlite | 0.38.0 |
| LunarCalendar | 0.0.9 | Mako | 1.2.0 | Markdown | 3.3.4 |
| マークアップセーフ | 2.0.1 | マシュマロ | 3.20.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | マッケイブ | 0.7.0 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 2.5.0 | more-itertools | 8.10.0 |
| msgpack (メッセージパック) | 1.0.5 | マルチディクト | 6.0.4 | マルチメソッド | 1.9.1 |
| マルチプロセス | 0.70.12.2 | マーマーハッシュ (murmurhash) | 1.0.9 | mypy-extensions (マイパイ拡張機能) | 0.4.3 |
| nbclient（エヌビー・クライアント） | 0.5.13 | nbconvert | 6.4.4 | nbフォーマット | 5.5.0 |
| nest-asyncio（ネスト・アサインキオ） | 1.5.5 | networkx | 2.8.4 | 忍者 | 1.11.1 |
| nltk | 3.7 | nodeenv | 1.8.0 | ノートブック | 6.4.12 |
| numba | 0.55.1 | numexpr | 2.8.4 | NumPy (数値計算ライブラリ) | 1.21.5 |
| oauthlib | 3.2.0 | オープンAI | 0.27.8 | openapi-schema-pydantic | 1.2.4 |
| opt-einsum | 3.3.0 | パッケージング | 21.3 | パンダ | 1.4.4 |
| パンドックフィルターズ | 1.5.0 | paramiko | 2.9.2 | パルソ | 0.8.3 |
| pathspec | 0.9.0 | pathy | 0.10.2 | patsy | 0.5.2 |
| petastorm | 0.12.1 | pexpect | 4.8.0 | フィック | 0.12.3 |
| ピクルシェア | 0.7.5 | 枕 | 9.2.0 | pip | 22.2.2 |
| プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| pmdarima | 2.0.3 | pooch | 1.7.0 | preshed | 3.0.8 |
| prompt-toolkit（プロンプトツールキット） | 3.0.36 | 預言者 | 1.1.4 | プロトバフ | 3.19.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval (ピュア・イヴァル) | 0.2.2 | pyarrow (パイアロー) | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser（パイシーパーサー） | 2.21 |
| pydantic | 1.10.6 | パイフレークス | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | パイパーシング (Pyparsing) | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | python-dotenv | 1.0.0 | パイソンエディター | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | Python LSP サーバー | 1.7.1 | Pytoolconfig | 1.2.2 |
| pytz | 2022年1月 | PyWavelets | 1.3.0 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | RegEx | 2022.7.9 | リクエスト | 2.28.1 |
| requests-oauthlib | 1.3.1 | 応答 | 0.18.0 | ロープ | 1.7.0 |
| RSA（アールエスエー） | 4.9 | s3transfer | 0.6.0 | セーフテンソル | 0.3.1 |
| scikit-learn（サイキット・ラーン） | 1.1.1 | scipy | 1.9.1 | seaborn（シーボーン） | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 | sentence-transformers | 2.2.2 |
| sentencepiece | 0.1.99 | setuptools（セットアップツール） | 63.4.1 | shap | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 5.0.0 | スニフィオ | 1.2.0 |
| サウンドファイル | 0.12.1 | soupsieve | 2.3.1 | soxr | 0.3.5 |
| スペーシー | 3.5.3 | spacy-legacy | 3.0.12 | スペーシー・ロガーズ | 1.0.4 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| srsly | 2.4.7 | ssh-import-id | 5.11 | スタックデータ | 0.6.2 |
| スターレット | 0.27.0 | statsmodels（スタッツモデルズ） | 0.13.2 | tabulate | 0.8.10 |
| 「tangled」-up-in-ユニコード | 0.2.0 | 粘り強さ | 8.1.0 | TensorBoard | 2.11.0 |
| テンソルボード・データサーバー | 0.6.1 | tensorboard-plugin-profile | 2.11.2 | テンソルボードプラグイン-WIT | 1.8.1 |
| テンソルフロー | 2.11.1 | tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.32.0 |
| termcolor | 2.3.0 | 終了しました | 0.13.1 | テストパス (testpath) | 0.6.0 |
| thinc | 8.1.10 | threadpoolctl | 2.2.0 | tiktoken | 0.4.0 |
| tokenize-rt | 4.2.1 | トークナイザー | 0.13.3 | tomli | 2.0.1 |
| 電灯 | 1.13.1+cu117 | torchvision | 0.14.1+cu117 | 竜巻 | 6.1 |
| tqdm | 4.64.1 | traitlets（トレイトレット） | 5.1.1 | トランスフォーマー | 4.30.2 |
| typeguard | 2.13.3 | typer | 0.7.0 | typing-inspect | 0.9.0 |
| タイピングエクステンションズ (typing_extensions) | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.11 | uvicorn | 0.23.1 | uvloop | 0.17.0 |
| virtualenv | 20.16.3 | ビジョン | 0.7.5 | wadllib | 1.3.6 |
| わさび | 1.1.2 | ウォッチファイルズ | 0.19.0 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.58.0 | ウェブソケット | 11.0.3 |
| Werkzeug | 2.0.3 | whatthepatch（ホワットザパッチ） | 1.0.2 | ホイール | 0.37.1 |
| widgetsnbextension | 3.6.1 | ワードクラウド | 1.9.2 | wrapt | 1.14.1 |
| xgboost | 1.7.6 | xxhash | 3.2.0 | yapf (ヤップフ) | 0.31.0 |
| yarl | 1.9.2 | ydata-profiling | 4.2.0 | ジップ | 3.8.0 |
R ライブラリ
R ライブラリは、Databricks Runtime 13.3 LTS の R ライブラリと同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 13.3 LTS のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 13.3 LTS ML には次の JAR が含まれています。
CPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.5.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.5.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |