Databricks Runtime 12.0 dla Machine Learning (EoS)

Środowisko Databricks Runtime 12.0 dla uczenia maszynowego zapewnia przygotowane środowisko do uczenia maszynowego i nauki o danych na podstawie Databricks Runtime 12.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Machine learning on Azure Databricks (Uczenie się Azure Databricks

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 12.0 ML jest oparte na środowisku Databricks Runtime 12.0. Aby uzyskać informacje o nowościach w Databricks Runtime 12.0, w tym Apache Spark MLlib i SparkR, zobacz informacje o wersji Databricks Runtime 12.0 (EoS).

Ulepszenia rozwiązania AutoML

• Modele prognozowania mogą teraz opcjonalnie obejmować wakacje w kraju.
• Prognozowanie obsługuje teraz częstotliwości miesięczne, kwartalne i roczne.
• Rozwiązanie AutoML może teraz używać większych zestawów danych do trenowania. Rozwiązanie AutoML automatycznie przydziela więcej rdzeni procesora CPU dla dużych zestawów danych.

Aby uzyskać więcej informacji na temat rozwiązania AutoML, zobacz Co to jest rozwiązanie AutoML?.

MLflow 2.0

Środowisko Databricks Runtime 12.0 ML obejmuje platformę MLflow 2.0. Platforma MLflow 2.0 opiera się na silnej platformie MLflow i obejmuje obszerne opinie użytkowników, aby uprościć przepływy pracy nauki o danych i dostarczać innowacyjne, najwyższej klasy narzędzia dla metodyki MLOps. Funkcje i ulepszenia obejmują rozszerzenia do MLflow Recipes (dawniej MLflow Pipelines), takie jak AutoML, dostrajanie hiperparametrów i obsługa klasyfikacji, a także zmodernizowane integracje z ekosystemem uczenia maszynowego, usprawniony interfejs użytkownika śledzenia MLflow, odświeżanie podstawowych interfejsów API między składnikami platformy MLflow i nie tylko. Aby uzyskać więcej informacji, zobacz dokumentację platformy MLflow 2.0 lub zapoznaj się z wpisem w blogu.

scikit-learn 1.0

Środowisko Databricks Runtime ML 12.0 zawiera scikit-learn wersję 1.0. scikit-learn Odwiedź dokumentację, aby dowiedzieć się więcej o zmianach w tej wersji biblioteki scikit-learn.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 12.0 ML różni się od środowiska Databricks Runtime 12.0 w następujący sposób:

• DBUtils: Databricks Runtime ML nie zawiera narzędzia Library utility (dbutils.library) (starsza wersja). Zamiast tego użyj poleceń %pip. Zobacz biblioteki Python Python Notebook.
• W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

Środowisko Databricks Runtime 12.0 ML zawiera bibliotekę XGBoost 1.6.2, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 12.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 12.0.

W tej sekcji:

• Biblioteki najwyższego poziomu
• biblioteki Python
• Biblioteki języka R
• Biblioteki Java i Scala (Scala 2.12 klaster)

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 12.0 ML obejmuje następujące biblioteki najwyższego poziomu:

• GraphFrames
• Horovod i HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (konektor dla integracji Spark i TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn

biblioteki Python

Środowisko Databricks Runtime 12.0 ML używa usługi Virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 12.0 ML zawiera również następujące pakiety:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• automl 1.14.1

Aby odtworzyć środowisko Python Databricks Runtime ML w lokalnym środowisku wirtualnym Python, pobierz plik requirements-12.0.txt i uruchom pip install -r requirements-12.0.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-store lub rozwidlenie usługi Databricks hyperopt.

biblioteki Python w klastrach procesora CPU

biblioteki Python w klastrach gpu

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 12.0.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 12.0 środowisko Databricks Runtime 12.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Klastry procesora GPU