Środowisko GPU bez serwera wersja 6 (Podgląd)

Ta strona przedstawia informacje o środowisku systemowym Serverless GPU w wersji 6. Ta oferta obliczeniowa jest częścią środowiska uruchomieniowego sztucznej inteligencji, który jest przeznaczony dla nowoczesnych obciążeń sztucznej inteligencji i uczenia głębokiego.

Bezserwerowe środowisko GPU 6 bazuje na bezserwerowym środowisku 6 (CPU). Sprawdź, co nowego w środowisku serverless 6 (CPU). Obejmuje to następujące środowisko:

• Środowisko standardowe: minimalne środowisko ze stabilnym interfejsem API klienta.
• Środowisko sztucznej inteligencji usługi Databricks: środowisko ze wspólnymi pakietami środowiska uruchomieniowego i pakietami specyficznymi dla uczenia maszynowego na procesorach GPU.

Aby zapewnić zgodność aplikacji, bezserwerowe obciążenia procesora GPU używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami serwera.

Możesz wybrać środowisko podstawowe zawierające tę wersję środowiska przy użyciu panelu bocznego Środowisko w notesach bezserwerowych. Zobacz Interaktywne (notebooki).

Nowe funkcje i ulepszenia

W wersji 6 biblioteki CUDA zostały zaktualizowane do NVIDIA CUDA 13, a powiązane zależności zostały zaktualizowane, w tym MLflow oraz Serverless GPU Python API. Wspólne biblioteki uczenia maszynowego i AI w środowisku AI Databricks zostały zaktualizowane pod kątem kompatybilności z nową wersją CUDA, wraz z dodaniem kilku nowo popularnych bibliotek.

CUDA 13 i PyTorch 2.11

Środowisko AI Databricks

Wersja 6 aktualizuje środowisko AI Databricks do pakietu narzędziowego NVIDIA CUDA 13 i stosu środowiska uruchomieniowego. PyTorch został zaktualizowany do wersji torch 2.11.0 (skomilowanej dla CUDA 13.0, +cu130) z użyciem torchvision 0.26.0, a dołączone biblioteki NVIDIA (cuBLAS, cuDNN, NCCL, cuFFT, cuSPARSE i powiązane komponenty środowiska uruchomieniowego) zostały zaktualizowane do kompilacji dla CUDA 13.

Zaktualizowane biblioteki deep learning i LLM

Środowisko AI Databricks

Kluczowe biblioteki uczenia maszynowego są aktualizowane w środowisku AI Databricks, w tym:

• transformers 5.8.1
• vllm 0.24.0
• ray 2.56.0
• langchain 1.3.11
• sentence-transformers 5.5.1
• openai 2.37.0
• scikit-learn 1.7.2
• scipy 1.16.3
• trl 0.24.0

Bezserwerowe API Python dla GPU

W tym środowisku znajduje się Serverless GPU Python API0.5.24. Pełną historię zmian w API Python w bezserwerowym GPU można znaleźć w notatkach do wersji 5.

Pakiety dodane do środowiska sztucznej inteligencji usługi Databricks

Następujące godne uwagi pakiety zostały dodane do środowiska AI Databricks w wersji 6:

• langgraph 1.2.8 (z langgraph-checkpoint, langgraph-prebuilt i langgraph-sdk)
• langchain-classic 1.0.8
• lightning 2.5.5
• polars 1.42.1
• ultralytics 8.4.90
• flash_attn_3 3.0.0 i flash-attn-4 4.0.0b18
• flashinfer-cubin 0.6.12
• liger_kernel 0.8.1
• fastsafetensors 0.3.2
• tilelang 0.1.9
• xgboost-cu13 3.2.0 (Wersja CUDA 13, zastępująca xgboost)
• tabfm 1.0.1

Dodatkowo dodano zestaw narzędzi CUDA 13 oraz biblioteki uruchomieniowe (na przykład cuda-toolkit 13.0.2, nvidia-cudnn-cu13, nvidia-nccl-cu13, oraz powiązane nvidia-* pakiety) w ramach aktualizacji CUDA 13.

Pakiety usunięte ze środowiska sztucznej inteligencji usługi Databricks

Następujące godne uwagi pakiety zostały usunięte ze środowiska AI Databricks w wersji 6:

• unsloth (i unsloth_zoo)
• xformers
• diffusers
• bitsandbytes
• torchao
• litellm
• langchain-openai
• cupy-cuda12x
• mosaicml-streaming
• gguf
• seaborn
• xgboost (zastąpione przez xgboost-cu13) oraz xgboost-ray

Biblioteki wykonawcze CUDA 12 (pakiety nvidia-*-cu12 ) zostały usunięte w ramach aktualizacji CUDA 13. Stos programistyczny JupyterLab i notebooków (na przykład jupyterlab, notebook, nbconvert, nbclient, nbformat) oraz narzędzia deweloperskie Python LSP (python-lsp-server, python-lsp-jsonrpc, rope, yapf) również nie wchodzą już w skład środowiska Databricks AI.

Pakiety nieuwzględniane w środowisku podstawowym

Następujące pakiety nie są uwzględniane w środowisku podstawowym, ale pozostają dostępne w środowisku sztucznej inteligencji usługi Databricks:

• flash_attn
• torch
• torchvision
• scikit-learn
• scipy

Na podstawie opinii klientów, którzy prosili o możliwość kontrolowania wersji PyTorch, torch nie jest uwzględniony w środowisku bazowym w wersji 6. Dzięki temu można zainstalować wersję, która najlepiej pasuje do obciążenia. Aby użyć przetestowanej wersji usługi Databricks, uruchom polecenie %pip install torch==2.11.0 w komórce notebooka lub zainstaluj torch==2.11.0 przy użyciu sekcji Zależności panelu bocznego Środowisko.

Środowisko systemu

• System operacyjny: Ubuntu 24.04 LTS
• Python: 3.12.3
• Databricks Connect: 19.0.0
• NVIDIA CUDA Toolkit: 13.0

Zainstalowane biblioteki języka Python

Środowisko standardowe

Aby odtworzyć bezserwerowe środowisko GPU 6 w lokalnym środowisku wirtualnym Pythona, pobierz plik requirements-env-gpu-6.txt i uruchom pip install -r requirements-env-gpu-6.txt. To polecenie instaluje wszystkie biblioteki ze środowiska serverless 6.

Środowisko sztucznej inteligencji

Środowisko sztucznej inteligencji zawiera wszystkie pakiety ze środowiska standardowego, a także następujące pakiety. To środowisko obejmuje biblioteki PyTorch i kompleksowe biblioteki uczenia maszynowego:

• torch 2.11.0
• torchvision 0.26.0
• flash_attn 2.8.3
• catboost 1.2.10
• langchain 1.3.11
• langgraph 1.2.8
• lightgbm 4.6.0
• lightning 2.5.5
• openai 2.37.0
• optuna 4.5.0
• polars 1.42.1
• pytorch-lightning 2.5.4
• ray 2.56.0
• scikit-learn 1.7.2
• scipy 1.16.3
• sentence-transformers 5.5.1
• transformers 5.8.1
• trl 0.24.0
• ultralytics 8.4.90
• vllm 0.24.0
• xgboost-cu13 3.2.0

Aby odtworzyć środowisko AI V6 w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-ai-gpu-6.txt i uruchom pip install -r requirements-ai-gpu-6.txt. To polecenie instaluje wszystkie biblioteki ze środowiska sztucznej inteligencji.