Aan de slag: Serverloze GPU-rekenkracht met H100 GPU's

Notitieblokversie van deze pagina openen

Maak verbinding met H100 GPU's en voer gedistribueerde workloads uit op AI Runtime met behulp van de serverless_gpu Python-bibliotheek.

De serverless_gpu bibliotheek maakt naadloze uitvoering van GPU-workloads mogelijk rechtstreeks vanuit Databricks-notebooks. Het biedt decorators en runtime-hulpprogramma's voor gedistribueerde GPU-computing. Zie de documentatie voor de serverloze GPU-API voor meer informatie.

Verbinding maken met serverloze GPU-rekenkracht

Als u dit notebook wilt uitvoeren, hebt u toegang nodig tot Serverloze GPU-rekenkracht van Databricks met H100-accelerators.

  1. Selecteer serverloze GPU in de rekenkiezer.
  2. Selecteer op het tabblad Omgeving aan de rechterkant 8xH100 voor uw accelerator. Deze optie maakt gebruik van 8 H100-chips op één knooppunt.
  3. Kies een AI v5-omgeving in het rechterdeelvenster met alle vereiste bibliotheken om dit notebookvoorbeeld uit te voeren.
  4. Klik op Toepassen.

Wanneer gebruikt u H100 GPU's?

In vergelijking met A10s bieden H100s grotere drijvendekommabewerkingen per seconde (FLOPS) en HBM (High Bandwidth Memory). Gebruik H100s voor grote modeltraining waarbij hoge doorvoer en/of groot GPU-geheugen nodig is.

GPU-verbinding controleren

Gebruik de nvidia-smi opdracht om te bevestigen dat u bent verbonden met 8 H100 GPU's. Met deze opdracht worden GPU-gegevens weergegeven, waaronder model, geheugen en gebruik.

%sh nvidia-smi

Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08              Driver Version: 575.57.08      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          On  |   00000000:53:00.0 Off |                    0 |
| N/A   26C    P0             70W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA H100 80GB HBM3          On  |   00000000:64:00.0 Off |                    0 |
| N/A   28C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA H100 80GB HBM3          On  |   00000000:75:00.0 Off |                    0 |
| N/A   26C    P0             71W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA H100 80GB HBM3          On  |   00000000:86:00.0 Off |                    0 |
| N/A   29C    P0             68W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA H100 80GB HBM3          On  |   00000000:97:00.0 Off |                    0 |
| N/A   27C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA H100 80GB HBM3          On  |   00000000:A8:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA H100 80GB HBM3          On  |   00000000:B9:00.0 Off |                    0 |
| N/A   26C    P0             69W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA H100 80GB HBM3          On  |   00000000:CA:00.0 Off |                    0 |
| N/A   26C    P0             67W /  700W |       0MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Voorbeeld van Hallo wereld

In dit voorbeeld ziet u hoe u een gedistribueerde functie uitvoert op meerdere GPU's met behulp van de @distributed decorator.

De onderstaande functie met aantekeningen wordt uitgevoerd op 8 processen, één per GPU op het knooppunt waaraan het notebook is gekoppeld.

De functie gebruikt de runtime module voor toegang tot de lokale en globale GPU-rangschikkingen.

from serverless_gpu import distributed
from serverless_gpu import runtime as rt

@distributed(
    gpus=8,
    gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
    if rt.get_local_rank() == 0:
        print('hello world', name)
    return rt.get_global_rank()

result = hello_world.distributed('SGC')


assert result == [0, 1, 2, 3, 4, 5, 6, 7]

Volgende stappen 

Voorbeeld van notebook

Aan de slag: Serverloze GPU-rekenkracht met H100 GPU's

Notebook krijgen

  • Last updated on