AI-uitvoeringstijd

AI Runtime is een serverless GPU-compute-aanbod bij Databricks, bedoeld voor deep learning-workloads . Je kunt AI Runtime gebruiken om aangepaste modellen te trainen en fijn af te stellen met frameworks zoals PyTorch en Hugging Face Transformers.

Aan de slag

Voer je eerste workload binnen enkele minuten uit met behulp van onze quickstart-gidsen.

Aan de slag Beschrijving
🚀 Databricks CLI quickstart Komt u van een Slurm- of Kubernetes-cluster? Train in enkele minuten op AI Runtime vanaf je terminal.
📓 Snelstartgids voor Notebook Sluit je notebook binnen enkele seconden aan een GPU aan en ontwikkel interactief.
âš¡ Ray Komt het uit een straalcluster? Draai Ray op AI Runtime met dashboardondersteuning.
🧭 Overzicht Leer de belangrijkste zaken over AI Runtime in twee minuten: beschikbare GPU's, hoe het werkt en beperkingen.

Functies

AI Runtime is een full-stack GPU-platform, met veel manieren om verbinding te maken met GPU's, ingebouwde observabiliteits- en debuggingtools, en vooraf gebouwde omgevingen.

Verbinding maken met AI Runtime

Krijg toegang tot GPU's, waar je ook werkt.

Feature Beschrijving
Notebooks Koppel een notebook aan AI Runtime en ontwikkel interactief, zonder cluster-setup.
IDE over SSH Maak verbinding vanaf je IDE of terminal via een SSH-tunnel om direct op een GPU-node te werken.
Databricks-CLI Dien gedistribueerde GPU-trainingsopdrachten in en beheer ze vanaf je laptop met behulp van YAML-jobconfiguraties.
AI-agents Gebruik de databricks-ai-runtime agentvaardigheid om GPU-trainingsopdrachten van je AI-agent in te dienen, te monitoren en te beheren.
Straal Draai Ray Core, Ray Data, Ray Train en Ray Tune op AI runtime.

Beheer van afhankelijkheden

Beheer de Python- en systeembibliotheken waarmee je workload draait.

Feature Beschrijving
Vooraf gebouwde omgevingen Begin met een minimale standaardomgeving of een Databricks AI-omgeving die vooraf is uitgerust met ML-frameworks.

Gegevens laden naar GPU's

Lever trainingsdata efficiënt aan je GPU's.

Feature Beschrijving
Efficiënte gegevensladers Stroom data uit Unity Catalog-volumes met fouttolerante laadprogramma's die zijn ontworpen voor hoge GPU-benutting.

Foutopsporing en waarneembaarheid

Volg experimenten, inspecteer de output en diagnoseer storingen.

Feature Beschrijving
MLflow voor deep learning Houd experimenten, metrics en runs bij met MLflow.
Logsviewer Bekijk trainingsoutput en monitor het gebruik van GPU-resources terwijl je code draait.
Debuggen met agenten Gebruik Genie Code om trainingscode te genereren, omgevingsproblemen op te lossen en GPU-fouten te debuggen.

Planning en realtime aanbieden

Ga van interactieve ontwikkeling naar geplande taken en endpoints.

Feature Beschrijving
GPU-workloads plannen Deploy trainingscode met Declarative Automation Bundles, plan runs en bouw multitask-workflows voor GPU's en CPU's.
Stel je modellen beschikbaar Zet je getrainde modellen in achter een schaalbaar eindpunt met Model Serving.

Examples

Verken end-to-end notebook- en Databricks CLI-voorbeelden voor AI Runtime.

Voorbeeld Beschrijving
Klassieke machine learning GPU-versnelde XGBoost, zero-shot tabelvoorspelling en tijdreeksvoorspellingen.
Aanbevelingssystemen Train aanbevelingsmodellen op basis van deep learning, zoals two-tower-architecturen.
Computervisie Objectdetectie- en beeldclassificatietaken op GPU's.
OSS-modellen (LLM’s) na het trainen Stem open-source-LLM's af en train ze verder met LoRA, volledig fine-tunen en bibliotheken zoals TRL, Unsloth en Axolotl.
Batch-inferentie Voer grootschalige batchinferentie uit met Ray Data en vLLM over meerdere GPU's.
Gedistribueerde training met meerdere GPU's Schaal training op over meerdere GPU's en nodes met DDP, FSDP en DeepSpeed.

Guides

Taakgerichte gidsen voor het migreren van workloads naar AI Runtime en het maximale uit je GPU's halen.

Guide Beschrijving
Migreren vanuit Slurm Breng je Slurm-batchscripts, gedistribueerde opstartprogramma’s en gedeelde opslag onder in de Databricks CLI.
Migreren van klassieke GPU-workloads Verplaats een bestaande deep learning-workload van een klassieke Databricks-cluster naar AI Runtime.
Prestaties en veerkracht Verbeter de trainingsdoorvoer en maak langlopende banen veerkrachtiger tegen mislukkingen.

Aanvullende bronnen

Vind nuttige inhoud: de laatste productupdates en hoe AI Runtime onder de motorkap werkt.

Resource Beschrijving
Productupdates Bekijk de nieuwste AI Runtime-productupdates en aankondigingen.
Hoe AI Runtime werkt onder de motorkap Lees hoe Databricks GPU's betrouwbaar houdt gedurende de AI-runtime.
  • Laatst bijgewerkt om