AI-körtid

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

AI Runtime är ett serverlöst GPU-beräkningserbjudande på Databricks avsett för djupinlärningsarbetsbelastningar. Du kan använda AI Runtime för att träna och finjustera anpassade modeller med hjälp av dina favoritramverk och få toppmodern effektivitet, prestanda och kvalitet.

Get started

Kör din första arbetsbelastning på några minuter med våra snabbstartsguider.

Get started Beskrivning
🚀 Databricks CLI quickstart Kommer du från ett Slurm- eller Kubernetes-kluster? Träna på AI Runtime från din terminal på några minuter.
📓 Anteckningsbok snabbstart Koppla din notebook till ett grafikkort på några sekunder och utveckla interaktivt.
⚡ Ray Kommer du från ett Ray-kluster? Kör Ray på AI Runtime med dashboard-stöd.
🧭 Översikt Lär dig de viktigaste sakerna om AI Runtime på två minuter: tillgängliga GPU:er, hur det fungerar och begränsningar.

Funktioner

AI Runtime är en fullstackad GPU-plattform med många sätt att ansluta till GPU:er, inbyggda observabilitets- och felsökningsverktyg samt förbyggda miljöer.

Koppla upp dig mot serverlösa GPU:er: Nå serverlösa GPU:er oavsett var du arbetar.

Feature Beskrivning
Notebooks Koppla en bärbar dator till serverless GPU-beräkning och utveckla interaktivt, utan klusteruppsättning.
IDE över SSH Anslut från din IDE eller terminal via en SSH-tunnel för att arbeta direkt på en GPU-nod.
Databricks CLI Skicka in och hantera distribuerade GPU-träningsjobb från din laptop med hjälp av YAML-jobbkonfigurationer.
AI-agenter Använd databricks-ai-runtime agentkompetensen för att skicka in, övervaka och hantera GPU-träningsjobb från din AI-agent.
Stråle Kör Ray Core, Ray Data, Ray Train och Ray Tune på serverlös GPU-beräkning.

Hantera beroenden: Kontrollera Python- och systembiblioteken som din arbetsbelastning körs med.

Feature Beskrivning
Förbyggda miljöer Börja från en minimal Standard-miljö eller en Databricks AI-miljö förladdad med ML-ramverk.

Ladda data i GPU:er: Mata träningsdata effektivt till dina GPU:er.

Feature Beskrivning
Effektiva dataladdare Strömma data från Unity Catalog-volymer med feltoleranta inläsare utformade för hög GPU-utnyttjandegrad.

Felsökning och observabilitet: Följ experiment, inspektera utdata och diagnostisera fel.

Feature Beskrivning
MLflow för djupinlärning Följ experiment, mätvärden och körningar med MLflow.
Loggvisare Se träningsutgången och övervaka GPU-resursanvändningen medan din kod körs.
Felsökning med agenter Använd Genie Code för att generera träningskod, lösa miljöproblem och felsöka GPU-fel.

Schemaläggning och driftsättning i realtid: Gå från interaktiv utveckling till schemalagda jobb och slutpunkter.

Feature Beskrivning
Schemalägg GPU-arbetsbelastningar Distribuera träningskod med Deklarative Automation Bundles, schemalägg körningar och bygg multitask-arbetsflöden för GPU och CPU.
Tjäna dina modeller Distribuera dina tränade modeller bakom en skalbar endpoint med Model Serving.

Examples

Klona kompletta exempel och kör dem på AI Runtime på bara några minuter, direkt från kommandoraden eller i notebookar.

Example Beskrivning
Klassisk maskininlärning GPU-accelererad XGBoost, zero-shot-tabellprediktion och tidsserieprognoser.
Rekommendationssystem Träna rekommendationsmodeller med djupinlärning, såsom arkitekturer med två torn.
Datorvision Objektdetekterings- och bildklassificeringsarbetsbelastningar på GPU:er.
Eftertränade modeller med öppen källkod (LLM:er) Finjustera och postträna LLM:er med öppen källkod med LoRA, fullständig finjustering och bibliotek som TRL, Unsloth och Axolotl.
Batch-slutsatsdragning Kör storskalig batchinferens med Ray Data och vLLM över flera GPU:er.
Multi-GPU-distribuerad träning Skala träningen över flera GPU:er och noder med DDP, FSDP och DeepSpeed.

Guides

Uppgiftsfokuserade guider för att migrera arbetsbelastningar till AI Runtime och få ut det mesta av dina GPU:er.

Guide Beskrivning
Migrera från Slurm Mappa dina Slurm-batchskript, distribuerade launchers och delade lagringar till Databricks CLI.
Migrera klassiska GPU-arbetsbelastningar Flytta en befintlig djupinlärningsarbetsbelastning från ett klassiskt Databricks-kluster till AI Runtime.
Prestanda och motståndskraft Förbättra utbildningsflödet och gör långvariga jobb mer motståndskraftiga mot misslyckanden.

Ytterligare resurser

Hitta hjälpsamt innehåll: de senaste produktuppdateringarna och hur AI Runtime fungerar under huven.

Resource Beskrivning
Produktuppdateringar Se de senaste produktuppdateringarna och meddelandena för AI Runtime.
Hur AI Runtime fungerar bakom kulisserna Läs hur Databricks håller GPU:er pålitliga över AI-körtid.
  • Uppdaterades senast