Waarom AI Runtime gebruiken in plaats van classic compute

AI Runtime is serverless GPU-bewerking voor training, finetuning en het uitvoeren van batchinferentie op aangepaste deep learning-modellen. Als je deze workloads draait op klassieke compute met Databricks Runtime ML, raadt Databricks aan ze over te zetten naar AI Runtime voor lagere totale eigendomskosten, een flexibelere ontwikkelaarservaring en multinode-schaal. De volgende paragrafen vergelijken beide vanuit het perspectief van ML-ingenieurs en platformteams, en beschrijven hoe Genie Code je kan helpen bij het migreren.

Vergelijk AI Runtime met klassieke compute

De volgende tabel vergelijkt AI Runtime met Databricks Runtime ML op klassieke compute:

Totale kosten van eigendom

AI Runtime verlaagt de totale eigendomskosten met beheerde, high-performance serverless GPU's:

• Snellere opstart: Serverless GPU-infrastructuur is beschikbaar op aanvraag, dus je hoeft niet te wachten tot een GPU-cluster start. Klassieke GPU-clusters kunnen enkele minuten of langer nodig hebben om op te starten, afhankelijk van de clustergrootte en de beschikbaarheid van de GPU.
• Pay-as-you-go prijs: Je betaalt alleen voor de serverless GPU-rekenkracht die je workloads gebruiken, zonder inactieve clusters te beheren of ervoor te betalen.
• Hoger GPU-gebruik: Flexibele rekenopties, snelle datalading, efficiënte checkpointing en multinode-training verminderen de inactieve GPU-tijd.
• Verminderde administratieve last: AI Runtime verzorgt de uitrol van rekenkracht, clusternetwerken, GPU-gezondheidsbeheer en CUDA-driverupgrades. Met traditionele rekeninfrastructuur beheert uw team nodebeheer, clusterconfiguratie en het doorlopende onderhoud van de infrastructuur.

Ontwikkelaarservaring

AI Runtime biedt een flexibele ontwikkelervaring voor AI- en deep learning-workloads:

• Connectiviteit: Werk in notebooks, verbind vanuit een IDE via een SSH-tunnel (Beta), of dien workloads in met de Databricks CLI. Om runs te automatiseren, plan jobs of gebruik Declarative Automation Bundles. Classic Compute heeft geen speciale CLI voor het indienen van GPU-trainingsworkloads.
• Toegewijde deep learning runtime: AI Runtime ondersteunt native frameworks zoals Ray en PyTorch. Kies de Standard-omgeving voor volledige controle over je dependency stack, de Databricks AI-omgeving met gemeenschappelijke AI- en ML-pakketten, of een aangepaste Docker-image. Klassieke runtimes bevatten een grote set vooraf geïnstalleerde bibliotheken die gekoppeld zijn aan de runtime-versie.
• Debugging en observabiliteit: Volg experimenten, monitor het gebruik van rekenkracht, beheer modellen en los problemen op met de ingebouwde MLflow-integratie. Bij klassieke compute worden logs en metrics voor computegebruik niet automatisch opgeslagen in de MLflow-run.
• Veilige toegang tot data:Toegang tot gestructureerde en ongestructureerde data die via Spark Connect worden beheerd door Unity Catalog, zonder een Apache Spark-cluster uit te voeren.

Schaal en prestaties

AI Runtime helpt je deep learning-workloads efficiënt op te schalen:

• Geoptimaliseerde datalading en checkpointing: Hoogdoorvoer dataladen en asynchrone gedistribueerde checkpointing versnellen trainingspijplijnen en minimaliseren de inactieve GPU-tijd. Klassieke compute heeft geen native high-throughput gegevensladers en gedistribueerde checkpointing. Zie Verbeter trainingsprestaties en veerkracht op AI Runtime.
• Ingebouwde GPU-veerkracht: Continue geautomatiseerde gezondheidscontroles helpen falende GPU-nodes te detecteren en te isoleren, wat verstoringen van lange trainingsruns vermindert. Met klassieke rekenkracht beheer je zelf de gezondheid van de GPU-node, en het isoleren van een slechte node vereist het onderbreken van actieve workloads. Bekijk hoe we GPU's betrouwbaar houden binnen Databricks AI via de Databricks engineering blog.
• Multinode-training: Schaal van één enkele GPU naar gedistribueerde multinode-training met snelle netwerken en automatische omgevingsconfiguratie. Voor de accelerators die multinode-training ondersteunen, zie hardware-opties.
• Aangepaste batchinferentie: Voer grootschalige custom batch-inferentie uit over gedistribueerde GPU's zonder GPU-clusters te beheren.

Migreren vanaf klassieke compute met Genie Code

Genie Code kan helpen bij het automatiseren van coderefactoring en het instellen van de omgeving in notebooks die verbonden zijn met AI Runtime wanneer je een werklast verplaatst van klassieke compute. Voor de volledige lijst van migratiestappen, zie Migrate classic GPU workloads to serverless.

Wat Genie Code automatiseert

Genie Code kan helpen bij de volgende migratietaken:

• Refactoring: Converteert Databricks Runtime ML-notebooks, zoals notebooks die gebruikmaken van TorchDistributor, naar AI Runtime-notebooks die de databricks.air-decorator van @distributed gebruiken.
• Afhankelijkheden oplossen: Evalueert notebookimports, identificeert ontbrekende of incompatibele pakketten en configureert een serverless GPU-omgeving.
• Multi-rank foutdiagnose: Analyseert outputlogs van alle nodes om de hoofdoorzaken te isoleren, zoals GPU-out-of-memory (OOM) fouten of communicatie-hangs.

Voorbeeldmigratieprompts voor Genie Code

Hieronder volgen voorbeeldprompts die je Genie Code kunt geven:

• Codeconversie: "Migreer deze notebook van TorchDistributor naar de databricks.air @distributed decorator."
• Omgevingsopstelling: "Inspecteer geïmporteerde pakketten, beveel ofwel de Databricks AI- of de Standard-omgeving aan, en genereer de benodigde %pip install-commando's."
• Foutopsporing: "Analyseer de gedistribueerde trainingslogboeken over alle ranks om te achterhalen waarom de klus mislukte."

Aanvullende bronnen

• Migreer klassieke GPU-workloads naar serverless
• AI Runtime quickstart
• AI-runtimevereisten en beschikbaarheid