Batch-slutsatsdragning

Important

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Dessa anteckningsböcker används för att köra storskalig batchinferens på AI Runtime:s serverlösa GPU:er. De täcker en rad olika modaliteter, såsom LLM-textgenerering och tal-till-text, med hjälp av ramverk som Ray Data, vLLM och Transformers.

Tutorial Description
Qwen2.5-32B batchinferens med Ray Data och vLLM Kör flerspråkig batchinferens med åtta persistenta vLLM-replikor av Qwen2.5-32B-Instruct på 8 H100-GPU:er och spara resultaten i Unity-katalogen.
Batchvis tal till text med Whisper Transkribera ljud i batcher med OpenAI Whisper large-v3-turbo på serverlösa GPU:er, med bibliotek förinstallerade i AI Runtime.
  • Uppdaterades senast