Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Dieses Feature befindet sich in der Public Preview.
Diese Beispiele führen groß angelegte Batch-Inferenz auf KI-Runtime-Serverless-GPUs aus. Sie decken eine Reihe von Modalitäten ab, wie LLM-Textgenerierung und Sprach-zu-Text, und verwenden Frameworks wie Ray Data, vLLM und Transformers.
| Example | Interface | Description |
|---|---|---|
| Qwen2.5-32B Batch-Inferenz mit Ray Data und vLLM | Notebook | Führe mehrsprachige Batch-Inferenz mit acht persistenten vLLM-Replikaten von Qwen2.5-32B-Instruct auf 8 H100-GPUs aus und speichere die Ergebnisse im Unity Catalog. |
| Batch-Verarbeitung von Sprache zu Text mit Whisper | Notebook | Transkribiere Audio in Batches mit OpenAI Whisper large-v3-turbo auf serverlosen GPUs und nutze Bibliotheken, die in AI Runtime vorinstalliert sind. |
| Batch-Inferenz mit Qwen2.5-7B-Instruct und vLLM | CLI | Verwenden Sie Ray Data und vLLM, um Antworten auf einem 8x-H100-Knoten zu generieren und die Ergebnisse als Parquet in ein Unity-Catalog-Volume zu schreiben. |