Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questi esempi eseguono inferenza batch su larga scala su GPU serverless AI Runtime. Coprono una gamma di modalità, come la generazione di testo LLM e il speech-to-text, utilizzando framework come Ray Data, vLLM e Transformers.
| Example | Interface | Description |
|---|---|---|
| Inferenza in batch con Qwen2.5-32B, Ray Data e vLLM | Notebook | Esegui inferenza batch multilingue con otto repliche vLLM persistenti di Qwen2.5-32B-Instruct su 8 GPU H100 e salva i risultati nel Catalogo Unity. |
| Conversione batch da voce a testo con Whisper | Notebook | Trascrivi audio in lotti con OpenAI Whisper large-v3-turbo su GPU serverless, utilizzando librerie preinstallate in AI Runtime. |
| Inferenza batch con Qwen2.5-7B-Instruct e vLLM | CLI | Usa Ray Data e vLLM per generare risposte su un nodo H100 8x e scrivi i risultati in un volume Unity Catalog come Parquet. |