Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Ces exemples exécutent une inférence batch à grande échelle sur des GPU serverless IA Runtime. Ils couvrent une gamme de modalités, telles que la génération de texte LLM et la reconnaissance vocale en texte, utilisant des frameworks comme Ray Data, vLLM et Transformers.
| Example | Interface | Description |
|---|---|---|
| Inférence par lots avec Qwen2.5-32B, Ray Data et vLLM | Notebook | Exécutez une inférence batch multilingue avec huit répliques vLLM persistantes de Qwen2.5-32B-Instruct sur 8 GPU H100 et enregistrez les résultats dans le catalogue Unity. |
| Conversion vocale en série avec Whisper | Notebook | Transcrivez l’audio par lots avec OpenAI Whisper large-v3-turbo sur des GPU serverless, en utilisant des bibliothèques préinstallées dans AI Runtime. |
| Inférence batch avec Qwen2.5-7B-Instruct et vLLM | CLI | Utilisez Ray Data et vLLM pour générer des réponses sur un nœud 8x H100 et écrivez les résultats dans un volume Unity Catalog sous forme de Parquet. |
| Transcription audio et diarisation avec Whisper et pyannote | CLI | Utilisez Ray Data pour distribuer la transcription vocale et la diarisation des haut-parleurs à travers un cluster GPU et écrivez les résultats dans un volume du catalogue Unity sous forme de Parquet. |
| Représentations vectorielles de protéines avec BioNeMo ESM-2 | CLI | Utilisez Ray Data et BioNeMo ESM-2 pour générer des embeddings de protéines sur un nœud H100 de 8x, puis entraîner et évaluer un classificateur linéaire de protéines membranaires. |
| Compréhension d’image par lots avec Qwen3-VL-8B et vLLM | CLI | Utilisez Ray Data et vLLM pour légender et classer les images sur un nœud H100 8x et écrire des résultats structurés sur Parquet. |