Vue d’ensemble du déploiement pour les modèles Microsoft Foundry

Microsoft Foundry Models est le hub pour la découverte et le déploiement d’un large éventail de modèles IA pour les applications IA génératives. Pour rendre un modèle disponible pour les demandes d’inférence, vous le déployez. Foundry propose deux options de déploiement en fonction du type de modèle et de vos besoins en infrastructure.

Options de déploiement

Foundry propose deux options de déploiement :

• API serverless : pour les modèles Foundry, y compris les modèles Foundry vendus par Azure et sélectionner des modèles à partir de partenaires et de la communauté. Cette option est le chemin de déploiement préféré et le plus capable. Il inclut les types de déploiement standard, à débit provisionné, par lots et pour développeur.
• Calcul managé (préversion) — Pour les modèles open source, partenaires et personnalisés qui s’exécutent sur une capacité GPU dédiée gérée pour vous par Foundry.

Foundry sélectionne l’option de déploiement appropriée en fonction du modèle que vous choisissez.

Si vous avez uniquement besoin d’essayer un modèle pris en charge, vous pouvez ignorer entièrement le déploiement et utiliser l’accès instantané (préversion) qui appelle des modèles par nom sans créer d’API serverless ou de déploiement de calcul managé.

Pour obtenir une comparaison complète des fonctionnalités, consultez comparaison des options de déploiement.

Serverless API

L’API serverless est l’option de déploiement préférée dans Foundry. Il prend en charge la plus large gamme de fonctionnalités et de types de déploiement.

Quels modèles utilisent des déploiements d’API serverless ?

Tous les modèles Foundry, y compris les modèles Foundry vendus par Azure et certains modèles provenant de partenaires et de la communauté, utilisent des déploiements d’API sans serveur. Les modèles foundry vendus par Azure incluent tous les modèles OpenAI Azure et les modèles sélectionnés parmi les principaux fournisseurs facturés via votre abonnement Azure, couverts par des contrats de niveau de service Azure et pris en charge par Microsoft. Les modèles des partenaires et de la communauté qui utilisent des déploiements d’API serverless incluent des modèles Anthropic et des modèles spécifiques de partenaires tels que Mistral, Cohere et Meta.

Fonctionnalités de l’API serverless

Prise en charge du déploiement d’API sans serveur :

• Plusieurs types de déploiement (ou références SKU de déploiement) : Standard global, Data Zone Standard, Standard (région unique), provisionné, batch, etc. Chaque type contrôle l’endroit où les données sont traitées et la façon dont vous payez. Pour plus d’informations, consultez Types de déploiement pour les modèles Microsoft Foundry.
• Flexibilité du traitement des données : choisissez une zone de données régionale, une zone de données (ÉTATS-Unis, UE ou APAC) ou un traitement global en fonction de vos exigences de conformité.
• Filtrage de contenu : filtres Azure AI Sécurité du Contenu intégrés avec des configurations personnalisables.
• Authentification sans clé : ID Microsoft Entra (recommandé) et authentification basée sur des clés.
• Mise en réseau privé : intégration de réseau virtuel pour un accès sécurisé.
• Débit provisionné : réservez la capacité avec des unités de débit provisionnée (PTU) pour des performances prévisibles et à faible latence. Pour plus d’informations, consultez Débit provisionné.

Exigences en matière de ressources

Les déploiements d’API serverless sont disponibles dans :

• Ressources Foundry, type de ressource principal pour les nouveaux projets Foundry. Aucun hub IA n’est requis.
• Ressources Azure OpenAI : si vous utilisez des ressources Azure OpenAI, le catalogue de modèles affiche uniquement les modèles Azure OpenAI pour le déploiement. Effectuez une mise à niveau vers une ressource Foundry pour accéder à l’ensemble complet de modèles Foundry.

Pour commencer à utiliser le déploiement serverless d’API, consultez Déployer des modèles Microsoft Foundry dans le portail Foundry ou Déployer des modèles à l’aide d’Azure CLI et de Bicep.

Déploiement de calcul géré (version préliminaire)

Le calcul géré dans Foundry (préversion) est une plateforme PaaS de GPU qui héberge des modèles open source et des modèles avec des pondérations personnalisées sur des ressources GPU dédiées. Vous accédez aux déploiements de calcul managés via le même point de terminaison de projet Foundry que d’autres types de déploiement, sans machines virtuelles, clusters ou runtimes de service à posséder. Foundry dimensionne le déploiement, approvisionne les accélérateurs et maintient l’environnement d’exécution à jour avec les correctifs.

Quels modèles utilisent le calcul managé ?

Vous pouvez déployer des modèles depuis la Hugging Face Collection à l’aide de ressources de calcul gérées. Voici quelques exemples :

• Modèles Qwen
• Modèles NVIDIA Nemotron
• Modèles meta sélectionnés
• Modèles Mistral sélectionnés

Le catalogue de Microsoft Foundry comprend une vaste sélection, en constante expansion, de modèles open source et de partenaires. Pour le catalogue actuel, consultez le catalogue de modèles.

Fonctionnalités de calcul managées

Le calcul managé (préversion) prend en charge :

• Point de terminaison et authentification Unified Foundry — Utilisez le même point de terminaison de projet, les mêmes clés API, Microsoft Entra ID et la même mise en réseau privée que pour les déploiements avec paiement au jeton et à débit approvisionné. Les itinéraires d’inférence utilisent <endpoint>/managed-deployments/<deployment-name>/. Les environnements d’exécution compatibles avec les chat completions fonctionnent également sur la route standard /openai/v1/ avec le SDK OpenAI.
• Dimensionnement d’instance de modèle : les déploiements sont dimensionnés en termes centrés sur le modèle. Vous n’avez pas besoin de choisir des références SKU de machine virtuelle, car Foundry choisit des GPU par instance en fonction de la taille du modèle, de l’architecture, de la longueur du contexte et de l’optimisation de la charge de travail pour la latence ou le débit.
• Runtimes d’inférence optimisés : conteneurs vLLM organisés Microsoft, SGLang et NVIDIA NIM avec traitement par lots continu et parallélisme tensoriel.
• Familles accélérateurs : A100 (80 Go), H100 (80 Go) et MI300X (192 Go).
• Mise à l’échelle automatique et mise à l’échelle jusqu’à zéro — Mise à l’échelle automatique en fonction du trafic en direct ou mise à l’échelle manuelle. Configurez un délai d’inactivité afin que le déploiement s’adapte à zéro lorsqu’aucun trafic n’arrive, ce qui rend la facturation arrêtée immédiatement.
• runtimes gérés par Microsoft : Microsoft possède des runtimes de service, des images conteneur de base et des correctifs de sécurité. Les mises à jour sont appliquées automatiquement aux déploiements en direct.
• Métriques d’observabilité : chaque déploiement émet le nombre d’appels d’API par code d’état et centiles de temps de réponse. Les modèles de complétion de chat renvoient également le nombre de jetons en entrée et en sortie, les percentiles du délai jusqu’au premier jeton (TTFT) et les percentiles du temps de réponse total, regroupés par période.

Facturation et quota

La facturation du calcul géré s’effectue à l’heure, par SKU d’accélérateur, le débit par GPU servant d’unité de facturation sous-jacente. La mise à l’échelle automatique et la mise à l’échelle zéro alignent les coûts avec le trafic réel afin que la facturation s’arrête immédiatement lorsque les instances diminuent.

Le quota est accordé pour chaque référence SKU d’accélérateur et par région via le processus de quota Foundry et est distinct du quota de machines virtuelles Azure. Azure machines virtuelles sont une offre IaaS (Infrastructure as a Service) avec des références SKU régionales ; le calcul managé est une offre PaaS qui mène au traitement global et de zone de données. Le quota de machines virtuelles Azure existant ne peut pas être appliqué à un déploiement de calcul managé.

Le calcul managé est actuellement disponible pour le déploiement global. Pour connaître les estimations de taux, consultez la calculatrice de prix Azure.

Commencez

Pour commencer à utiliser le déploiement de calcul managé, consultez Déployer des modèles open source avec un calcul managé.

Comparaison des options de déploiement

Utilisez l’API serverless dans la mesure du possible. Le tableau suivant compare les fonctionnalités entre les deux options de déploiement :

Contenu connexe

• Types de déploiement pour les modèles Microsoft Foundry
• Déployer des modèles Microsoft Foundry dans le portail Foundry
• Déployer des modèles à l’aide d’Azure CLI et de Bicep
• Modèles Foundry vendus par Azure
• Modèles Foundry provenant de partenaires et de la communauté
• Vue d’ensemble des modèles Microsoft Foundry
• Calcul géré dans Microsoft Foundry