Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Les éléments marqués comme préversion dans cet article sont actuellement en préversion. Cette préversion est fournie sans contrat de niveau de service et Microsoft ne le recommande pas pour les charges de travail de production. Certaines fonctionnalités peuvent ne pas être prises en charge ou avoir des fonctionnalités contraintes. Pour plus d’informations, consultez Conditions d'utilisation supplémentaires pour les versions préliminaires de Microsoft Azure.
Un déploiement d’adaptateurs héberge un adaptateur d’adaptation à faible rang (LoRA) sur un déploiement de calcul managé compatible dans Microsoft Foundry. Les déploiements d’adaptateurs ne nécessitent pas de calcul supplémentaire. Ils partagent les ressources de calcul fournies par le déploiement du modèle de base, appelé déploiement cible. Même si les déploiements d’adaptateurs ne nécessitent pas de calcul supplémentaire, ils sont fournis avec leur propre nom de déploiement, ce qui vous permet d’acheminer les demandes d’inférence via le point de terminaison d’inférence du compte Foundry.
Plusieurs adaptateurs compatibles peuvent partager un déploiement cible. Cette configuration est appelée serving multi-LoRA.
Cet article s’applique uniquement aux adaptateurs LoRA issus du fine-tuning dans Foundry. Vous ne pouvez pas encore importer vos propres adaptateurs.
Comment les adaptateurs LoRA adaptent un modèle de base
L’adaptation de faible rang est une technique d’ajustement fin qui entraîne un petit ensemble de paramètres supplémentaires au lieu de mettre à jour chaque paramètre dans le modèle de base. L’adaptateur LoRA obtenu est un ensemble léger de modifications apprises qui spécialisent le modèle pour une tâche ou un domaine.
Un adaptateur LoRA ne peut pas fonctionner seul. Au moment de l’inférence, le runtime de service combine l’adaptateur avec le modèle de base compatible. Le modèle de base exact et la version exacte sont importants, car les modifications apprises de l’adaptateur s’appliquent à l’architecture et aux pondérations de ce modèle.
Ressources dans un déploiement d’adaptateur
Le service d’adaptateur utilise des ressources de modèle et de déploiement associées. Chaque ressource a une responsabilité distincte.
| Terme | Meaning |
|---|---|
| Modèle de base | Le modèle et la version sous-jacents utilisés pour créer l’adaptateur. Un déploiement cible doit exécuter un modèle de base et une version compatibles. |
| Adaptateur LoRA enregistré | La ressource de modèle créée à partir d’un résultat de réglage fin de Foundry. L’inscription rend l’adaptateur disponible dans Build > Models, mais ne fournit aucune ressource de calcul et ne permet pas d’appeler l’adaptateur. |
| Modèle de déploiement | Ressource nommée avec version qui définit la façon dont un modèle s’exécute, y compris la configuration du runtime de service et de l’accélérateur. Pour la mise à disposition d’un adaptateur, sélectionnez un modèle de déploiement prenant en charge LoRA. |
| Déploiement cible | Déploiement de calcul managé qui exécute le modèle de base compatible à l’aide d’un gabarit de déploiement compatible avec LoRA. Il possède les accélérateurs, la capacité, les réplicas et le point de terminaison d’inférence que ses adaptateurs partagent. |
| Déploiement de l’adaptateur | Connexion déployée entre une version d’adaptateur LoRA inscrite et un déploiement cible. Il a son propre nom de déploiement, mais il ne provisionne pas de calcul, de capacité, de réplicas ou de point de terminaison distincts. |
| Déploiement Multi-LoRA | Deux déploiements d’adaptateurs compatibles ou plus qui utilisent le même déploiement cible. Chaque adaptateur conserve son propre nom de déploiement et son comportement spécialisé tout en partageant l’infrastructure du déploiement cible. |
Par exemple, un déploiement cible nommé qwen-prod peut héberger des déploiements d’adaptateurs nommés qwen-support et qwen-finance. Les deux adaptateurs utilisent le modèle de base, le compute et le point de terminaison fournis par qwen-prod. Leurs noms de déploiement distincts permettent de déterminer quel comportement affiné est sélectionné par une application.
Fonctionnement du partage multi-loRA
Le déploiement cible constitue la base partagée pour la mise à disposition. Son modèle de déploiement détermine si le runtime prend en charge LoRA et définit le type d’accélérateur, les instances de modèle et d’autres configurations d’exécution.
L’attachement d’un adaptateur ne crée pas d’instance de modèle ni augmente la capacité du déploiement cible. Chaque adaptateur du déploiement cible utilise la même capacité de mise à disposition. La mise à l’échelle du déploiement cible modifie la capacité disponible pour le modèle de base et tous les adaptateurs attachés.
Comment l’inférence sélectionne un adaptateur
L’adaptateur doit terminer le provisionnement avant de pouvoir traiter les demandes. Un déploiement réussi signale un Succeeded état de provisionnement.
Supposons que qwen-finance soit le déploiement cible du modèle de base et que qwen-support et qwen-prod soient ses déploiements d’adaptateurs. Envoyez des demandes au point de terminaison /openai/v1/chat/completions du compte Foundry. Définissez model sur le nom de déploiement que vous souhaitez invoquer :
Valeur model |
Comportement sélectionné |
|---|---|
qwen-support |
Modèle de base avec l’adaptateur de support. |
qwen-finance |
Modèle de base avec l’adaptateur Finance. |
La requête suivante sélectionne l’adaptateur de support. Copiez le point de terminaison du compte à partir des détails du déploiement de l’adaptateur dans le portail. Pour l’authentification Microsoft Entra ID, obtenez un jeton d’accès pour l’étendue https://ai.azure.com/.default.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Pour appeler l’adaptateur financier, remplacez model par qwen-finance et utilisez une invite pour sa tâche. Le service résout le déploiement cible de l’adaptateur en interne.
Pour obtenir des instructions d’authentification et de test, consultez Tester un adaptateur avec des complétions de chat.
Exigences de compatibilité et de capacité
Foundry valide l’adaptateur et le déploiement cible avant de servir l’adaptateur. La configuration doit répondre à ces exigences :
- L’adaptateur est un résultat inscrit d’un travail de réglage fin Foundry.
- Le déploiement cible exécute le modèle de base et la version compatibles.
- La cible utilise un modèle de déploiement qui prend en charge LoRA.
- L’adaptateur respecte le nombre d’adaptateurs pris en charge par le modèle de déploiement, le rang LoRA et la mémoire disponible.
- La cible dispose d’un quota et d’une capacité de calcul managés suffisants pour sa famille d’accélérateurs et sa région.
Cycle de vie et dépendances de l’adaptateur
Un déploiement d’adaptateur et son adaptateur LoRA inscrit sont des ressources distinctes. Les règles suivantes décrivent comment les modifications de déploiement affectent l’adaptateur et le déploiement cible.
Un déploiement d’adaptateur existant fait référence à une version fixe de l’adaptateur LoRA inscrit, et non au modèle de base. Pour servir une autre version d’adaptateur, créez un nouveau déploiement d’adaptateur ou supprimez et recréez le déploiement existant.
Vous pouvez déplacer la même source d’adaptateur vers un autre déploiement cible compatible en mettant à jour le nom du déploiement cible. Attendez que la mise à jour réussisse avant de router les demandes vers la nouvelle cible.
La suppression d’un déploiement d’adaptateur ne supprime pas sa version de modèle inscrite ou son déploiement cible. Elle n’affecte pas non plus les autres adaptateurs qui partagent la cible.
Supprimez les déploiements d’adaptateurs dépendants avant de supprimer une version de modèle d’adaptateur inscrite ou un déploiement cible. Cet ordre empêche un déploiement d’adaptateur de faire référence à une source ou une cible qui n’existe plus.
Facturation, quota et limites
Le déploiement cible est facturé à l’heure par accélérateur. Le quota de calcul managé est alloué par famille d’accélérateurs et par région, séparément du quota de machines virtuelles Azure. Pour plus d’informations, consultez Facturation et quota de calcul managés.
Les déploiements d’adaptateurs n’ont pas de tarification distincte. La facturation s’applique aux ressources de calcul du déploiement cible.
Pour connaître la limite du nombre d’adaptateurs, consultez Déployer des adaptateurs dans le portail.
Pour connaître les tarifs actuels du calcul managé, consultez la calculatrice de prix Azure.
Étape suivante
Déployez et testez un ou plusieurs adaptateurs LoRA enregistrés sur un déploiement cible compatible.