Démarrage rapide : Optimiser un agent de prompt (préversion)

Dans ce guide de démarrage rapide, utilisez l’Assistant Optimisation dans le portail Foundry pour améliorer les instructions d’un agent d’invite, les descriptions des outils d’appel de fonction et la sélection du modèle. Sélectionnez une version de l’agent, un jeu de données et des évaluateurs, exécutez l’optimiseur et comparez les candidats générés à la base de référence.

Si vous n’avez pas d’abonnement Azure, créez un compte gratuit.

Prerequisites

Avant de commencer, vous avez besoin des éléments suivants :

• Projet Microsoft Foundry avec un agent prompt déployé. Pour en créer un, consultez Démarrage rapide : Créer un agent d’invite.
• Modèle d’évaluation et modèle d’optimisation pris en charge déployé dans le projet. Pour connaître les modèles pris en charge, consultez Modèles.
• Source de jeu de données : traces de l’agent, jeu de données d’évaluation inscrit dans le projet ou jeu de données JSONL à charger. Le jeu de données doit utiliser les noms de colonnes requis par les évaluateurs sélectionnés, car l’assistant ne prend pas en charge la mise en correspondance des colonnes.

Ouvrir l’Assistant Optimisation

1. Accédez au portail Foundry et ouvrez votre projet.
2. Sélectionnez Agents, puis sélectionnez l’agent d’invite que vous souhaitez optimiser.
3. Sélectionnez l’onglet Optimiser .
4. Sélectionnez Créer une exécution d’optimisation.

Sélectionner la cible d’optimisation

La cible définit la version de l’agent de prompt et les modèles candidats à évaluer.

1. Dans l’étape Cible , sélectionnez la version de l’agent à utiliser comme base de référence. La dernière version est sélectionnée par défaut.
2. Sélectionnez le modèle d’optimisation, le nombre maximal de candidats et le modèle d’évaluation.
3. Pour évaluer les candidats dans plusieurs déploiements de modèles, activez Compare entre les modèles, puis sélectionnez les modèles à inclure.
4. Passez à l’étape Dataset .

L’optimiseur peut générer des candidats qui améliorent les instructions de l’agent, les descriptions des outils d’appel de fonction ou la sélection de modèle. Les autres types d’outils ne sont pas pris en charge pour l’optimisation de la description des outils.

Sélectionner un jeu de données d’évaluation

L’optimiseur utilise le même jeu de données pour noter la base de référence et chaque candidat généré.

1. Dans l’étape Jeu de données , choisissez l’une des options suivantes :

   • Générez un jeu de données à partir de traces d’agent.
   • Sélectionnez un jeu de données existant inscrit dans le projet.
   • Chargez un nouveau jeu de données à partir de votre appareil.

2. Affichez un aperçu du jeu de données et vérifiez qu’il contient les colonnes requises par vos évaluateurs.

3. Passez à l’étape Critères .

Utilisez des tâches représentatives, notamment les demandes courantes, les cas de périphérie et les comportements que vous souhaitez que l’optimiseur conserve ou améliore.

Sélectionner les critères d’évaluation

Les évaluateurs définissent la façon dont l’optimiseur note chaque réponse.

1. Dans l’étape Critères , sélectionnez un ou plusieurs évaluateurs :

   • Sélectionnez les évaluateurs intégrés et configurez les paramètres requis.
   • Sélectionnez un évaluateur personnalisé existant.
   • Créez un évaluateur de rubrique personnalisé, puis sélectionnez-le.

2. Vérifiez que chaque évaluateur est compatible avec le schéma du jeu de données.

3. Passez à l’étape De révision .

Vérifiez et envoyez l’exécution.

1. À l’étape de révision , vérifiez l’agent et la version, le jeu de données, les évaluateurs, les configurations de l’évaluateur et les modèles candidats.

   Note

   Le coût estimé est une plage modélisée, et non une limite de dépense ou des frais finaux. Passez en revue les entrées de calcul, les hypothèses de tarification et les exclusions avant de soumettre le travail. Pour plus d’informations, consultez les estimations de coût de l’optimiseur d’agent et l’utilisation des jetons.

   Le résumé affiche les valeurs minimales, estimées et maximales . Développez la répartition des coûts (estimée) pour consulter les appels estimés et le coût de l’exécution de votre agent, de l’évaluation des réponses et de la génération d’améliorations.

2. Cliquez sur Envoyer.

3. Attendez que l’exécution de l’optimisation se termine. L’exécution apparaît dans la liste des exécutions d’optimisation avec son état actuel.

Le temps d’exécution dépend de la taille du jeu de données, du nombre de candidats et des modèles sélectionnés.

Comparer les résultats

1. Une fois l’exécution réussie, sélectionnez-la sous Optimisation.
2. Comparez le score de chaque candidat au score de référence.
3. Passez en revue les modifications d’instructions avant et après.
4. Inspectez les scores par évaluateur et, si vous avez sélectionné plusieurs modèles, comparez les résultats pour chaque modèle.
5. Sélectionnez le candidat qui fournit une amélioration significative de la qualité sans une augmentation inacceptable de l’utilisation ou du coût des jetons.

La vue Utilisation des jetons de l’exécution terminée regroupe les jetons d’entrée, de sortie et le total des jetons mesurés par phase et par modèle. Il indique le nombre de jetons plutôt qu’un montant final facturé. Un modèle ou une valeur d’utilisation manquant signifie que l’utilisation n’a pas été attribuée ou mesurée, pas qu’elle était gratuite. Pour plus d’informations, consultez Utilisation des jetons mesurés après exécution.

Si tous les candidats sont inférieurs à la ligne de base, conservez l’agent actuel. Révisez le jeu de données, les évaluateurs ou les paramètres d’optimisation avant d’exécuter à nouveau l’optimiseur.

Promouvoir un candidat

Promouvoir le candidat sélectionné pour créer une version de l’agent d’invite.

1. Dans la page d’exécution terminée, sélectionnez Promouvoir le candidat.
2. Dans Promouvoir le candidat en tant que nouvelle version de l’agent, sélectionnez le candidat à promouvoir.
3. Passez en revue la version active actuelle et l’amélioration du score du candidat sélectionné par rapport à la ligne de base.
4. Sélectionnez Passer à la version de l’agent.

La promotion crée une nouvelle version d’agent avec la configuration optimisée du candidat. Si l’agent est épinglé à une version spécifique, la nouvelle version ne reçoit pas le trafic tant que vous ne l’avez pas définie comme version active dans les détails de l’agent.

Ce que vous avez appris

Dans ce guide de démarrage rapide, vous :

• Démarrage d’une exécution d’optimisation de l’agent d’invite dans le portail Foundry.
• Sélectionnez un jeu de données, des évaluateurs et des modèles candidats.
• Comparaison des candidats optimisés à la référence prompt-agent.
• Promu le candidat sélectionné vers une nouvelle version d’agent d’invite.

Contenu connexe

• Vue d’ensemble de l’optimiseur d’agent
• Estimations des coûts de l’optimiseur d’agent et utilisation des jetons
• Démarrage rapide : Optimiser un agent hébergé
• Convertir des traces d’agent en jeux de données d’évaluation