Quickstart: Een promptagent optimaliseren (preview)

In deze quickstart gebruikt u de optimalisatiewizard in de Foundry-portal om de instructies van een promptagent, beschrijvingen van hulpprogramma’s voor functieaanroepen en de modelselectie te verbeteren. Selecteer een agentversie, gegevensset en evaluators, voer de optimizer uit en vergelijk de gegenereerde kandidaten met de basislijn.

Als u geen Azure-abonnement hebt, maakt u een gratis account.

Vereiste voorwaarden

Voordat u begint, hebt u het volgende nodig:

• Een Microsoft Foundry-project met een geïmplementeerde promptagent. Zie Quickstart: Een promptagent maken om er een te maken.
• Een evaluatiemodel en een ondersteund optimalisatiemodel dat in het project is geïmplementeerd. Zie Modellen voor ondersteunde modellen.
• Een gegevensbron voor een gegevensset: agenttraces, een evaluatiegegevensset die in het project is geregistreerd, of een JSONL-gegevensset om te uploaden. De gegevensset moet de kolomnamen gebruiken die vereist zijn voor de geselecteerde evaluators, omdat de wizard geen ondersteuning biedt voor kolomtoewijzing.

Open de optimalisatiewizard

1. Ga naar de Foundry-portal en open uw project.
2. Selecteer Agents en selecteer vervolgens de promptagent die u wilt optimaliseren.
3. Selecteer het tabblad Optimaliseren .
4. Selecteer Optimalisatieuitvoering maken.

Het optimalisatiedoel selecteren

Het doel definieert de versie van de prompt-agent en kandidaatmodellen die moeten worden geëvalueerd.

1. Selecteer in de doelstap de agentversie die u als basislijn wilt gebruiken. De nieuwste versie is standaard geselecteerd.
2. Selecteer het optimalisatiemodel, het maximum aantal kandidaten en het evaluatiemodel.
3. Als u kandidaten in meerdere modelimplementaties wilt evalueren, schakelt u Vergelijken tussen modellen in en selecteert u vervolgens de modellen die u wilt opnemen.
4. Ga door naar de stap Gegevensset .

De optimizer kan kandidaten genereren die de instructies van de agent, toolbeschrijvingen voor functieaanroepen of de modelselectie verbeteren. Andere hulpprogrammatypen worden niet ondersteund voor optimalisatie van hulpprogrammabeschrijvingen.

Een evaluatiegegevensset selecteren

De optimizer gebruikt dezelfde gegevensset om de basislijn en elke gegenereerde kandidaat te scoren.

1. Kies in de stap Gegevensset een van de volgende opties:

   • Genereer een gegevensset op basis van agenttraceringen.
   • Selecteer een bestaande gegevensset die is geregistreerd in het project.
   • Upload een nieuwe gegevensset vanaf uw apparaat.

2. Bekijk een voorbeeld van de gegevensset en controleer of deze de kolommen bevat die zijn vereist voor uw evaluators.

3. Ga door naar de stap Criteria.

Gebruik representatieve taken, waaronder veelvoorkomende aanvragen, edge-cases en gedragingen die u wilt behouden of verbeteren met de optimizer.

Evaluatiecriteria selecteren

Evaluators bepalen hoe de optimizer elk antwoord beoordeelt.

1. Selecteer in de stap Criteria een of meer evaluators:

   • Selecteer ingebouwde evaluators en configureer de vereiste parameters.
   • Selecteer een bestaande aangepaste evaluator.
   • Maak een aangepaste rubriek evaluator en selecteer deze.

2. Controleer of elke evaluator compatibel is met het gegevenssetschema.

3. Ga door naar de stap Controleren.

De uitvoering controleren en verzenden

1. Controleer in de stap Controleren de agent en de versie, dataset, evaluators, evaluatorconfiguraties en kandidaatmodellen.

   Opmerking

   De geschatte kosten zijn een gemodelleerd bereik, geen bestedingslimiet of uiteindelijke kosten. Bekijk de berekeningsinvoer, prijsveronderstellingen en uitsluitingen voordat u de taak indient. Zie kostenramingen en tokengebruik van de agentoptimizer voor meer informatie.

   In de samenvatting worden de waarden Minimum, Geschat en Maximum weergegeven. Klap Kostenoverzicht (geschat) uit om de geschatte aanroepen en kosten voor het uitvoeren van uw agent, het scoren van reacties en het genereren van verbeteringen te bekijken.

2. Klik op Verzenden.

3. Wacht tot de optimalisatieuitvoering is voltooid. De uitvoering wordt weergegeven in de lijst met uitvoeringen van optimalisatie met de huidige status.

De uitvoeringstijd is afhankelijk van de grootte van de gegevensset, het aantal kandidaten en de geselecteerde modellen.

De resultaten vergelijken

1. Wanneer de uitvoering is voltooid, selecteert u deze onder Optimalisatieuitvoeringen.
2. Vergelijk de score van elke kandidaat met de basislijnscore.
3. Bekijk de wijzigingen in de instructies vóór en na.
4. Inspecteer de scores per evaluator en vergelijk de resultaten voor elk model als u meerdere modellen hebt geselecteerd.
5. Selecteer de kandidaat die een zinvolle kwaliteitsverbetering biedt zonder een onaanvaardbare toename van het tokengebruik of de kosten.

In de weergave van de voltooide run worden in Tokengebruik gemeten invoer-, uitvoer- en totaal aantal tokens per fase en model gegroepeerd. Het geeft het aantal tokens weer in plaats van een definitief bedrag. Een ontbrekende model- of gebruikswaarde betekent dat het gebruik niet is toegeschreven of gemeten, niet dat het gratis is. Zie het gemeten tokengebruik na uitvoering voor meer informatie.

Als elke kandidaatscore lager is dan de basislijn, houdt u de huidige agent. Pas de instellingen voor gegevensset, evaluators of optimalisatie aan voordat u de optimizer opnieuw uitvoert.

Een kandidaat promoveren

De geselecteerde kandidaat promoveren om een nieuwe versie van de promptagent te maken.

1. Selecteer op de voltooide uitvoeringspagina de optie Promoveren.
2. Selecteer in Promoveer kandidaat naar nieuwe versie van de agent de kandidaat die u wilt promoveren.
3. Bekijk de huidige actieve versie en de scoreverbetering van de geselecteerde kandidaat ten opzichte van de basislijn.
4. Selecteer Promoveren naar agentversie.

Door de promotie wordt een nieuwe agentversie aangemaakt met de geoptimaliseerde configuratie van de kandidaat. Als de agent is vastgemaakt aan een specifieke versie, ontvangt de nieuwe versie pas verkeer als u deze instelt als de actieve versie in de details van de agent.

Wat u hebt geleerd

In deze quickstart gaat u als volgt te werk:

• Een optimalisatierun voor een prompt-agent gestart in de Foundry-portal.
• Selecteer een gegevensset, evaluators en kandidaatmodellen.
• Vergeleek geoptimaliseerde kandidaten met de prompt-agent-baseline.
• De geselecteerde kandidaat is gepromoveerd naar een nieuwe prompt-agent-versie.

Verwante onderwerpen

• Overzicht van de agent-optimalisator
• Kostenschattingen voor agentoptimalisatie en tokengebruik
• Quickstart: Een gehoste agent optimaliseren
• Agenttraces converteren naar evaluatiedatasets