Wat is de agentoptimizer? (voorvertoning)

Important

Agent Optimizer is momenteel in preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Bepaalde functies worden mogelijk niet ondersteund of hebben mogelijk beperkte mogelijkheden. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews voor meer informatie.

De agent optimizer in Foundry Agent Service verbetert automatisch prompt agents en gehoste agents door hun gedrag te evalueren en betere configuraties te genereren. Afhankelijk van het type agent kunnen deze configuraties verbeterde instructies, vaardigheden, beschrijvingen van hulpprogramma's en modelselectie bevatten.

Voor het bouwen van effectieve AI-agents is uitgebreide prompt engineering vereist. U implementeert een agent met handgeschreven instructies, test deze op basis van echte scenario's, identificeer zwakke punten, pas de prompt aan en herhaal deze. Deze lus is traag, subjectief en schaalt niet. De optimalisatie van de agent automatiseert deze cyclus, zodat u zich kunt richten op de kernlogica van uw agent.

Ondersteunde agenttypen

De optimizer maakt gebruik van dezelfde evaluatiegestuurde verbeteringslus voor beide agenttypen, maar de instelling, optimalisatiedoelen en implementatie-ervaring verschillen.

Agenttype Wat de optimalisatie kan verbeteren Hoe u een uitvoering start
Promptagent Instructies, functie-aanroepende hulpprogrammabeschrijvingen en modelselectie Gebruik de optimalisatiewizard in de Foundry-portal. Er zijn geen codewijzigingen vereist.
Gehoste agent Instructies, vaardigheden, functie-aanroepende hulpprogrammabeschrijvingen en modelselectie Gebruik Foundry Toolkit, die optimalisatie automatisch ondersteunt, of maak de optimalisatie van de agent gereed en gebruik de Azure Developer CLI.

Agents aansturen

Voor een promptagent evalueert de optimizer een geselecteerde agentversie en genereert hij alternatieve instructies. Het kan ook beschrijvingen voor hulpprogramma's voor het aanroepen van functies verbeteren en de prompt voor meerdere implementaties van kandidaatmodellen vergelijken.

De functie-aanroeptools van de Prompt-agent worden op de client uitgevoerd. De optimizer kan het hulpprogramma en de parameterbeschrijvingen verbeteren die de functie-aanroepen van het model begeleiden, maar kan de uitvoering van het hulpprogramma niet evalueren tijdens optimalisatie van hulpprogrammabeschrijvingen.

Start de optimalisatiewizard vanaf het tabblad Optimaliseren van de agent in de Foundry-portal. De wizard begeleidt u bij het selecteren van de agentversie, gegevensset, evaluatiecriteria en optimalisatiemodellen voordat u de uitvoering verzendt. U kunt een gegevensset genereren op basis van agenttraceringen, een bestaande Foundry-gegevensset selecteren of een gegevensset uploaden in de wizard.

Wanneer de uitvoering is voltooid, vergelijk de scorewijzigingen, controleer de prompt vóór en na, en inspecteer de resultaten per beoordelaar. Vervolgens kunt u een geselecteerde kandidaat promoveren naar een nieuwe prompt-agentversie vanuit de optimalisatieuitvoering.

Zie Quickstart: Een promptagent optimaliseren voor de end-to-end-portalervaring.

Gehoste agents

Voor een gehoste agent verbetert de optimalisatie de configuratie die uw code tijdens runtime laadt. De agent heeft het optimalisatiepakket en een basisconfiguratie nodig die de instructies en, optioneel, vaardigheden en tooldefinities voor functieaanroepen beschikbaar maakt. Foundry Toolkit kan deze integratie automatisch opzetten. Voeg voor de Azure Developer CLI-werkstroom de integratie toe voordat u de optimizer uitvoert. De optimizer kan vervolgens kandidaatconfiguraties genereren en evalueren zonder de kernlogica van uw agent te wijzigen.

Optimalisatie van de gehoste agent ondersteunt lokale JSONL-datasets en datasets die in uw Foundry-project zijn geregistreerd, waaronder evaluatiedatasets die op basis van traces zijn gegenereerd. Pas na een uitvoering de geselecteerde kandidaat toe op uw lokale configuratie, controleer de wijzigingen en implementeer de agent opnieuw.

Zie Quickstart: Een gehoste agent optimaliseren voor de end-to-end-ervaring met gehoste agents.

De optimalisatiewerkstroom

Beide agenttypen volgen hetzelfde pad op hoog niveau:

  1. Selecteer de basisconfiguratie van de agent. Kies de versie van de prompt-agent of de configuratie van een gehoste agent waarmee u kandidaten vergelijkt.
  2. Selecteer een evaluatiegegevensset. Gebruik representatieve taken uit een bestaande of geüploade gegevensset. U kunt ook een geregistreerde gegevensset gebruiken die is gegenereerd op basis van agenttraceringen.
  3. Selecteer de beoordelingscriteria. Kies ingebouwde of aangepaste evaluators die het gedrag meten dat u wilt verbeteren.
  4. Voer de optimizer uit. Kies de beschikbare optimalisatiedoelen en -modellen en genereer en evalueer vervolgens kandidaten. Raadpleeg voor promptagenten de kostenraming in de portal voordat u de uitvoering verzendt.
  5. Bekijk de resultaten. Vergelijk kandidaatscores met uw basislijn en kies vervolgens de beste kandidaat. Controleer indien beschikbaar het gemeten tokengebruik na uitvoering. Zie Optimalisatieresultaten begrijpen.
  6. De geselecteerde optie toepassen. Promoveer een prompt-agentkandidaat naar een nieuwe agentversie of pas de configuratie van de gehoste agent toe en implementeer deze opnieuw.

Voor gehoste agents is integratie van geoptimaliseerde code vereist. Foundry Toolkit zorgt automatisch voor deze integratie wanneer u een optimalisatie start. Voeg voor de Azure Developer CLI-werkstroom het optimalisatiepakket en een basislijnconfiguratie toe voordat u begint. Zie Uw agent klaar voor optimalisatie maken. Voor promptagenten is deze codeintegratie niet vereist.

Hoe de agent optimizer werkt

De agentoptimalisator voert een gesloten-lus-evaluatie- en verbetercyclus uit:

  1. Evalueer de basislijn. De optimizer roept uw agent aan op basis van een gegevensset met taken en beoordeelt elk antwoord op basis van criteria die u definieert of een ingebouwde standaardset. De basislijn is de score van uw agent voordat er wijzigingen worden aangebracht.
  2. Kandidaten genereren. De optimizer produceert alternatieve configuraties die kandidaten worden genoemd, zoals herschreven instructies, gedetecteerde vaardigheden, verbeterde beschrijvingen van hulpprogramma's of verschillende modelselecties. De beschikbare kandidaattypen zijn afhankelijk van het agenttype.
  3. Evalueer kandidaten. De optimizer test elke kandidaat op dezelfde gegevensset.
  4. Rangschikken en aanbevelen. De optimizer rangschikt resultaten op samengestelde score, een waarde tussen 0,0 en 1,0 die de cumulatieve prestaties vertegenwoordigt en markeert de beste kandidaat met ★ . Vervolgens past u de winnaar toe en implementeert u deze.

Het hele proces wordt uitgevoerd in de cloud. De uitvoeringstijd is afhankelijk van de grootte van de gegevensset, het aantal kandidaten en de geselecteerde modellen.

Voor gehoste agents, nadat u uw agent optimizer-ready hebt aangebracht, zijn er geen verdere codewijzigingen nodig tussen uitvoeringen. load_config() retourneert uw basislijn normaal en levert geoptimaliseerde configuratie tijdens een uitvoering zonder functievlagmen of voorwaardelijke logica.

Warning

Tijdens de optimalisatie evalueert de optimizer je agent door deze uit te voeren op elke taak in je dataset. Als uw agent externe hulpprogramma's aanroept, zoals API's, databases of services van derden, worden deze aanroepen uitgevoerd tijdens elke evaluatieuitvoering. Als u onbedoelde bijwerkingen (kosten, statusmutaties of snelheidsbeperking) wilt voorkomen, kunt u overwegen testeindpunten of mocking tool-implementaties te gebruiken tijdens optimalisatie.

Optimalisatiedoelen

Een optimalisatiedoel is een specifiek aspect van de configuratie van uw agent dat de optimizer kan verbeteren. De beschikbare doelen zijn afhankelijk van het type agent. Voor gehoste agents activeert de optimizer automatisch toepasselijke doelen uit de basislijnconfiguratie en eval.yaml -instellingen.

Target Wat de optimizer verbetert Agent vragen Gehoste agent
Afstemming op instructies Herschrijft en verfijnt de systeemprompt om hoger te scoren. Gebruikt de geselecteerde prompt-agent-versie als basislijn. Wordt geactiveerd wanneer de basislijn een instructions.md bestand heeft.
Verbetering van vaardigheden Verfijnt de inhoud van elke herbruikbare vaardigheid met behoud van het oorspronkelijke doel. Wordt niet ondersteund. Wordt geactiveerd wanneer de basislijn een skills/ map met SKILL.md bestanden heeft.
Optimalisatie van hulpprogramma's Verbetert functieoproepende hulpprogramma's en parameterbeschrijvingen, zodat het model hulpprogramma's nauwkeuriger aanroept. Er worden geen typen, standaardinstellingen of vereiste velden gewijzigd. Beschikbaar voor hulpprogramma's voor het aanroepen van functies. Omdat de client deze hulpprogramma's uitvoert, wordt de uitvoering van hulpprogramma's niet geëvalueerd tijdens optimalisatie. Wordt geactiveerd wanneer de basislijn een tools.json bestand heeft. Alleen hulpprogramma's voor het aanroepen van functies worden ondersteund.
Modelselectie Evalueert de agent in meerdere modelimplementaties om de beste kwaliteit-naar-kosten-afweging te vinden. Selecteer kandidaatmodellen in de optimalisatiewizard. Voeg kandidaat-implementaties toe aan model_search_space in eval.yaml.

Zie Je agent optimizer-ready maken voor baseline-invoer voor gehoste agenten. Zie Agentinstructies, vaardigheden, hulpprogramma's en modellen optimaliseren voor het uitvoeren en configureren van doelen voor gehoste agents.

Modellen

De agent-optimizer gebruikt twee modellen tijdens een optimalisatierun. Beide moeten worden geïmplementeerd in uw Foundry-project.

Model Configuratiesleutel van hosted-agent CLI-vlag voor hosted-agent Role Ondersteunde modellen
Eval-model eval_model --eval-model Scores van agentantwoorden op basis van criteria in de gegevensset Elk model voor chatvoltooiing (bijvoorbeeld gpt-4.1-mini)
Optimalisatiemodel optimization_model --optimize-model Genereert kandidaatconfiguraties (instructies, vaardigheden, hulpprogramma's, modelselectie) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-Pro, DeepSeek-V-3.2

Het evaluatiemodel wordt eenmaal uitgevoerd voor elke evaluator, taak en kandidaat-evaluatie. Het leest het antwoord van de agent en elk criterium en retourneert vervolgens een binaire score. Het optimalisatiemodel analyseert basislijnresultaten en genereert verbeterde kandidaten voor de geconfigureerde doelen, waaronder instructies, vaardigheden, hulpprogramma's en modellen. Omdat het redenen heeft voor de volledige gegevensset, produceert een meer geschikt optimalisatiemodel doorgaans betere kandidaten.

Selecteer voor promptagents het evaluatiemodel en de kandidaatmodellen in de optimalisatiewizard. Geef voor gehoste agents de modellen op in eval.yaml of met CLI-vlaggen. De optimization_model instelling is vereist voor uitvoeringen van een gehoste agent. Zie De evaluatie- en optimalisatiemodellen kiezen voor configuratiestappen.

Inzicht in optimalisatieresultaten

In deze sectie wordt de resultatentabel uitgelegd, hoe de samengestelde score wordt berekend en hoe verbeteringen worden geïnterpreteerd.

Tip

Bekijk optimalisatieresultaten in de Foundry-portal. Navigeer naar uw project, selecteer Agents, kies uw agent en selecteer vervolgens het tabblad Optimaliseren om scorevergelijkingen, prompt- of configuratiewijzigingen en evaluatiegegevens te bekijken.

Voor promptagenten toont een voltooide uitvoering de basislijn- en kandidaatscores, een voor- en na prompt, model en beschrijving van hulpprogramma's en scores per evaluator.

Voor gehoste agents geeft de CLI ook een resultatentabel weer:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Kolommen van de resultatentabel

Column Description
Kandidaat Naam van de configuratie. baseline is uw huidige agent vóór optimalisatie.
Score Samengestelde score voor alle taken en criteria, variërend van 0,0 tot 1,0.
Eval Koppeling naar de evaluatietaak in de Foundry-portal.
Strategie Mutatiedoelen die in de kandidaat zijn opgenomen, zoals skill_policy-reviewer, tools.

De ★ markeert de kandidaat met de hoogste samengestelde score. Dit is de aanbevolen kandidaat om te implementeren.

Hoe punten worden berekend

Elke evaluator in uw gegevensset produceert een onbewerkte score voor het antwoord van de agent. De optimizer verwerkt deze scores om de samengestelde score te produceren die wordt weergegeven in de resultaten:

  • Rescale: de onbewerkte score van elke evaluator wordt opnieuw geschaald naar 0-1.
  • Spiegelen indien nodig: Als een evaluator zo is geconfigureerd dat lager beter is, wordt de score gespiegeld zodat alle evaluators semantiek 'hoger is beter' gebruiken.
  • Gemiddelde: De herschaalde scores voor alle evaluators en taken worden gemiddeld berekend om de samengestelde score te produceren.

Samengestelde score: het gemiddelde van alle herschaalde evaluatorscores voor alle taken.

Scoreverbeteringen interpreteren

Verbetering Interpretatie
Minder dan 0,03 Lawaai. Geen zinvolle verbetering.
0,03 tot 0,10 Gematigde verbetering. Het is de moeite waard om te implementeren.
0,10 tot 0,20 Aanzienlijke verbetering.
Groter dan 0,20 Grote verbetering. Waarschijnlijk afkomstig van een slecht basismodel.

Tokenafwegingen

Geoptimaliseerde instructies zijn vaak langer en gedetailleerder, wat het gebruik van het reactietoken kan verhogen. Houd rekening met deze factoren:

  • Of de tokenverhoging evenredig is aan de scoreverbetering
  • Of de kostenverhoging past bij uw budget
  • Of antwoorden onnodig langdradig zijn of door die extra lengte meerwaarde bieden

Zie kostenschattingen en tokengebruik van de agentoptimalisator voor meer informatie over het kostenbereik vóór uitvoering en het na uitvoering gemeten gebruik.

Beperkingen en beschikbaarheid

  • De agentoptimizer ondersteunt promptagents en gehoste agents tijdens de previewfase.
  • Prompt-agent-optimalisatie wordt gestart in de Foundry-portal. U kunt een geselecteerde kandidaat promoveren naar een nieuwe agentversie vanaf de voltooide uitvoering.
  • Optimalisatie van gehoste agents is beschikbaar in alle regio's waar gehoste agents beschikbaar zijn, met uitzondering van Noorwegen - oost.
  • Voor optimalisatie van hosted-agent is het antwoordprotocol vereist.