Snabbstart: Optimera en promptagent (förhandsversion)

I den här snabbstarten använder du optimeringsguiden i Foundry-portalen för att förbättra anvisningarna för en promptagent, beskrivningar av funktionsanropsverktyget och modellval. Välj en agentversion, datauppsättning och utvärderare, kör optimeringen och jämför de genererade kandidaterna med baslinjen.

Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto.

Förutsättningar

Innan du börjar behöver du:

• Ett Microsoft Foundry-projekt med en distribuerad promptagent. Information om hur du skapar en finns i Snabbstart: Skapa en promptagent.
• En utvärderingsmodell och en optimeringsmodell som stöds och distribueras i projektet. För modeller som stöds, se Modeller.
• En datauppsättningskälla: agentspårningar, en utvärderingsdatauppsättning som registrerats i projektet eller en JSONL-datauppsättning som ska laddas upp. Datamängden måste använda de kolumnnamn som krävs av de valda utvärderarna eftersom guiden inte stöder kolumnmappning.

Öppna optimeringsguiden

1. Gå till Foundry-portalen och öppna projektet.
2. Välj Agenter och välj sedan den promptagent som du vill optimera.
3. Välj fliken Optimera .
4. Välj Skapa optimeringskörning.

Välj optimeringsmålet

Målet definierar den prompt-agent-version och kandidatmodeller som ska utvärderas.

1. I steget Mål väljer du den agentversion som ska användas som baslinje. Den senaste versionen är markerad som standard.
2. Välj optimeringsmodell, maximalt antal kandidater och utvärderingsmodell.
3. Om du vill utvärdera kandidater för flera modelldistributioner aktiverar du Jämför mellan modeller och väljer sedan de modeller som ska inkluderas.
4. Fortsätt till steget Datamängd.

Optimeraren kan generera kandidater som förbättrar agentens instruktioner, beskrivningar av funktionsanropsverktyg eller modellval. Andra verktygstyper stöds inte för optimering av verktygsbeskrivningar.

Välj en utvärderingsdatauppsättning

Optimeraren använder samma datauppsättning för att bedöma baslinjen och varje genererad kandidat.

1. I steget Datauppsättning väljer du något av följande alternativ:

   • Generera en datauppsättning från agentspårningar.
   • Välj en befintlig datauppsättning som är registrerad i projektet.
   • Ladda upp en ny datauppsättning från enheten.

2. Förhandsgranska datauppsättningen och bekräfta att den innehåller de kolumner som krävs av utvärderarna.

3. Fortsätt till steget Villkor .

Använd representativa uppgifter, inklusive vanliga begäranden, gränsfall och beteenden som du vill att optimeraren ska bevara eller förbättra.

Välj utvärderingsvillkor

Utvärderare definierar hur optimeraren poängsätter varje svar.

1. I steget Villkor väljer du en eller flera utvärderare:

   • Välj inbyggda utvärderare och konfigurera eventuella obligatoriska parametrar.
   • Välj en befintlig anpassad utvärderare.
   • Skapa en anpassad utvärderare för bedömningsmatriser, och välj sedan den.

2. Bekräfta att varje utvärderare är kompatibel med datamängdsschemat.

3. Fortsätt till steget Granska .

Granska och skicka körningen

1. I steget Granska kontrollerar du agenten och versionen, datauppsättningen, utvärderarna, utvärderarkonfigurationerna och kandidatmodellerna.

   Note

   Den uppskattade kostnaden är ett modellerat intervall, inte en utgiftsgräns eller slutlig avgift. Granska beräkningsindata, prissättningsantaganden och undantag innan du skickar jobbet. Mer information finns i Kostnadsuppskattningar för agentoptimerare och tokenanvändning.

   Sammanfattningen visar värdena Minimum, Estimated och Maximum . Expandera Kostnadsuppdelning (uppskattad) om du vill granska de uppskattade anropen och kostnaden för att köra din agent, att bedöma svar och att generera förbättringar.

2. Välj Skicka.

3. Vänta tills optimeringskörningen är klar. Körningen visas i listan Optimeringskörningar med dess aktuella status.

Körningstiden beror på datamängdens storlek, antalet kandidater och valda modeller.

Jämför resultaten

1. När körningen har slutförts väljer du den under Optimeringskörningar.
2. Jämför varje kandidats poäng med baslinjepoängen.
3. Granska ändringarna i instruktionerna före och efter.
4. Granska poängen per utvärderare och jämför resultaten för varje modell om du har valt flera modeller.
5. Välj den kandidat som ger en meningsfull kvalitetsförbättring utan en oacceptabel ökning av tokenanvändningen eller kostnaden.

Den slutförda körningens tokenanvändningsvygrupper mätte indata, utdata och totalt antal token efter fas och modell. Den rapporterar tokenantal i stället för en slutlig valutaavgift. En modell eller ett användningsvärde som saknas innebär att användningen inte tillskrevs eller mättes, inte att den var kostnadsfri. Mer information finns i Tokenanvändning uppmätt efter körning.

Om varje kandidat får lägre poäng än baslinjen, behåll den nuvarande agenten. Ändra datauppsättningen, utvärderarna eller optimeringsinställningarna innan du kör optimeringen igen.

Befordra en kandidat

Höj upp den valda kandidaten för att skapa en ny version av promptagenten.

1. På sidan för den slutförda körningen väljer du Befordra kandidat.
2. I Befordra kandidat som ny agentversion väljer du den kandidat som ska höjas upp.
3. Granska den aktuella aktiva versionen och den valda kandidatens poängförbättring jämfört med baslinjen.
4. Välj Höj upp till agentversion.

Promoteringen skapar en ny version av agenten med kandidatens optimerade konfiguration. Om agenten är fäst på en specifik version tar den nya versionen inte emot trafik förrän du anger den som den aktiva versionen i agentens information.

Det här har du lärt dig

I den här snabbstarten kommer du att göra följande:

• Startade en prompt-agent-optimeringskörning i Foundry-portalen.
• Valde en datauppsättning, utvärderare och kandidatmodeller.
• Jämför optimerade kandidater med promptagentens baslinje.
• Befordrade den valda kandidaten till en ny version av prompt-agenten.

Relaterat innehåll

• Översikt över agentoptimerare
• Kostnadsuppskattningar och tokenanvändning för agentoptimerare
• Snabbstart: Optimera en värdbaserad agent
• Konvertera agentspårningar till utvärderingsdatauppsättningar