Konfigurera mänsklig utvärdering för dina agenter (förhandsversion)

Den här artikeln beskriver hur du konfigurerar mänsklig utvärdering för Foundry-agenten. Som agentbyggare definierar du utvärderingsfrågamallar som fokuserar på viktiga aspekter av intresse. Mänskliga granskare – kollegor, dataexperter eller medlemmar i efterlevnadsteamet – fyller i mallarna för varje agentsvar i agentens förhandsversion. När granskarna har skickat sina utvärderingar kan du visa och ladda ned resultaten direkt från Foundry-portalen för ytterligare analys.

Förutsättningar

• Ett Foundry-projekt med en eller flera agenter.

• Application Insights har konfigurerats för projektet.

• Foundry Project Manager-rollen (eller högre) i Foundry-projektet för att skapa och hantera utvärderingsmallar. Mer information finns i Role-baserad åtkomstkontroll i Microsoft Foundry.

  Viktigt

  Foundrys RBAC-roller har nyligen namnändrats. Foundry User, Foundry Owner, Foundry Account Owner och Foundry Project Manager hette tidigare Azure AI-användare, Azure AI-ägare, Azure AI-kontoägare och Azure AI Project Manager. Du kanske fortfarande ser de tidigare namnen på vissa platser medan namnbytet distribueras. Roll-ID:na och kärnbehörigheterna ändras inte av namnbytet.

• För mänskliga granskare: Foundry-användarroll (minimum) i Foundry-projektet och Läsare för kontot, för att få åtkomst till förhandsgranskningswebbappen och skicka feedback.

Skapa en mall för mänsklig utvärdering

Om du vill påbörja mänsklig utvärdering för foundry-agenten definierar du en mall som innehåller den uppsättning frågor som du vill att mänskliga granskare ska slutföra baserat på agentsvar.

1. Välj den agent som du vill utvärdera från agenttabellen på fliken Agenter .

2. Gå till fliken Mänsklig utvärdering under Utvärdering.

3. Välj Skapa ny mall för att starta processen för att skapa mallar.

4. I popup-fönstret Skapa mall för mänsklig utvärdering tilldelar du ett namn och en beskrivning, redigerar eller tar bort exempelfrågor och lägger till nya frågor baserat på dina utvärderingsmål. Frågetyper som stöds är tummen upp/ner, skjutreglage, flervalsformat och text i fritt format.

   Tips

   Exempelfrågor efter typ:

   • Tummen upp/ned: "Var det här svaret korrekt?"
   • Skjutreglage (1–5): "Betygsätt hur användbart det här svaret är."
   • Flera alternativ: "Vilket beskriver bäst det här svaret? (Rätt/Delvis korrekt/Felaktig)"
   • Fritext: "Vilken ytterligare kontext skulle ha förbättrat det här svaret?"

5. När du har konfigurerat mallen väljer du Skapa för att slutföra den.

Den nya mallen visas i malltabellen med inaktiv status. Aktivera den innan granskarna börjar utvärdera.

Hantera dina utvärderingsmallar

Du kan skapa flera utvärderingsmallar baserat på dina utvärderingsbehov. Med malltabellen kan du redigera, ta bort och ange mallar som aktiva eller inaktiva.

• Välj Redigera i malltabellen för att uppdatera en mall. Mallen öppnas i ett redigerbart popup-fönster.
• Välj Ta bort för att ta bort en mall.

  Observera

  När du har tagit bort den kan du inte hämta mallen och dess associerade utvärderingsresultat från portalen.

• Om du vill ange en mall som aktiv väljer du Ange som aktiv i malltabellen. Endast en mall kan vara aktiv vid en viss tidpunkt. Om du aktiverar en ny mall inaktiveras den föregående mallen automatiskt. Välj Ange som inaktiv för att sluta samla in mänskliga utvärderingsresultat för den aktuella mallen.

Genomföra mänsklig utvärdering

När du har konfigurerat utvärderingsmallen och angett den som aktiv för målagenten kan mänskliga granskare starta utvärderingen via webbappen för förhandsversionen. Den här webbappen är ett webbläsarbaserat chattgränssnitt som startas direkt från agentverktyget.

1. Välj Förhandsgranska i det övre högra hörnet av agentverktyget för att öppna agenten i ett webbläsarbaserat chattgränssnitt.
2. Ange indata och välj Skicka för att utlösa en agentkörning.
3. När agenten har svarat väljer du knappen Feedback för att ge mänsklig utvärdering för det svaret.
   • En sidopanel visas som visar den aktiva utvärderingsmallen.
   • Granskare kan svara på några eller alla frågor i formuläret.
4. Välj Spara för att lagra utvärderingsdata eller Avbryt om du vill ignorera dem.
5. Fortsätt att utvärdera ytterligare svar genom att ange nya indata eller navigera till tidigare svar.
   • Granskare kan hoppa över utvärderingar för vissa svar eller skicka flera utvärderingar för samma svar.

Agentbyggare kan visa sparade utvärderingar för varje agentsvar i avsnittet Utvärderingsresultat .

Granska resultat från mänsklig utvärdering

När mänskliga granskare har slutfört sina utvärderingar kan agentbyggare förhandsgranska och ladda ned resultaten för ytterligare analys via Foundry-portalen.

1. Gå till malltabellen på fliken Mänsklig utvärdering och välj den mall som du vill granska resultaten för.
2. Alla motsvarande utvärderingsresultat visas under avsnittet Utvärderingsresultat . Varje instans visas med tidsstämpeln som referens.
3. Välj en utvärderingsinstans för att visa dess JSON-sammanfattning i avsnittet JSON-utdata . JSON innehåller:
   • Tidsstämpel
   • Användarprompt
   • Svar från agent
   • Frågor från utvärderingsmallen
   • Granskarens svar
4. Om du vill ladda ned alla utvärderingsresultat för en mall väljer du Ladda ned resultat. Resultaten exporteras som en CSV-fil som innehåller all information från JSON-vyn för varje utvärderingsinstans.

Den nedladdade CSV:en innehåller en rad per utvärderingsinstans, med kolumner för varje fält från JSON-vyn.

Relaterat innehåll

• Utvärdera dina AI-agenter
• Översikt över agentspårning
• Felsöka problem med utvärdering och observerbarhet