Menselijke evaluatie instellen voor uw agents (preview)

In dit artikel wordt uitgelegd hoe u menselijke evaluatie instelt voor uw Foundry-agent. Als agentbouwer definieert u sjablonen voor evaluatievragen die gericht zijn op belangrijke aspecten van belang. Menselijke revisoren ( peers, gegevenswetenschappers of leden van het complianceteam) vullen deze sjablonen voor elk agentantwoord in de preview-ervaring van de agent. Nadat revisoren hun evaluaties hebben ingediend, kunt u de resultaten rechtstreeks vanuit de Foundry-portal bekijken en downloaden voor verdere analyse.

Voorwaarden

• Een Foundry-project met een of meer agenten.

• Application Insights geconfigureerd voor uw project.

• Foundry Project Manager-rol (of hoger) in het Foundry-project, om evaluatiesjablonen te maken en te beheren. Zie toegangsbeheer op rollen in Microsoft Foundry voor meer informatie.

  Belangrijk

  De rollen Foundry RBAC zijn onlangs hernoemd. Foundry User, Foundry Owner, Foundry Account Owner en Foundry Project Manager zijn eerder benoemd Azure AI-gebruiker, Azure AI-eigenaar Azure AI-accounteigenaar en Azure AI Project Manager. Het kan zijn dat u op sommige plekken nog steeds de vorige namen ziet terwijl de naamswijziging wordt doorgevoerd. De rol-id's en basismachtigingen worden niet gewijzigd door de naamswijziging.

• Voor menselijke beoordelaars: minimaal de rol Foundry User voor het Foundry-project en Reader voor het account, om toegang te krijgen tot de preview-web-app en feedback te geven.

Een sjabloon voor menselijke evaluatie maken

Als u wilt beginnen met menselijke evaluatie voor uw Foundry-agent, definieert u een sjabloon die de set vragen bevat die menselijke revisoren moeten voltooien op basis van agentreacties.

1. Selecteer de agent die u wilt evalueren in de agenttabel op het tabblad Agents .

2. Ga naar het tabblad Menselijke evaluatie onder Evaluatie.

3. Selecteer Nieuwe sjabloon maken om het proces voor het maken van de sjabloon te starten.

4. Wijs een naam en beschrijving toe in het pop-upvenster Human Evaluation Template maken, bewerk of verwijder voorbeeldvragen en voeg op basis van uw evaluatiedoelen nieuwe vragen toe. Ondersteunde vraagtypen zijn duimen omhoog/omlaag, schuifregelaar, meerdere keuzen en vrije tekst.

   Tip

   Voorbeeldvragen per type:

   • Duim omhoog/omlaag: "Was dit antwoord nauwkeurig?"
   • Schuifregelaar (1-5): "Beoordeel hoe behulpzaam deze reactie is."
   • Meerdere opties: "Wat beschrijft dit antwoord het beste? (Juist / gedeeltelijk correct / Onjuist)"
   • Vrije tekst: "Welke extra context zou dit antwoord hebben verbeterd?"

5. Nadat u de sjabloon hebt geconfigureerd, selecteert u Maken om deze te voltooien.

De nieuwe sjabloon wordt weergegeven in de sjabloontabel met de inactieve status. Activeer deze voordat revisoren beginnen met evalueren.

Uw evaluatiesjablonen beheren

U kunt meerdere evaluatiesjablonen maken op basis van uw evaluatiebehoeften. Met de sjabloontabel kunt u sjablonen bewerken, verwijderen en instellen als actief of inactief.

• Selecteer Bewerken in de sjabloontabel om een sjabloon bij te werken. De sjabloon wordt geopend in een bewerkbaar pop-upvenster.
• Selecteer Verwijderen om een sjabloon te verwijderen.

  Opmerking

  Nadat u de sjabloon hebt verwijderd, kunt u de sjabloon en de bijbehorende evaluatieresultaten niet ophalen uit de portal.

• Als u een sjabloon als actief wilt instellen, selecteert u Instellen als actief in de sjabloontabel. Op elk gewenst moment kan slechts één sjabloon actief zijn. Als u een nieuwe sjabloon activeert, wordt de vorige automatisch gedeactiveerd. Selecteer Instellen als inactief om te stoppen met het vastleggen van resultaten van menselijke evaluatie voor de huidige sjabloon.

Menselijke evaluatie uitvoeren

Nadat u de evaluatiesjabloon hebt geconfigureerd en deze hebt ingesteld als actief voor de doelagent, kunnen menselijke revisoren hun evaluatie starten via de preview-web-app. Deze web-app is een browsergebaseerde chatinterface die rechtstreeks vanuit de opbouwfunctie voor agents wordt gestart.

1. Selecteer Voorbeeld in de rechterbovenhoek van de opbouwfunctie voor agents om de agent te openen in een browsergebaseerde chatinterface.
2. Voer invoer in en selecteer Verzenden om een agentuitvoering te activeren.
3. Nadat de agent heeft gereageerd, selecteert u de knop Feedback om menselijke evaluatie voor dat antwoord te bieden.
   • Er wordt een zijpaneel weergegeven met de actieve evaluatiesjabloon.
   • Revisoren kunnen enkele of alle vragen in het formulier beantwoorden.
4. Selecteer Opslaan om de evaluatiegegevens op te slaan of Annuleren om deze te verwijderen.
5. Ga door met het evalueren van aanvullende antwoorden door nieuwe invoer in te voeren of naar eerdere antwoorden te navigeren.
   • Revisoren kunnen evaluaties voor bepaalde antwoorden overslaan of meerdere evaluaties indienen voor hetzelfde antwoord.

Agentbouwers kunnen opgeslagen evaluaties voor elk agentantwoord bekijken in de sectie Evaluatieresultaten .

Resultaten van menselijke evaluatie bekijken

Nadat menselijke revisoren hun evaluaties hebben voltooid, kunnen agentbouwers de resultaten bekijken en downloaden voor verdere analyse via de Foundry-portal.

1. Navigeer naar de sjabloontabel op het tabblad Menselijke evaluatie en selecteer de sjabloon waarvoor u de resultaten wilt bekijken.
2. Alle bijbehorende evaluatieresultaten worden weergegeven in de sectie Evaluatieresultaten . Elk exemplaar wordt weergegeven met het tijdstempel ter referentie.
3. Selecteer een evaluatie-exemplaar om de JSON-samenvatting weer te geven in de sectie JSON-uitvoer . De JSON bevat:
   • Tijdstempel
   • Gebruikersprompt
   • Antwoord van agent
   • Vragen van de evaluatiesjabloon
   • Antwoorden van revisoren
4. Als u alle evaluatieresultaten voor een sjabloon wilt downloaden, selecteert u Resultaten downloaden. De resultaten worden geëxporteerd als een CSV-bestand met alle informatie uit de JSON-weergave voor elk evaluatie-exemplaar.

Het gedownloade CSV-bestand bevat één rij per evaluatie-exemplaar, met kolommen voor elk veld in de JSON-weergave.

Verwante inhoud

• Uw AI-agents evalueren
• Overzicht van agenttracering
• Problemen met evaluatie en waarneembaarheid oplossen