Evaluaties uitvoeren vanuit de Microsoft Foundry-portal

Test uw generatieve AI-modellen en -agents door evaluaties uit te voeren die de prestaties, kwaliteit en veiligheid meten. Gebruik evaluaties vóór de implementatie om gedrag te valideren of na de implementatie om de productiekwaliteit te bewaken. Evaluaties voeren uw model of agent uit op basis van testgegevens en beoordelen de uitvoer met behulp van ingebouwde of aangepaste evaluators.

In dit artikel leest u hoe u evaluaties maakt en uitvoert in de Foundry-portal.

Voorwaarden

• Een Azure-abonnement. Maak er gratis een.

• Een Microsoft Foundry-project. Maak een project als u er nog geen hebt.

• Een van de volgende opties, afhankelijk van uw evaluatiedoel:

  • Agentevaluatie: een agent in uw project.
  • Modelevaluatie: een geïmplementeerd model of een model dat beschikbaar is met directe toegang.
  • Evaluatie van gegevensset: een testgegevensset in CSV- of JSONL-indeling die bestaande model- of agentuitvoer bevat.

• Een Azure OpenAI-verbinding met een geïmplementeerd GPT-model (bijvoorbeeld gpt-4.1-mini). Vereist voor door AI ondersteunde kwaliteitsevaluaties.

• Foundry User-rol in het Foundry-project. Zie Toegangsbeheer op basis vanRole voor Microsoft Foundry voor meer informatie.

  Belangrijk

  De rollen Foundry RBAC zijn onlangs hernoemd. Foundry User, Foundry Owner, Foundry Account Owner en Foundry Project Manager zijn eerder benoemd Azure AI-gebruiker, Azure AI-eigenaar Azure AI-accounteigenaar en Azure AI Project Manager. Het kan zijn dat u op sommige plekken nog steeds de vorige namen ziet terwijl de naamswijziging wordt doorgevoerd. De rol-id's en basismachtigingen worden niet gewijzigd door de naamswijziging.

Een evaluatiebenadering kiezen

Selecteer een evaluatiebenadering op basis van wat u wilt testen:

Een evaluatie maken

U kunt een evaluatie starten vanaf verschillende locaties in de Foundry-portal:

• Evaluatiepagina: Selecteer evaluatie>maken in het linkerdeelvenster.
• De pagina Modellen: Ga naar uw model, selecteer het tabblad Evaluatie, en selecteer Maken.
• Pagina Agents: Ga naar uw agent, selecteer het tabblad Evaluatie en selecteer Maken.
• Agent playground: Ga naar uw agent, selecteer het tabblad Playground en selecteer vervolgens MetricsVolledige evaluatie uitvoeren.

Stap 1: Evaluatiedoel selecteren

Wanneer u een evaluatie maakt, kiest u eerst het evaluatiedoel. Het doel bepaalt de parameter voor de evaluatie:

Stap 2: Evaluatiebereik selecteren

Kies hoe u de prestaties van uw agent wilt evalueren:

Stap 3: Gegevensbron selecteren

De opties voor gegevensbronnen zijn afhankelijk van uw evaluatiedoel en bereik.

Voor gespreksevaluaties (volledige gesprekken van agent >) (previewversie)

Kies waar uw gespreksgegevens vandaan komen:

Gesimuleerde gegevens

Genereer synthetische gesprekken door uw agent tegen scenariobeschrijvingen uit een dataset te laten draaien. Gebruik deze optie om het gedrag van uw agent te testen in gecontroleerde scenario's vóór de implementatie.

1. Selecteer Gesimuleerde gegevens.

2. Selecteer Genereren om het dialoogvenster simulatieconfiguratie te openen.

3. Selecteer uw bestand: Kies een gegevensset met scenariobeschrijvingen. Elke rij in uw gegevensset beschrijft een scenario dat u gebruikt om een gesimuleerd gesprek te genereren.

   

4. Model selecteren: kies het model waarmee de gebruiker in het gesprek wordt gesimuleerd:

   • gpt-4.1 (aanbevolen voor complexe scenario's)
   • gpt-4o
   • gpt-4o-mini
   • gpt-4.1-mini

5. Simulatie-instellingen configureren:

   • Aantal gesimuleerde gesprekken per scenario: hoeveel gesprekken moeten worden gegenereerd voor elke rij in uw gegevensset (1-5). Meerdere gesprekken per scenario helpen bij het identificeren van afwijkingen in agentgedrag.
   • Aantal beurten per gesprek: Maximum aantal beurten toegestaan per gesprek (1-50). Het gesprek eindigt wanneer de taak is voltooid of deze limiet is bereikt.

6. Selecteer Bevestigen om de simulatieconfiguratie op te slaan.

Bestaande gesprekken

Evalueer echte gesprekken die uw agent al met gebruikers had.

1. Selecteer Bestaande gesprekken.
2. Filteropties configureren:
   • Aantal gesprekken: Maximum aantal gesprekken dat moet worden genomen uit het datumbereik (1-100).
   • Tijdsbereik: Gesprekken filteren op tijdsperiode. Gebruik snelle filters (laatste dag, 7D, 1M, 3M) of selecteer een aangepast datumbereik.
3. Blader en selecteer specifieke gesprekken die u wilt opnemen in de evaluatie.

Voor evaluaties van afzonderlijke turns

Kies waar uw evaluatiegegevens vandaan komen:

Synthetische gegevens

Testquery's genereren met behulp van AI. Selecteer Synthetisch en configureer het aantal rijen en een prompt waarin de gegevens worden beschreven die moeten worden gegenereerd. U kunt ook bestanden uploaden om de relevantie te verbeteren.

Bestaande gegevensset

Gebruik een voorbereide gegevensset in CSV- of JSONL-indeling. Selecteer Bestaande gegevensset en kies een bestand uit de gegevensassets van uw project. Alleen CSV- en JSONL-bestandsindelingen worden ondersteund.

Bestaande traces (alleen voor agent)

Evalueer historische agenttraceringen van uw project. Selecteer Bestaande traceringen en filter op datumbereik om traceringen te selecteren.

Multimodale inhoud (preview)

Alle evaluatiedoelen ondersteunen afbeeldings- en audio-inhoud. Elk inhoudstype maakt gebruik van een specifiek JSONL-schema:

Afbeeldingsinhoud:

• image_url: De afbeelding als gegevens-URI (bijvoorbeeld data:image/png;base64,...) of een openbaar toegankelijke URL.
• caption: Een tekstbeschrijving van de inhoud van de afbeelding.

{"image_url": "data:image/png;base64,iVBOR...", "caption": "A red to blue color gradient"}

Audio-inhoud:

• audio_data: De audio als gegevens-URI met met base64 gecodeerde WAV-gegevens (bijvoorbeeld data:audio/wav;base64,...).
• expected: Een tekstbeschrijving van de verwachte audio-inhoud.

{"audio_data": "data:audio/wav;base64,UklGR...", "expected": "A short beep tone at 440 Hz"}

Gegevenssets kunnen ook de gespreksindeling van chatberichten gebruiken, waarbij audio- en afbeeldingsgegevens worden ingesloten in een enkele kolom voor chatberichten als gegevens-URI's of openbaar toegankelijke URL's.

In het volgende voorbeeld ziet u een kolom met een gegevensset voor gesprekken met ingesloten afbeelding en audio-inhoud:

[
  {
    "role": "system",
    "content": "..."
  },
  {
    "role": "user",
    "content": [
      {
        "type": "text",
        "text": "What are in these images?"
      },
      {
        "type": "image_url",
        "image_url": {
          "url": "https://example.com/path/image.png"
        }
      },
      {
        "type": "image_url",
        "image_url": {
          "url": "data:image/png;base64,iVBORw0KGgo..."
        }
      }
    ]
  },
  {
    "role": "assistant",
    "content": "..."
  },
  {
    "role": "user",
    "content": [
      {
        "type": "text",
        "text": "Tell me the tones for the voices?"
      },
      {
        "type": "input_audio",
        "input_audio": {
          "data": "https://example.com/path/voice.wav",
          "format": "wav"
        }
      },
      {
        "type": "input_audio",
        "input_audio": {
          "data": "data:audio/wav;base64,UklGRigAAA...",
          "format": "wav"
        }
      }
    ]
  }
]

U kunt afbeeldingen bekijken en audioclips rechtstreeks afspelen in de stroom voor het maken van de evaluatie en in de weergave met evaluatieresultaten.

Stap 4: Agents configureren

Pas aan hoe uw agent zich gedraagt tijdens de evaluatie:

1. Bekijk de lijst met agents die betrokken zijn bij uw evaluatie.
2. Voor elke agent selecteert u Configureren om het gedrag ervan aan te passen:
   • Systeemprompt: Wijzig de instructies van de agent voor de evaluatie.
   • Gebruikersprompt: Geef op hoe elk gegevenssetitem tijdens de evaluatie naar uw agent wordt verzonden.
3. De evaluatieuitvoering behoudt agentconfiguraties.

Configuratie van gebruikersprompt

De gebruikersprompt definieert hoe testinvoer wordt doorgegeven aan uw agent. De portal gebruikt {{item.query}} standaard om de gegevenssetquery rechtstreeks door te geven aan uw agent.

In de meeste gevallen kunt u de standaardwaarde gebruiken. Wijzig deze waarde alleen als uw agent een andere invoerindeling verwacht. Als uw agent bijvoorbeeld gebruikmaakt van een gehost agentprotocol of gestructureerde invoer met extra velden vereist.

Algemene patronen:

Stap 5: Veldtoewijzing configureren

Wijs uw gegevensvelden toe aan de velden die elke evaluator verwacht. De vereiste velden zijn afhankelijk van uw evaluatiebereik.

Voor gespreksevaluaties (met meerdere beurten)

Voor afzonderlijke evaluaties per beurt (één beurt)

De portal probeert automatisch de velden in uw gegevensset te koppelen. Als een veld wordt weergegeven als Niet-toegewezen, selecteert u de vervolgkeuzelijst om handmatig een kolom uit uw gegevensset toe te wijzen.

Stap 6: Testcriteria selecteren

Selecteer de evaluators die u voor uw evaluatie wilt gebruiken. Microsoft Foundry biedt drie categorieën ingebouwde evaluators. De beschikbare evaluators zijn afhankelijk van uw evaluatiebereik.

Agentevaluatoren

Beoordeel hoe effectief agenten taken, hulpmiddelen en de intentie van de gebruiker afhandelen. Alleen beschikbaar voor afzonderlijke beurtbereiken .

Kwaliteitscontroleurs

Meet de algehele kwaliteit van gegenereerde antwoorden. De meeste kwaliteitsevaluaties zijn beschikbaar voor alle evaluatiebereiken. Evaluators die met een ★ zijn gemarkeerd, ondersteunen zowel analyse op gespreksniveau als op beurtniveau.

Veiligheids evaluatoren

Potentiële inhouds- en beveiligingsrisico's identificeren. Alleen beschikbaar voor afzonderlijke beurtbereiken .

De portal selecteert aanbevolen evaluators vooraf op basis van uw evaluatiedoel en bereik:

• Volledige gesprekken: Klanttevredenheid, Taakvoltooiing, Coherentie, Geaardheid
• Afzonderlijke beurten (bestaande gegevens): alle Agent-beoordelaars en kwaliteits- en veiligheidsbeoordelaars
• Individuele beurten (synthetisch/traces): Relevantie, Onderbouwing, Vloeiendheid, Coherentie

Stap 7: Controleren en verzenden

1. Voer een naam in voor uw evaluatie.
2. Controleer uw configuratie:
   • Evaluatiedoel en -bereik
   • Gegevensbron en gegevensset
   • Geselecteerde evaluators
   • Veldtoewijzingen (indien van toepassing)
3. Selecteer Verzenden om de evaluatie te starten.

Nadat u de evaluatie hebt ingediend, wordt de evaluatieuitvoering gestart. Evaluaties worden doorgaans binnen een paar minuten voltooid, afhankelijk van de grootte van de gegevensset en het aantal gesprekken dat wordt gesimuleerd.

Ga als volgende te werk om te controleren of uw evaluatie is gestart:

1. Selecteer Evaluatie in het linkerdeelvenster.
2. Zoek uw evaluatie in de lijst. In de kolom Status wordt de huidige status weergegeven:
   • Wordt uitgevoerd: de evaluatie wordt uitgevoerd.
   • Voltooid: De evaluatie is voltooid.
   • Gedeeltelijk: Sommige evaluaties zijn afgerond, maar andere zijn mislukt.
   • Mislukt: er is een fout opgetreden in de evaluatie.

Als u gedetailleerde resultaten wilt bekijken, selecteert u de naam van de evaluatie of bekijkt u de evaluatieresultaten.

Troubleshooting

Er treedt een time-out op voor de evaluatie of wordt langzaam uitgevoerd

• Verminder het aantal gesprekken of gegevenssetrijen.
• Voor simulaties verlaagt u de maximum beurten per gesprek.
• Controleer of uw rechtermodel voldoende quotum heeft.

Veldtoewijzingsfouten

• Controleer of uw gegevensset de vereiste kolommen bevat voor uw evaluatiebereik.
• Voor gespreksevaluaties moet u ervoor zorgen dat de berichtenkolom goed opgemaakte chatberichten bevat.
• Controleer of kolomnamen in uw gegevensset overeenkomen met de verwachte veldnamen.

Modelquotum overschreden

• Het rechtermodel dat wordt gebruikt voor ai-ondersteunde evaluaties telt mee voor uw Azure OpenAI-quotum.
• Gebruik een kleinere gegevensset of wacht tot het quotum is vernieuwd.
• Overweeg het gebruik gpt-4.1-mini ervan in plaats van gpt-4.1 voor rendabele evaluaties.

Beste praktijken

Voor evaluaties op basis van simulatie

• Begin klein: Begin met 1 gesprek per scenario en 5-10 keer om uw installatie te valideren voordat u omhoog schaalt.
• Diverse scenario's: neem verschillende scenariobeschrijvingen op om verschillende agentmogelijkheden te testen.
• Herhalen bij prompts: als agents onverwacht gedrag vertonen, gebruikt u de stap Agents configureren om de prompts aan te passen.

Voor bestaande gespreksevaluaties

• Representatief voorbeeld: Selecteer gesprekken die typische gebruikersinteracties vertegenwoordigen.
• Neem randgevallen op: evalueer niet alleen succesvolle gesprekken, maar neem ook uitdagende scenario's mee.
• Regelmatige evaluatie: plan terugkerende evaluaties om de prestaties van agents in de loop van de tijd bij te houden.

Voor modelevaluaties

• Benchmarkdatasets: Gebruik gestandaardiseerde datasets om modelprestaties in verschillende versies te vergelijken.
• Test zowel geïmplementeerde als directe toegang: vergelijk uw verfijnde implementaties met basismodellen.

Voor evaluaties van gegevenssets

• Uitvoer vooraf berekenen: uitvoer offline genereren en bulksgewijs evalueren voor kostenefficiëntie.
• Versie van uw gegevenssets: bijhouden welke gegevenssetversie welke evaluatieresultaten hebben geproduceerd.

Algemene tips

• Vergelijk evaluators: voer dezelfde gegevens uit via meerdere evaluators om een uitgebreide weergave te krijgen.
• Trends bijhouden: gebruik evaluatiegeschiedenis om prestatieverbeteringen of regressies te identificeren.
• Reageren op resultaten: gebruik evaluatie-inzichten om agentprompts, hulpprogrammadefinities en configuraties te verfijnen.

Verwante inhoud

Meer informatie over het evalueren van uw generatieve AI-modellen en -agents:

• De evaluatieresultaten weergeven
• Referentie voor ingebouwde evaluators
• Agent-evaluatoren
• Kwaliteitsbeoordelaars
• Veiligheids evaluatoren
• Aangepaste beoordelaars
• Batch-evaluatie uitvoeren met de SDK
• Transparantienotitie voor evaluatie van de veiligheid van Foundry