Realtime-agenten configureren

Note

Dit artikel beschrijft functies die worden gebruikt in agenten of agentstromen die gebruikmaken van het standard harness.

Om een real-time agent uit te rollen, schakel je het real-time model in, configureer je de kerninstellingen van de agent en stel je vervolgens de benodigde kanaalspecifieke functies in. Je kunt dezelfde agent inzetten op het spraakkanaal, digitale berichtenkanalen, of beide.

Note

Real-time agents is als preview beschikbaar voor digitale berichtkanalen. Preview-functies zijn niet bedoeld voor productiegebruik en bieden mogelijk beperkte functionaliteit. Deze functies zijn onderhevig aan aanvullende gebruiksvoorwaarden. Microsoft verstrekt ze vóór een officiële release, zodat klanten vroegtijdig toegang krijgen en feedback kunnen geven.

Stel realtime agenten in en schakel ze in

  1. Maak een nieuwe agent en configureer de basisdetails, zoals een beschrijvende naam en het doel van de agent in de beschrijving.

  2. Ga naar de Voice-instellingen van de agent en zet Voice Inschakelen aan. Selecteer Real-timein Spraaktype.

    Important

    Deze instelling is een eenmalige keuze. Nadat je Real-time hebt geselecteerd, kun je niet meer terugschakelen naar een basistype agent. Om een basisagent te gebruiken, maak je een nieuwe agent aan. Deze instelling is vereist, zelfs als je de agent gebruikt op een digitaal berichtenkanaal.

  3. Selecteer het model dat je wilt gebruiken: GPT-Realtime, GPT-Realtime-Mini of GPT-5-Chat (Preview). GPT-5-Chat (Preview) is een tekst-LLM-spraakmodel dat spraakantwoorden genereert via Microsoft Neural Text-to-Speech (TTS).
    Lees meer over hoe deze modellen werken op basis van hun ondersteunde regio's en implementatie-overwegingen. De volgende tabel beschrijft de scenario's waarin je verschillende modellen kunt gebruiken.

    Scenario GPT-Realtime GPT-5-Chat (previewversie)
    Gespreksstijl Inheemse spraak-naar-spraak interacties Spraak wordt omgezet naar tekst voor redenering en vervolgens weer gesynthetiseerd naar spraak
    Wachttijd Laagste latentie voor natuurlijke gesprekken Hogere latentie dan GPT-Realtime
    Stemaanpassing Ondersteunt de ingebouwde realtime spraakopties die beschikbaar zijn voor realtime spraakagenten Ondersteunt Microsoft Neural Text-to-Speech (TTS), inclusief een bredere spraakcatalogus en aangepaste spraakmodellen
    Spraakervaringen in merkstijl Beperkte aanpassingsmogelijkheden Aanbevolen wanneer je een op maat gemaakte of merkgebonden spraakervaring nodig hebt
    Flexibiliteit bij uitrol per regio Beperkt tot ondersteunde realtime modelregio's Meer flexibiliteit via spraakherkenning en TTS-diensten
    Meest geschikt voor Natuurlijke gesproken gesprekken met lage latentie en open interacties zonder vast verloop Scenario’s die geavanceerde spraakaanpassingen, aangepaste stemmen, nalevingseisen of flexibiliteit in regionale implementatie vereisen

    Tip

    • Gebruik GPT-Realtime wanneer natuurlijke gesprekskwaliteit en lage latentie de belangrijkste vereisten zijn.
    • Gebruik GPT-Realtime-Mini (Preview) voor scenario's die snelle spraakinteracties vereisen met lagere latentie en minder middelengebruik.
    • Gebruik GPT-5-Chat (Preview) wanneer spraakaanpassing, aangepaste spraakmodellen of flexibiliteit in de implementatie belangrijker zijn dan responslatentie.
  4. Ga naar de beveiligingsinstellingen van de agent en selecteer Geen verificatie.

Kennis en hulpprogramma's

U kunt uw agent configureren voor het gebruik van kennis en hulpprogramma's. Meer informatie vindt u in het overzicht van kennisbronnen, hulpprogramma's toevoegen aan aangepaste agents en hulpprogramma's, kennis, MCP en API.

Geneste agents (preview)

Realtime agenten ondersteunen alleen kinderagenten.

Important

Zorg ervoor dat beschrijvingen van onderliggende agenten niet overlappen met omschrijvingen van onderwerpen. Definieer expliciet de aanroepvolgorde in de instructies van de agent.

Onderwerpen

Realtime agenten ondersteunen alle onderwerpen die in Copilot Studio zijn geconfigureerd. Gebruik onderwerpen om deterministisch gedrag te definiëren zoals begroetingen, bedrijfsregels en escalatie, terwijl het model dat je hebt gekozen de conversatieantwoorden tijdens runtime beheert. Meer informatie vindt u in Kiezen hoe u het gesprek kunt beheren.

Beste praktijken

  • Gebruik onderwerpen alleen als deterministisch gedrag vereist is.

  • Gebruik statische tekst in begroetingsberichten voor het snelste eerste antwoord. Dynamische berichten met variabelen en expressies verhogen de initiële latentie.

  • Schakel het onderwerp Gesprek starten uit als je wilt dat het real-time agentmodel de begroeting afhandelt. Anders wordt de begroeting die is geconfigureerd in het onderwerp Gespreksstart afgespeeld in plaats van de begroeting van het spraakmodel.

  • Laat het realtime agentmodel het algemene gesprek en vervolgvragen afhandelen.

  • Neem een expliciete actie op in het onderwerp Over fout , zoals doorschakelen of beëindigen van oproep. Foutafhandeling die uitsluitend op meldingen is gebaseerd, is niet voldoende. Zonder een deterministische volgende stap kunnen klanten stilte ervaren voor spraakagenten of vastzittende oproepen voor berichtenkanalen, wat leidt tot verwarring en een slechte klantervaring.

  • Gebruik expliciete onderwerp- en hulpprogrammabeschrijvingen om het eigendom van gegevensverzameling te declareren. Meer informatie over het schrijven van effectieve onderwerp- en hulpprogrammabeschrijvingen.

Ondersteuning voor onderwerpknooppunten

De volgende lijst beschrijft onderwerpondersteuning in realtime agenten:

Voorwaardeknooppunt

Feature Support
If/Else-structuur Ondersteund
Power Fx-expressies Ondersteund
Herverwerking voor het vullen van slots Ondersteund

Bericht-knooppunt

Feature Support
Basisbericht Ondersteund
Berichtvariaties Supported
Variabele invoeging Supported
SSML Alleen spraakkanaal
Rich Media/Adaptieve kaarten  Alleen ondersteund voor digitale berichtenkanalen. Deze functie is beschikbaar als preview-versie. 
Snelle antwoorden Alleen ondersteund voor digitale berichtenkanalen. Deze functie is beschikbaar als preview-versie. 

Vraagknooppunt

Feature Support
Prompttekst Supported
Automatische pauze Niet ondersteund
Vullen van slots Supported
Gedrag voor overslaan/Greedy vullen van slots Supported
Opnieuw proberen Supported
Ongeldige verwerking van antwoorden Supported
Onderbreking van onderwerp Supported
Inbreken Alleen ondersteund voor een spraakkanaal.
Aangepast bericht voor herinnering Supported
DTMF-invoer Alleen ondersteund voor een spraakkanaal.
Stiltedetectie Alleen ondersteund voor een spraakkanaal.

HTTP-knooppunt

Feature Support
HTTP-methoden: GET, POST, PUT, PATCH, DELETE Ondersteund
URL-eindpunten Ondersteund
Headers en nettoladingen Ondersteund
Antwoordparsering en schema Ondersteund
Variabeletoewijzing Ondersteund
Foutafhandeling Ondersteund

Hulpprogrammaknooppunt

Feature Support
Power Automate-stroom Supported
Aanroepen van hulpprogramma's Supported
Invoer-/uitvoertoewijzing Supported
Nieuwe prompt Supported

Variabelewaardeknooppunt instellen

Feature Support
Letterlijke toewijzing Ondersteund
Expressietoewijzing Ondersteund
Van variabele naar variabele Ondersteund

Onderwerpbeheerknooppunt

Feature Support
Huidig onderwerp beëindigen Ondersteund
Alle onderwerpen beëindigen Ondersteund
Gesprek beëindigen Ondersteund
Ga naar stap Ondersteund
Gebruikersinvoer voor intentie herkennen Ondersteund
Naar een ander onderwerp gaan Ondersteund

Gespreksknooppunt overdragen

Feature Support
Overdracht naar agent Ondersteund
Overdracht van externe telefoonnummers Alleen ondersteund voor een spraakkanaal. 

Advanced

Feature Support
Generatieve antwoorden maken Ondersteund

Ondersteuning voor systeemtriggers

Trigger Support Details
Aan het begin van een gesprek Supported Wordt geactiveerd wanneer een nieuw gesprek begint
Tijdens gesprek met vertegenwoordiger Supported Wordt overgedragen naar menselijke agent
Onbekend onderwerp/bij onbekende intentie Niet ondersteund Noodoplossing als er geen enkel onderwerp overeenkomt
OnSelectIntent (meerdere onderwerpen komen overeen) Niet ondersteund Ondubbelzinnigheid tussen vergelijkbare onderwerpen
Gesprek opnieuw instellen (OnSystemRedirect) Supported Wist variabelen en start de stroom opnieuw
Bij Aanmelden Niet ondersteund
Onbekende DTMF-toetsindrukking Supported Niet-toegewezen toetsenbordinvoer. Alleen van toepassing op een spraakkanaal.
De agent kiest / Gebruiker zegt een zin Supported Agent selecteert onderwerp op basis van intentie
Er wordt een bericht ontvangen Niet ondersteund Verhoogt de latentie
Er vindt een aangepaste klantenevenement plaats Niet ondersteund Alleen bij het starten van de sessie
De gespreksupdate Niet ondersteund Leden toegevoegd of verwijderd, sessiewijzigingen
Wordt aangeroepen Niet ondersteund Vereist synchrone gebruikersinterface
Het wordt omgeleid Supported
De gebruiker is inactief gedurende een bepaalde periode. Supported Time-out bij inactiviteit van gebruiker Alleen van toepassing op digitale berichtenkanalen.
Stiltedetectie Supported Alleen van toepassing op een spraakkanaal.
Een plan is voltooid Niet ondersteund
AI-antwoord gegenereerd Niet ondersteund
Bij een fout Supported Afhandeling van orchestratiefouten

Variabelen doorgeven tussen onderwerpen en het taalmodel

Wanneer u onderwerpen in een hybride gespreksstroom gebruikt, is het essentieel om variabelen over te dragen tussen onderwerpen en het realtime taalmodel om betrouwbare, statusgevoelige interacties te creëren. Dit proces geldt over verschillende kanalen heen.

Deze functionaliteit werkt via het volgende proces:

  • U geeft invoervariabelen die zijn gedefinieerd voor een onderwerp tijdens aanroeptijd door aan het onderwerp, zodat het taalmodel gestructureerde gegevens kan leveren aan de deterministische stroom.

  • U retourneert uitvoervariabelen die zijn gedefinieerd voor een onderwerp naar het taalmodel aan het einde van de uitvoering van het onderwerp als gestructureerde sleutel-waardeparen.

  • De uitvoer van tooloproepen volgt hetzelfde patroon.

  • Het taalmodel wordt gevuld met gesprekscontext, waaronder uitvoersleutel-waardeparen voor hulpprogramma's. U retourneert echter alleen expliciet gedefinieerde uitvoervariabelen als gestructureerde gegevens.

  • De variabelebeschrijving helpt het model te begrijpen hoe de variabele tijdens een gesprek moet worden gebruikt. Geef duidelijke en beschrijvende definities.

Meer informatie vindt u in Onderwerpinvoer en -uitvoer beheren.

Meertalige ondersteuning

Voeg alle secundaire talen toe die u wilt. Lokalisatiereeksen zijn niet vereist voor realtime stroombanen. Voor deterministische onderwerpberichten moet u echter de vertaalde berichten opgeven. Meer informatie in Configureren en meertalige agents maken.

Het realtime model kan in veel talen begrijpen en erop reageren. Microsoft valideert echter niet alle talen voor algemene beschikbaarheid.

Vanaf juni 2026 zijn de volgende talen formeel gevalideerd:

  • Nederlands (Nederland) (nl-NL)
  • Engels (Australië) (en-AU)
  • Engels (Verenigde Staten) (en-US)
  • Engels (Verenigd Koninkrijk) (en-GB)
  • Frans (Canada) (fr-CA)
  • Frans (Frankrijk) (fr-FR)
  • Duits (Duitsland) (de-DE)
  • Italiaans (Italië) (it-IT)
  • Portugees (Brazilië) (pt-BR)
  • Spaans (Spanje) (es-ES)
  • Spaans (Verenigde Staten) (es-US)

Microsoft blijft andere talen valideren en toevoegen na voltooiing van de certificering. U kunt elke taal toevoegen die wordt ondersteund door Copilot Studio. Talen die niet volledig zijn gecertificeerd voor kwaliteit op GA-niveau, moeten echter grondig worden getest vóór de productie-implementatie.

Important

Technische taalmogelijkheden zijn niet gelijk aan een ondersteunde of gecertificeerde taal. Als u agents in andere talen dan Engels wilt implementeren, moet u uitgebreide tests uitvoeren met echte bellers en oproepstromen voordat u live gaat.

Contextvariabelen

Een real-time agent ondersteunt contextvariabelen die het in staat stellen intelligenter te handelen door informatie over het gesprek en de klant te vervoeren. De beschikbare contextvariabelen hangen af van het kanaal. Deze set omvat:

Contextvariabele Description
Kanaal-ID Identificeert het communicatiekanaal dat wordt gebruikt voor de interactie. Alleen van toepassing op een spraakkanaal.
Telefoonnummer van de beller (ANI) Het oorspronkelijke telefoonnummer van de beller. Alleen van toepassing op een spraakkanaal.
Nummer van de gebelde (DNIS) Het doeltelefoonnummer dat de beller heeft gebeld. Alleen van toepassing op een spraakkanaal.
Gespreks-id Een unieke id voor de actieve oproepsessie.
SIP-headers Ondersteunde SIP-header-sleutel-waardeparen die aan de oproep zijn gekoppeld. Alleen van toepassing op een spraakkanaal.
Huidige datum (UTC) De huidige datum in Coordinated Universal Time (UTC), die tijdens de uitvoertijd wordt verstrekt om te zorgen voor antwoorden die rekening houden met de datum.
Huidige tijd (UTC) De huidige tijd in Coordinated Universal Time (UTC), die tijdens de uitvoeringstijd wordt verstrekt om tijdafhankelijke antwoorden mogelijk te maken.

Lees meer over alle andere contextvariabelen, inclusief digitale berichtenvoering en aangepaste contextvariabelen, in Configureer contextvariabelen voor agenten.

Kanaalspecifieke instellingen

Stem van agent

Selecteer de stem die uw agent gebruikt door uw agent te selecteren en naar Instellingen>stem>selecteren te gaan. Realtime agenten ondersteunen de volgende stemmen:

  • Legering
  • Ash
  • Ballade
  • Coral
  • Echo
  • Sage
  • Shimmer
  • Vers
  • Marin
  • Cedar

Note

  • De agentstem is voor je realtime-agent en is niet de stem die is geconfigureerd in het Beheercentrum van Copilot Service.
  • Om de stemmen van je Dynamics-systeem af te stemmen op je realtime-agent, gebruik je uitsluitend de volgende ondersteunde stemmen: Alloy, Echo, Shimmer of Ash.
  • Agenten die Text LLM, GPT-5-Chat (Preview) gebruiken, genereren spraakantwoorden via Microsoft Neural Text-to-Speech (TTS). Dit model ondersteunt een bredere spraakcatalogus en aangepaste spraakmodellen, waardoor het geschikt is voor organisaties die branded voice-ervaringen of geavanceerde spraakaanpassing nodig hebben.

Spraakgevoeligheid

Spraakgevoeligheidsdetectie (VAD) bepaalt wanneer de agent moet reageren nadat de beller klaar is met spreken.

Inzicht in VAD-typen

Realtime agenten ondersteunen twee VAD-benaderingen:

Schermopname van het dialoogvenster Spraakgevoeligheid.

Servergebaseerde VAD - Gebaseerd op geluid (stilte)

  • Detecteert het einde van spraak op basis van audiosignalen (stilteduur, volume)

  • Reageert snel zodra stilte wordt gedetecteerd

  • Het meest geschikt voor gestructureerde interacties, korte antwoorden, lawaaierige omgevingen

Semantische VAD - Gebaseerd op zincontext

  • Bepaalt de voltooiing van de beurt op basis van de betekenis van wat er is gezegd

  • Wordt aangepast aan natuurlijke pauzes, opvulwoorden, volgspraak

  • Geschikt voor: Gespreksinteracties, complexe vragen, open discussies

Selecteer de juiste VAD

Gebruik op server gebaseerde VAD wanneer aan alle volgende voorwaarden wordt voldaan:

  • Interacties zijn gestructureerd (IVR-menunavigatie).
  • Antwoorden zijn kort en voorspelbaar.
  • Achtergrondruis is een probleem (semantische VAD kan te lang wachten).
  • U wilt snelle, soepele beurtwisselingen.

Gebruik semantische VAD wanneer aan alle volgende voorwaarden wordt voldaan:

  • Gesprekken zijn open en onbepaald.
  • Bellers kunnen aarzelen of vulwoorden gebruiken ('um', 'laat me denken...').
  • Vragen zijn complex (bellers leggen situaties uit).
  • De natuurlijke gespreksstroom heeft prioriteit.

Configureer servergebaseerde VAD

Ga naar Instellingen>Spraak>Telefooninstellingen>Stem Invoer>Gevoeligheid>Op basis van geluid (stilte).

Schermopname van het dialoogvenster Spraakgevoeligheid wanneer deze is ingesteld op Gebaseerd op geluid (stilte).

Kenmerk Description Verstek Aanbevolen bereik
Drempelwaarde Gevoeligheid voor spraak versus ruis (0-1 schaal) 0,6 0.5-0.7
Voorvoegselopvulling (ms) Audio vastgelegd voordat spraak wordt gestart 300 ms 200-500 ms
Stilteduur (ms) Stilte vereist om de beurt te beëindigen 750 ms 750-1000 ms

Threshold

  • Lager (0,3-0.4): Gevoeliger; haalt stille spraak op, kan worden geactiveerd op achtergrondruis.
  • Hoger (0,7-0.9): Minder gevoelig; vereist luider spraak, vermindert valse triggers.
  • Aanbevolen: Begin met 0,5; Verhoog als achtergrondgeluid valse triggers veroorzaakt.

Prefixopvulling

  • Legt audio vast vóór spraakdetectie (voorkomt dat het eerste woord wordt afgekapt).
  • Lager (200 ms): Sneller antwoord; kan de eerste lettergreep missen.
  • Hoger (500 ms): Veiliger vastleggen; lichte vertraging.
  • Aanbevolen: 300 ms (goed saldo).

Duur van stilte

  • Hoe lang de beller stil moet zijn voordat de agent reageert.
  • Lager (500 ms): Snelle turn-taking; kan onderbreken als de beller halverwege de gedachte pauzeert.
  • Hoger (1000 ms): Meer patiënt; voelt zich misschien traag.
  • Aanbevolen: Begin met 750 ms.

Semantische VAD configureren

Ga naar Settings>Voice>Phone Setup>Speech Input>Sensitivity>Op basis van zincontext.

Schermopname van het dialoogvenster Spraakgevoeligheid wanneer deze is ingesteld op Gebaseerd op zincontext.

Parameter: Gretigheid (hoe snel de agent reageert na semantische voltooiing)

Configuratie Gedrag Geschikt voor
Laag Wacht langer, erg geduldig Bellers die hardop denken, frequente pauzes
Gemiddeld Evenwichtig (standaard) Algemene gesprekken
Hoog Reageert snel Snelle interacties, eenvoudige vragen

DTMF-configuratie

Dual-Tone Multi-Frequency (DTMF) stelt bellers in staat informatie in te voeren met behulp van het telefoontoetsenbord.

U kunt DTMF voor uw agent inschakelen op zowel het onderwerp als globale niveaus. Als u deze op globaal niveau wilt instellen, selecteert u uw agent en gaat u naar>> instellingen voor>.

Important

Bij het bouwen van DTMF-only ervaringen configureer DTMF-invoer voor elke invoerknoop, inclusief menuselecties en meercijferige invoer zoals rekeningnummers of pincodes. Zorg ervoor dat alle mogelijke klantinvoerpaden bijbehorende DTMF-mappings hebben, zodat gebruikers het gesprek kunnen navigeren en afronden met alleen toetsenbordinvoer.

Stiltedetectie

Stiltedetectie stelt realtime agenten in staat om te herkennen wanneer een beller gedurende een bepaalde periode geen invoer levert. Stel stiltedetectie in als een globale spraakinstelling voor de agent door naar Instellingen>Spraak>Gespreksgedrag>Stiltedetectie te gaan.

Important

  • Stiltedetectie is niet standaard ingeschakeld. Als de gebruiker niet spreekt, wacht de agent voor onbepaalde tijd zonder te vragen. Schakel stiltedetectie expliciet in en configureer een reprompt bericht voor het afhandelen van stille bellers.
  • De standaard time-out voor stiltedetectie is 7000 ms (7 seconden). Valideer deze waarde op basis van uw specifieke use-case en aanroepomgeving voordat u implementeert in productie. Zeven seconden voelen zich mogelijk te lang voor sommige bellers of te kort voor anderen, afhankelijk van de aard van de interactie, bijvoorbeeld complexe vragen of lawaaierige omgevingen. Test met echte oproepgegevens om de juiste drempelwaarde voor uw scenario te bepalen.
  • Voordat u stiltedetectie inschakelt, moet u ervoor zorgen dat het gedrag dat u configureert in uw stiltedetectie-onderwerp (bijvoorbeeld Escaleren, Ophangen, Reprompt) opzettelijk en geschikt is voor uw gebruikssituatie. Onjuist geconfigureerd terugvalgedrag, zoals het per ongeluk instellen van de terugvaloptie op Escaleren wanneer het de intentie is om op te hangen, of andersom, kan leiden tot onverwachte gespreksresultaten.

Latentieberichten

Voeg latentiebericht of muziek toe aan uw agent wanneer achtergrondbewerkingen langer duren dan verwacht. Als u latentieberichten wilt configureren, gaat u naar Instellingen>Stem>Gesprek>Gespreksgedrag latentieberichten.

Important

Omdat de Text LLM real-time agentoplossing meerdere opeenvolgende stappen gebruikt (ASR, LLM, TTS), ervaren bellers enkele seconden stilte tussen het spreken en horen van een antwoord. Stel bijvoorbeeld passende verwachtingen bij gebruikers door een zin te gebruiken als "Een moment alsjeblieft, ik zoek dat voor je op...".

Schermopname van het dialoogvenster Latentieberichten.

Real-time evaluatie van agenten

Realtime agenten ondersteunen het verzenden van tekst tijdens de evaluatie, maar audioverwerking wordt niet ondersteund.