Transparantienotitie van operations-agent

Wat is een transparantienotitie?

Een AI-systeem bevat niet alleen de technologie, maar ook de mensen die het gebruiken, de mensen die er last van hebben en de omgeving waarin het wordt geïmplementeerd. Voor het maken van een systeem dat geschikt is voor het beoogde doel, moet u begrijpen hoe de technologie werkt, wat de mogelijkheden en beperkingen zijn en hoe u de beste prestaties kunt behalen. Microsoft-transparantienotities helpen u inzicht te krijgen in de werking van onze AI-technologie, de keuzes die systeemeigenaren kunnen maken die de prestaties en het gedrag van het systeem beïnvloeden, en het belang van nadenken over het hele systeem, inclusief de technologie, de mensen en de omgeving. Gebruik transparantienotities bij het ontwikkelen of implementeren van uw eigen systeem, of deel ze met de personen die uw systeem gebruiken of worden beïnvloed.

Microsoft-notities over transparantie maken deel uit van een bredere inspanning van Microsoft om onze AI-principes in de praktijk te brengen. Zie de Microsoft AI-principes voor meer informatie.

De basisbeginselen van de Real-Time Intelligence Operations Agent

Introductie

De Real-Time Intelligence Operations Agent is een platform voor het maken van agents die gegevensstromen bewaken, afwijkingen of voorwaarden detecteren en acties aanbevelen op basis van echte gebeurtenissen. Deze agents automatiseren taken, bieden inzichten en ondersteunen tijdige besluitvorming. Door bedrijfsdoelen, kennisbronnen, acties en instructies te configureren, maakt de agent een plan om doelen bij te houden, gegevens te bewaken en regels toe te passen om voorwaarden te detecteren. De agent informeert gebruikers over aanbevolen acties bij de juiste voorwaarden.

Belangrijkste termen

  • Kennisbron: een databaseverbinding die de agent kan gebruiken om gegevens te zoeken en te bewaken.

  • Hulpprogramma: Een ingebouwde functionaliteit waarmee de agent taken kan uitvoeren, zoals het genereren van gestructureerde query's uit natuurlijke taal, het uitvoeren van anomaliedetectie en het verzenden van Microsoft Teams of e-mailberichten.

  • Thread: Een gesprekssessie tussen een agent en een gebruiker. Threads slaan berichten op en behandelen automatisch inkorting om inhoud binnen de context van een model te passen.

  • Playbook: de interne weergave van de entiteiten, gegevens, regels en mogelijke acties die de handleiding vormen van de agent.

  • Entiteit: Een object in uw bedrijf dat door de agent wordt bewaakt. In een fietsverhuurbedrijf kunnen fietsen en dockingstations bijvoorbeeld relevante entiteiten zijn. In luchthavenbeheer zijn check-inlijnen, beveiligingscontrolepunten en passagiers relevante entiteiten.

  • Exemplaren: Specifieke exemplaren van een entiteit, zoals Bike 0451 of Flight MS1234.

  • Regels: Voorwaarden of patronen in gegevens waarop de agent controleert voordat ze aanbevelingen doen.

  • Autonome regels: regels waaraan acties zijn gekoppeld die de agent mag uitvoeren zonder menselijke bevestiging eerst.

Capabilities

Systeemgedrag

Wanneer u een operations-agent maakt, configureert u de volgende instellingen: bedrijfsdoelen, kennisbronnen, mogelijke acties en instructies. Met deze invoer gebruikt de agent grote taalmodellen (LLM's) om een playbook met entiteiten, toegewezen gegevens en regels te maken die moeten worden bewaakt. U kunt het model verfijnen door doelen en instructies aan te passen. Wanneer u de agent activeert, bewaakt de agent gegevens op de achtergrond. Wanneer voorwaarden overeenkomen met de regels, worden de gegevens geanalyseerd, de oorzaak geïdentificeerd en worden acties aanbevolen om bedrijfsdoelen te bereiken.

De agent waarschuwt u via Teams met waarschuwingen in natuurlijke taal, waardoor u op de hoogte blijft van eerste aanbevelingen. U kunt de regel autonoom goedkeuren, afwijzen of autonoom maken, zodat de agent zonder verdere bevestiging kan handelen.

Omdat de agent LLM's gebruikt om het playbook van de agent te maken en acties aan te bevelen, moet u het volgende doen:

  • Controleer het gedragsmodel zorgvuldig voordat u de agent start.

  • Controleer de aanbevelingen van de agent nauwkeurig en bevestig de redenering die wordt gebruikt om aanbevelingen te doen voordat u actie ondergaat.

  • Bekijk zorgvuldig alle autonome regels die u met de agent maakt. Deze regels sturen automatisch actie.

Gebruikssituaties

Beoogde gebruik

U kunt operations agents in verschillende scenario's gebruiken. De beoogde toepassingen van het systeem zijn onder andere:

  • Fietsverhuurbeheer: U kunt de operationele agent configureren om de beschikbaarheid van fietsen op verschillende stations voortdurend te bewaken met behulp van realtime gegevens. Stel een doel in om de beschikbaarheid van fietsen te garanderen, zodat de juiste query's worden gevonden om die waarde voor elk dockingstation bij te houden.

  • Optimalisatie van windturbines: De agent bewaakt gegevens die afkomstig zijn van windmolens, het bijhouden van metrische gegevens zoals stroomuitvoer en richting en hoek van blades. Het zoekt naar afwijkingen of dips in de stroomuitvoer en beveelt aanpassingen aan de bedrijfsparameters aan.

  • Magazijninventarisverdeling: De agent bewaakt voorraadniveaus in meerdere magazijnen in realtime. Stel een doel in om een optimale voorraaddistributie te behouden en voorraad- of overvoorraad te voorkomen.

  • Onkostenbewaking: geef de agent toegang tot gegevens over onkostenaanvragen en -rapporten. Vraag het om uitgaven te markeren die niet voldoen aan algemene regels en om afwijkingen te herkennen in patronen op langere termijn voor elke werknemer of kostenplaats.

  • Automatisering van reactie op incidenten: de agent bewaakt it-infrastructuurlogboeken en telemetriegegevens op tekenen van servicedegradatie of beveiligingsafwijkingen. Het doel is om de gemiddelde tijd tot detectie (MTTD) en de gemiddelde tijd tot oplossen (MTTR) te verkorten.

Overwegingen bij het kiezen van andere gebruiksgevallen

We raden u aan om operationele agents toe te passen in uw innovatieve oplossingen of toepassingen. Houd echter rekening met de volgende factoren om ervoor te zorgen dat de agent geschikt is voor uw specifieke use-case:

  • Vermijd scenario's waarbij het gebruik of misbruik van het systeem kan leiden tot aanzienlijke fysieke of psychologische letsels voor een persoon. Scenario's die patiënten diagnosticeren of medicijnen voorschrijven, kunnen bijvoorbeeld aanzienlijke schade veroorzaken.

  • Vermijd scenario's waarbij het gebruik of misbruik van het systeem gevolg kan hebben van gevolgschade op de kansen of juridische status van het leven. Voorbeelden hiervan zijn scenario's waarbij het AI-systeem of de agent van invloed kan zijn op de wettelijke status van een persoon, wettelijke rechten of toegang tot krediet, onderwijs, werkgelegenheid, gezondheidszorg, huisvesting, verzekering, sociale uitkeringen, diensten, kansen of de voorwaarden waarop ze worden verstrekt.

  • Vermijd scenario's met hoge inzet die tot schade kunnen leiden. Het model dat in een agent wordt gebruikt, kan bepaalde maatschappelijke opvattingen, vooroordelen en ongewenste inhoud weerspiegelen die aanwezig is in de trainingsgegevens of de voorbeelden in de prompt. Als gevolg hiervan waarschuwen we tegen het gebruik van agents in scenario's met hoge belangen waarbij oneerlijk, onbetrouwbaar of aanstootgevend gedrag kostbaar kan zijn of tot schade kan leiden.

  • Overweeg zorgvuldig gebruiksvoorbeelden in een domein of branche met hoge belangen, waarbij agentacties niet ongedaan kunnen worden of zeer consequent zijn. Dergelijke industrieën omvatten maar zijn niet beperkt tot gezondheidszorg, geneeskunde, financiën of juridische domeinen.

  • Juridische en wettelijke overwegingen. Organisaties moeten potentiële specifieke wettelijke en regelgevende verplichtingen beoordelen bij het gebruik van AI-services en -oplossingen, die mogelijk niet geschikt zijn voor gebruik in elke branche of elk scenario. Beperkingen kunnen variëren op basis van regionale of lokale wettelijke vereisten. Bovendien zijn AI-services of -oplossingen niet ontworpen voor en worden ze mogelijk niet gebruikt op manieren die verboden zijn in toepasselijke servicevoorwaarden en relevante gedragscodes.

Beperkingen

Technische beperkingen, operationele factoren en reikwijdten

  • Ondanks intensieve training door OpenAI en de implementatie van verantwoorde AI-controles door Microsoft, zijn AI-services valbaar en probabilistisch. Deze beperking maakt het lastig om alle ongepaste inhoud uitgebreid te blokkeren, wat leidt tot potentiële vooroordelen, stereotypen of onaardigheid in door AI gegenereerde inhoud. Zie De transparantienotitie voor Azure OpenAI, inclusief verwijzingen naar de LLM's achter bewerkingsagents voor meer informatie over de bekende beperkingen van door AI gegenereerde inhoud.

  • U kunt operations agents een breed scala aan instructies en doelstellingen geven. De probabilistische aard van de LLM-gedragsmodellen betekent dat u de agents mogelijk niet kunt afstemmen op uw vereisten. De beschrijving van het gedragsmodel van de agent wordt ook gegenereerd met behulp van AI, dus het is mogelijk niet volledig nauwkeurig.

  • Als u bewerkingsagents effectief wilt gebruiken, hebt u training nodig om effectief te communiceren met en te profiteren van de service.

  • Voor geavanceerde AI-modellen zijn aanzienlijke rekenresources vereist, die invloed kunnen hebben op de prestaties, met name in omgevingen met beperkte resources. Mogelijk ondervindt u latentie- of prestatieproblemen tijdens piekmomenten.

  • Omdat agents LLM's combineren met externe systemen, kan het lastig zijn om te begrijpen waarom het bepaalde hulpprogramma's of combinaties van hulpprogramma's heeft gekozen om een query te beantwoorden. Deze uitdaging bemoeilijkt het vertrouwen en de verificatie van de uitvoer of acties van de agent.

  • Organisaties moeten rekening houden met hun specifieke wettelijke en nalevingsverplichtingen bij het gebruik van bedrijfsagenten, met name in gereglementeerde branches. Microsoft onderzoekt wettelijke vereisten die van toepassing zijn op Microsoft als leverancier van de technologie en pakt deze aan binnen het product door middel van een proces van continue verbetering.

  • Via de gebruikerservaring van de agent kunt u de agent snel onderbreken of afsluiten. Deze actie stopt de bewaking van nieuwe gegevens en eventuele nieuwe acties die de agent kan aanbevelen of uitvoeren. Acties die door de agent worden aangeroepen in andere systemen (bijvoorbeeld het starten van een Power Automate-werkstroom) worden mogelijk niet onmiddellijk gestopt. De agent start deze acties als onafhankelijke processen die u moet beheren in die andere productervaringen.

  • Berichten tussen de agent en de gebruiker worden bezorgd via Teams. Wanneer u berichten naar de agent verzendt, verwerkt Azure Bot Service de berichten. Het gebruik van Azure AI Bot Service heeft een technische beperking die elke bot slechts één globaal eindpunt kan hebben. Voor bots van teams worden aanvragen verzonden naar het globale eindpunt en vervolgens omgeleid naar een regionaal eindpunt in de buurt van de gebruiker. Operations-agenten gebruiken een eindpunt in de EU, wat betekent dat uw gebruikersgegevens buiten uw geografische regio kunnen worden verplaatst voor verwerking.

Systeemprestaties

In AI-systemen worden prestaties vaak gekoppeld aan nauwkeurigheid (hoe vaak het systeem juiste uitvoer biedt). Voor operations-agents is de prestaties flexibeler, omdat gebruikers uitvoer anders kunnen interpreteren. Fouten treden meestal op wanneer de agent doelen, gegevens of belangrijke entiteiten in het bedrijfsproces verkeerd begrijpt. Wanneer de agent aanbevelingen doet, moeten gebruikers zorgvuldig de context controleren die is opgegeven voordat ze acties goedkeuren.

Aanbevolen procedures voor het verbeteren van systeemprestaties

Als u de beste resultaten wilt behalen met bewerkingsagenten, richt u zich op het maken van gedetailleerde, goed gestructureerde prompts. De doelen en instructies die u biedt, helpen de agent bij het identificeren van de juiste gegevenspunten en regels voor het bewaken van wijzigingen in de loop van de tijd. Verbeter de nauwkeurigheid door expliciet de gegevenswaarden en voorwaarden te definiëren die de agent moet bewaken. Geef duidelijk aan hoe acties van invloed zijn op resultaten en hoe bewaakte waarden naar verwachting zullen veranderen.

Gegevens van hoge kwaliteit zijn even belangrijk. Zorg ervoor dat gegevensstructuren goed zijn ingedeeld, met zinvolle kolomnamen in plaats van gecodeerde waarden. Maak geneste gebeurtenisgegevens indien mogelijk plat. Deze structuur maakt het gemakkelijker voor de agent om de relevante informatie effectief te vinden en te bewaken.

Evaluatie van bewerkingsagenten

Evaluatiemethoden

Het Operations Agent-platform maakt gebruik van een strikt proces met meerdere fases om nauwkeurigheid, veiligheid en continue verbetering te evalueren. De kern is een cyclus met drie fasen: herleiden>itereren>evalueren. Deze cyclus begint met het implementeren van telemetrie om de besluitvormingsprocessen van de agent te bewaken, waaronder planning, ontologievorming, gegevensgronding, regelgeneratie en uitvoering. Evaluatiegegevenssets zijn afkomstig uit praktijkgebruiksvoorbeelden en synthetische gegevens die variabiliteit introduceert. U meet metrische gegevens, zoals nauwkeurigheid, convergentie, foutpercentages en veiligheid gedurende de levenscyclus van de agent, van ontwikkeling tot productie.

De evaluatieomgeving weerspiegelt productieomstandigheden en benadrukt de scheiding tussen ontwikkelings- en evaluatiepijplijnen om vooroordelen te voorkomen. U beheert handmatig initiële gegevenssets en definieert vooraf verwachte ontologieën en uitvoer. Later schaalt u deze gegevenssets met behulp van synthetische generatie. De gegevenssets richten zich op operationele doelstellingen die relevant zijn voor bedrijfsbewaking en besluitvorming. Hoewel ze praktijkscenario's vertegenwoordigen, bevatten ze nog geen bredere gebruikerspopulaties of dynamische doelconfiguraties. Deze aanpak houdt evaluaties gericht, reproduceerbaar en afgestemd op verantwoorde AI-principes.

Evaluatieresultaten

Onze evaluatieprocessen maken gebruik van een gestructureerde trace>-iteratie>-evaluatie-methodologie. We sluiten evaluaties in in elke fase van de besluitvormingslussen van de agent. Deze evaluaties hebben bevestigd dat de agent consistent nauwkeurige ontologieën produceert, geldige en relevante query's genereert en de juiste acties selecteert die zijn afgestemd op de doelstellingen van de gebruiker. Deze resultaten ondersteunen de afstemming van het systeem op verantwoordingsdoelstellingen, met name om ervoor te zorgen dat het werkt zoals verwacht in operationele contexten in de praktijk.

De trainings- en testgegevenssets die in de evaluatie worden gebruikt, zijn zorgvuldig samengesteld om een breed scala aan operationele scenario's weer te geven. U hebt handmatig initiële gegevenssets samengesteld uit praktijkgebruiksvoorbeelden, met duidelijk gedefinieerde verwachte uitvoer, waaronder ontologieën en queryresultaten. Later hebt u deze gegevenssets uitgebreid met behulp van synthetische generatie om de variabiliteit en dekking te vergroten. U hebt de gegevenssets ontworpen om de typen doelen en gegevensomgevingen te vertegenwoordigen die de agent zal tegenkomen, waaronder variaties in schemacomplexiteit, beschikbaarheid van gegevens en gebruikersintentie. Deze aanpak zorgde ervoor dat de evaluatie een representatief scala aan operationele factoren en instellingen vastlegde, ter ondersteuning van verantwoorde systeemontwikkeling en -implementatie.

Evaluatieresultaten hebben verschillende belangrijke ontwerpbeperkingen in het systeem beïnvloed. We hebben bijvoorbeeld limieten geïntroduceerd voor maximale querygrootte en minimale ontologiecomplexiteit om consistente prestaties te garanderen en foutenpercentages te verminderen. Hoewel de resultaten breed van toepassing zijn op veel operationele bewakings- en beslissingsondersteuningsscenario's, bevat de eerste evaluatie geen enkele gebieden, zoals het opnieuw configureren van dynamische doelen en samenwerking met meerdere agents. Deze gebieden vertegenwoordigen kansen voor toekomstige tests en ontwikkeling.

Operations Agents evalueren en integreren voor uw gebruik

Het gedrag van een agent wordt gevormd door de instructies, doelen, gegevens en acties die u opgeeft. Nauwkeurige prompts en overzichtelijke, goed georganiseerde gegevens met intuïtieve kolomnamen verbeteren de nauwkeurigheid en verminderen fouten.

Nadat u de agent hebt geconfigureerd, valideert u de gedragsmodellen en -regels van de agent door KQL-query's te controleren om te zorgen voor afstemming met bedrijfsprocessen. Hoewel voorwaarden op basis van regels de agent activeren, kunnen de door LLM gegenereerde aanbevelingen onnauwkeurigheden bevatten, dus controleer altijd de uitvoer voordat u actie onderneemt.

Zeer responsieve agents kunnen leiden tot overmatige meldingen of overmatig gebruik van geautomatiseerde acties, waardoor systeeminstabiliteit mogelijk wordt veroorzaakt. U kunt risico's beperken door regels aan te passen, regelmatig controles uit te voeren, edge-cases en ontwerpinterfaces te simuleren die transparantie bevorderen. Toon bijvoorbeeld betrouwbaarheidsscores en duidelijke uitleg voor aanbevelingen.

Verwante inhoud

  • Last updated on