Åpenhetsmerknad om operasjonsagenten

Hva er en åpenhetsnotis?

Et AI-system inkluderer ikke bare teknologien, men også menneskene som bruker den, menneskene som påvirkes av den, og miljøet den brukes i. Å skape et system som passer til sitt tiltenkte formål krever forståelse av hvordan teknologien fungerer, hva dens kapasiteter og begrensninger er, og hvordan man oppnår best mulig ytelse. Microsofts åpenhetsnotater hjelper deg å forstå hvordan vår AI-teknologi fungerer, hvilke valg systemeiere kan ta som påvirker systemets ytelse og atferd, og viktigheten av å tenke på hele systemet, inkludert teknologien, menneskene og miljøet. Bruk åpenhetsnotater når du utvikler eller distribuerer ditt eget system, eller del dem med de som bruker eller er berørt av systemet ditt.

Microsofts åpenhetsnotater er en del av en bredere innsats hos Microsoft for å sette våre AI-prinsipper ut i praksis. For mer informasjon, se Microsoft AI-prinsippene.

Grunnleggende om agenten i Real-Time Intelligence Operations

Innføring

Real-Time Intelligence operations agent er en plattform for å lage agenter som overvåker datastrømmer, oppdager avvik eller forhold, og anbefaler handlinger basert på virkelige hendelser. Disse agentene automatiserer oppgaver, gir innsikt og støtter rettidig beslutningstaking. Ved å konfigurere forretningsmål, kunnskapskilder, handlinger og instruksjoner, lager agenten en plan for å spore mål, overvåke data og anvende regler for å oppdage tilstander. Agenten varsler brukerne med anbefalte handlinger dersom passende forhold oppstår.

Viktige termer

  • Kunnskapskilde: En databasetilkobling som agenten kan bruke til å finne og overvåke data.

  • Verktøy: En innebygd funksjonalitet som gjør det mulig for agenten å utføre oppgaver, som å generere strukturerte spørringer fra naturlig språk, utføre avviksdeteksjon og sende Microsoft Teams eller e-postmeldinger.

  • Tråd: En samtaleøkt mellom en agent og en bruker. Threads lagrer meldinger og håndterer automatisk trunkering for å tilpasse innholdet til modellens kontekst.

  • Spillbok: Agentens interne representasjon av enhetene, dataene, reglene og mulige handlinger som utgjør dens bruksanvisning.

  • Entitet: Et objekt i virksomheten din som agenten overvåker. For eksempel, i en sykkelutleievirksomhet kan sykler og dokkingstasjoner være relevante enheter. I flyplassledelsen er innsjekkingskøer, sikkerhetskontroller og passasjerer relevante enheter.

  • Forekomster: Spesifikke forekomster av en enhet, som for eksempel Bike 0451 eller Flight MS1234.

  • Regler: Forhold eller mønstre i data som agenten overvåker før anbefalinger gis.

  • Autonome regler: Regler som har handlinger knyttet til som agenten har lov til å utføre uten menneskelig bekreftelse først.

Funksjoner

Systemvirkemåte

Når du oppretter en driftsagent, konfigurerer du følgende innstillinger: forretningsmål, kunnskapskilder, mulige handlinger og instruksjoner. Med disse inputene bruker agenten store språkmodeller (LLM-er) for å lage en playbook av entiteter, kartlagt data og regler å overvåke. Du kan forbedre modellen ved å justere mål og instruksjoner. Når du aktiverer agenten, overvåker agenten data i bakgrunnen. Når forholdene samsvarer med reglene, analyserer den dataene, identifiserer årsaken og anbefaler tiltak for å nå forretningsmål.

Agenten varsler deg via Teams med naturlige språkvarsler, slik at du holdes oppdatert på de første anbefalingene. Du kan godkjenne, avvise eller gjøre regelen autonom, slik at agenten kan handle uten ytterligere bekreftelse.

Fordi agenten bruker LLM-er for å lage agentens playbook og anbefale handlinger, bør du:

  • Gå nøye gjennom atferdsmodellen før du starter agenten.

  • Følg nøye med på agentens anbefalinger, og bekreft resonnementet den bruker for å gi anbefalinger før du handler.

  • Gå nøye gjennom alle autonome regler du lager sammen med agenten. Disse reglene styrer handling automatisk.

Brukssaker

Tiltenkte bruksområder

Du kan bruke operasjonsagenter i ulike scenarioer. Systemets tiltenkte bruksområder inkluderer:

  • Sykkelutleiehåndtering: Du kan konfigurere driftsagenten til kontinuerlig å overvåke sykkeltilgjengelighet på ulike stasjoner ved å bruke sanntidsdata. Sett et mål for å sikre tilgjengeligheten av sykler, slik at den finner riktige spørringer for å spore verdien for hver dokkingstasjon.

  • Optimalisering av vindturbiner: Agenten overvåker data fra vindparker, og sporer målinger som effektutgang, samt retning og vinkel på bladene. Den ser etter avvik eller fall i effektutgangen og anbefaler justeringer av driftsparametrene.

  • Lagerlagerbalansering: Agenten overvåker lagernivåer på tvers av flere lagre i sanntid. Sett et mål om å opprettholde optimal lagerfordeling og unngå lagermangel eller overlager.

  • Utgiftsoppfølging: Gi agenten tilgang til data om utgiftsforespørsler og rapporter. Be den flagge utgifter som ikke følger vanlige regler, og oppdage avvik i langsiktige mønstre for hver ansatt eller kostnadssenter.

  • Automatisering av hendelsesrespons: Agenten overvåker logger og telemetri fra IT-infrastruktur for tegn på tjenesteforringelse eller sikkerhetsavvik. Målet er å redusere gjennomsnittlig tid til deteksjon (MTTD) og gjennomsnittlig tid til oppløsning (MTTR).

Vurderinger når du velger andre brukstilfeller

Vi oppfordrer deg til å bruke driftsagenter i dine innovative løsninger eller applikasjoner. Vurder imidlertid følgende faktorer for å sikre at agenten passer til ditt spesifikke brukstilfelle:

  • Unngå situasjoner der bruk eller misbruk av systemet kan føre til betydelig fysisk eller psykisk skade på en person. Scenarioer som diagnostiserer pasienter eller foreskriver medisiner, har for eksempel potensial til å forårsake betydelig skade.

  • Unngå situasjoner der bruk eller misbruk av systemet kan ha konsekvenser for livsmuligheter eller juridisk status. Eksempler inkluderer scenarioer der AI-systemet eller agenten kan påvirke en persons juridiske status, juridiske rettigheter, eller tilgang til kreditt, utdanning, arbeid, helsetjenester, bolig, forsikring, sosiale velferdsytelser, tjenester, muligheter eller vilkårene de tilbys på.

  • Unngå situasjoner med høye innsatser som kan føre til skade. Modellen som brukes i en agent kan reflektere visse samfunnsmessige synspunkter, skjevheter og annet uønsket innhold som finnes i treningsdataene eller eksemplene som gis i prompten. Som et resultat advarer vi mot å bruke agenter i situasjoner med høye innsatser der urettferdig, upålitelig eller støtende atferd kan bli kostbar eller føre til skade.

  • Vurder nøye bruksområder i et område med høye innsatser eller bransjer hvor agenthandlinger er irreversible eller svært betydningsfulle. Slike bransjer inkluderer, men er ikke begrenset til, helsevesen, medisin, finans eller juridiske områder.

  • Juridiske og regulatoriske hensyn. Organisasjoner må vurdere potensielle spesifikke juridiske og regulatoriske forpliktelser når de bruker AI-tjenester og løsninger, som kanskje ikke er egnet for bruk i alle bransjer eller scenarioer. Begrensninger kan variere basert på regionale eller lokale forskriftsmessige krav. Ai-tjenester eller løsninger er i tillegg ikke utformet for og kan ikke brukes på måter som er forbudt i gjeldende tjenestevilkår og relevante regler for god oppførsel.

Begrensninger

Tekniske begrensninger, driftsfaktorer og områder

  • Til tross for intensiv opplæring fra OpenAI og implementering av ansvarlige AI-kontroller fra Microsoft, er AI-tjenester feilbarlige og sannsynlighetsbaserte. Denne begrensningen gjør det utfordrende å fullstendig blokkere alt upassende innhold, noe som kan føre til potensielle skjevheter, stereotypier eller ubegrunnet innhold i AI-generert innhold. For mer om de kjente begrensningene ved AI-generert innhold, se Transparency Note for Azure OpenAI, som inkluderer referanser til LLM-ene bak operasjonsagenter.

  • Du kan gi driftsagenter et bredt spekter av instruksjoner og mål. Den sannsynlighetsbaserte naturen til LLM-atferdsmodellene betyr at du kanskje ikke kan tilpasse agentene til dine behov. Beskrivelsen av agentens atferdsmodell genereres også med AI, så den er kanskje ikke helt nøyaktig.

  • For å bruke driftsagenter effektivt, trenger du opplæring for å kunne samhandle effektivt med og dra nytte av tjenesten.

  • Avanserte AI-modeller krever betydelige beregningsressurser, noe som kan påvirke ytelsen, spesielt i ressursbegrensede miljøer. Du kan oppleve forsinkelses- eller ytelsesproblemer under toppbelastning.

  • Fordi agenter kombinerer LLM-er med eksterne systemer, kan det være vanskelig å forstå hvorfor de valgte bestemte verktøy eller kombinasjoner for å svare på en forespørsel. Denne utfordringen kompliserer tillit og verifisering av agentens resultater eller handlinger.

  • Organisasjoner må vurdere sine spesifikke juridiske og compliance-forpliktelser når de bruker driftsagenter, spesielt i regulerte bransjer. Microsoft undersøker forskriftsmessige krav som gjelder for Microsoft som leverandør av teknologien og adresserer dem i produktet gjennom en kontinuerlig forbedringsprosess.

  • Gjennom agentbrukeropplevelsen kan du raskt avbryte eller stenge agenten når som helst. Denne handlingen stopper overvåkingen av nye data og alle nye tiltak agenten måtte anbefale eller gjennomføre. Handlinger som agenten startet i andre systemer (for eksempel å starte en Power Automate-arbeidsflyt) stopper kanskje ikke umiddelbart. Agenten starter disse handlingene som uavhengige prosesser som du må håndtere i de andre produktopplevelsene.

  • Meldinger mellom agent og bruker leveres via Teams. Når du sender meldinger til agenten, behandler Azure Bot Service meldingene. Bruken av Azure AI Bot Service har en teknisk begrensning at hver bot kun kan ha ett globalt endepunkt. For Teams-førstepartsroboter sendes forespørsler til det globale endepunktet og omdirigeres deretter til et regionalt endepunkt nær brukeren. Operasjonsagentere bruker et endepunkt plassert i EU, noe som betyr at brukerdataene dine kan flyttes utenfor ditt geografiske område for behandling.

Systemytelse

I AI-systemer er ytelsen ofte knyttet til nøyaktighet (hvor ofte systemet gir riktige resultater). For driftsagenter er ytelsen mer fleksibel, fordi brukere kan tolke utdataene annerledes. Feil oppstår vanligvis når agenten misforstår mål, data eller nøkkelenheter i forretningsprosessen. Når agenten kommer med anbefalinger, bør brukerne nøye gjennomgå konteksten som er gitt før de godkjenner handlinger.

Anbefalte fremgangsmåter for å forbedre systemytelsen

For å oppnå best mulig resultater med driftsagenter, bør du fokusere på å lage detaljerte, velstrukturerte prompter. Målene og instruksjonene du gir hjelper agenten med å identifisere riktige datapunkter og regler for å overvåke endringer over tid. Forbedre nøyaktigheten ved å eksplisitt definere dataverdiene og betingelsene agenten bør overvåke. Beskriv tydelig hvordan handlinger påvirker utfall og hvordan overvåkede verdier forventes å endre seg.

Data av høy kvalitet er like viktig. Sørg for at datastrukturer er godt organiserte, med meningsfulle kolonnenavn i stedet for kodede verdier. Flatt ut nestede hendelsesdata der det er mulig. Denne strukturen gjør det enklere for agenten å finne og overvåke relevant informasjon effektivt.

Evaluering av operasjonsagenter

Evalueringsmetoder

Operations agent-plattformen bruker en grundig, flertrinns prosess for å evaluere nøyaktighet, sikkerhet og kontinuerlig forbedring. Kjernen er en tretrinns syklus: spor,>iterer,>evaluer. Denne syklusen starter med å implementere telemetri for å overvåke agentens beslutningsprosesser, inkludert planlegging, ontologidannelse, dataforankring, regelgenerering og gjennomføring. Evalueringsdatasett kommer fra virkelige brukstilfeller og syntetiske data som introduserer variasjon. Du måler måleparametere som nøyaktighet, konvergens, feilrater og sikkerhet gjennom hele agentens livssyklus, fra utvikling til produksjon.

Evalueringsmiljøet speiler produksjonsforholdene og legger vekt på separasjon mellom utviklings- og evalueringspipelines for å unngå skjevhet. Du kuraterer manuelt de første datasettene og definerer forventede ontologier og utdata på forhånd. Senere skalerer du disse datasettene ved å bruke syntetisk generering. Datasettene fokuserer på operative mål som er relevante for forretningsovervåking og beslutningstaking. Selv om de representerer virkelige scenarioer, inkluderer de ennå ikke bredere brukergrupper eller dynamiske målkonfigurasjoner. Denne tilnærmingen holder evalueringene fokuserte, reproduserbare og i tråd med ansvarlige AI-prinsipper.

Evalueringsresultater

Våre evalueringsprosesser bruker en strukturert metodikk for sporing>, itererer>. Vi legger inn evalueringer i hvert trinn i agentens beslutningssløyfer. Disse evalueringene bekreftet at agenten konsekvent produserer nøyaktige ontologier, genererer gyldige og relevante spørringer, og velger passende handlinger i tråd med brukerens mål. Disse resultatene støtter systemets samsvar med ansvarlighetsmålene, spesielt ved å sikre at det fungerer som forventet i reelle operasjonelle sammenhenger.

Trenings- og testdatasettene som ble brukt i evalueringen, ble nøye kuratert for å reflektere et bredt spekter av operative scenarier. Du konstruerte manuelt innledende datasett fra virkelige brukstilfeller, med klart definerte forventede resultater, inkludert ontologier og spørringsresultater. Senere utvidet du disse datasettene ved å bruke syntetisk generering for å øke variasjon og dekning. Du designet datasettene for å representere hvilke typer mål og datamiljøer agenten forventes å møte, inkludert variasjoner i skjemakompleksitet, datatilgjengelighet og brukerintensjon. Denne tilnærmingen sikret at evalueringen fanget et representativt spekter av operative faktorer og innstillinger, og støttet ansvarlig systemutvikling og implementering.

Evalueringsresultater påvirket flere viktige designbegrensninger i systemet. For eksempel innførte vi begrensninger på maksimal spørringsstørrelse og minimal ontologikompleksitet for å sikre jevn ytelse og redusere feilrater. Selv om resultatene i stor grad er relevante for mange operative overvåkings- og beslutningsstøttescenarier, inkluderte den innledende evalueringen ikke enkelte områder, som dynamisk målomkonfigurering og samarbeid mellom flere agenter. Disse områdene representerer muligheter for fremtidig testing og utvikling.

Evaluering og integrering av driftsagenter for din bruk

En agents atferd formes av instruksjonene, målene, dataene og handlingene du gir. Presise prompts og rene, godt organiserte data med intuitive kolonnenavn forbedrer nøyaktigheten og reduserer feil.

Etter at du har konfigurert agenten, valider agentens atferdsmodeller og regler ved å gjennomgå KQL-spørringer for å sikre samsvar med forretningsprosesser. Selv om regelbaserte betingelser utløser agenten, kan dens LLM-genererte anbefalinger inneholde unøyaktigheter, så gjennomgå alltid resultater før du handler.

Svært responsive agenter kan føre til overdrevne varsler eller overforbruk av automatiserte handlinger, noe som potensielt kan føre til systemustabilitet. Å redusere risiko, justere regler, gjennomføre regelmessige revisjoner, simulere kanttilfeller og designe grensesnitt som fremmer åpenhet. For eksempel, vis selvtillitsscore og klare forklaringer på anbefalinger.

Relatert innhold

  • Last updated on