Transparensanteckning för operationsagent

Vad är en transparensanteckning?

Ett AI-system innehåller inte bara tekniken utan även de personer som använder den, de personer som påverkas av den och miljön där den distribueras. Att skapa ett system som passar för det avsedda ändamålet kräver en förståelse för hur tekniken fungerar, vilka dess funktioner och begränsningar är och hur man uppnår bästa prestanda. Microsofts transparensanteckningar hjälper dig att förstå hur vår AI-teknik fungerar, vilka val systemägare kan göra som påverkar systemets prestanda och beteende samt vikten av att tänka på hela systemet, inklusive teknik, människor och miljö. Använd transparensanteckningar när du utvecklar eller distribuerar ditt eget system eller delar dem med de personer som använder eller påverkas av systemet.

Microsofts transparensanteckningar är en del av ett bredare arbete hos Microsoft för att omsätta våra AI-principer i praktiken. Mer information finns i Microsoft AI-principerna.

Grunderna i operationsagenten för Realtidsintelligens

Introduction

operationsagenten Real-Time Intelligence är en plattform för att skapa agenter som övervakar dataströmmar, identifierar avvikelser eller villkor och rekommenderar åtgärder baserat på verkliga händelser. Dessa agenter automatiserar uppgifter, ger insikter och stöder beslutsfattande i tid. Genom att konfigurera affärsmål, kunskapskällor, åtgärder och instruktioner skapar agenten en plan för att spåra mål, övervaka data och tillämpa regler för att identifiera villkor. Agenten meddelar användare med rekommenderade åtgärder om lämpliga villkor inträffar.

Viktiga termer

  • Kunskapskälla: En databasanslutning som agenten kan använda för att hitta och övervaka data.

  • Verktyg: En inbyggd funktion som gör det möjligt för agenten att utföra uppgifter, till exempel att generera strukturerade frågor från naturligt språk, utföra avvikelseidentifiering och skicka Microsoft Teams eller e-postmeddelanden.

  • Tråd: En konversationssession mellan en agent och en användare. Trådar lagrar meddelanden och hanterar automatiskt trunkering för att passa in innehåll i en modells kontext.

  • Spelbok: Agentens interna representation av entiteter, data, regler och möjliga åtgärder som utgör dess drifthandbok.

  • Entitet: Ett objekt i din verksamhet som agenten övervakar. I ett cykeluthyrningsföretag kan till exempel cyklar och dockningsstationer vara relevanta entiteter. I flygplatshantering är incheckningslinjer, säkerhetskontroller och passagerare relevanta entiteter.

  • Instanser: Specifika förekomster av en entitet, till exempel Bike 0451 eller Flight MS1234.

  • Regler: Villkor eller mönster i data som agenten övervakar innan de gör rekommendationer.

  • Autonoma regler: Regler som har associerade åtgärder som agenten får vidta utan en mänsklig bekräftelse först.

Capabilities

Systembeteende

När du skapar en driftagent konfigurerar du följande inställningar: affärsmål, kunskapskällor, möjliga åtgärder och instruktioner. Med dessa indata använder agenten stora språkmodeller (LLM) för att skapa en spelbok med entiteter, mappade data och regler som ska övervakas. Du kan förfina modellen genom att justera mål och instruktioner. När du aktiverar agenten övervakar agenten data i bakgrunden. När villkoren matchar reglerna analyserar den data, identifierar orsaken och rekommenderar åtgärder för att uppnå affärsmål.

Agenten meddelar dig via Teams med naturligt språk och håller dig uppdaterad med inledande rekommendationer. Du kan godkänna, avvisa eller göra regeln autonom så att agenten kan agera utan ytterligare bekräftelse.

Eftersom agenten använder LLM:er för att skapa agentens spelbok och för att rekommendera åtgärder bör du:

  • Granska beteendemodellen noggrant innan du startar agenten.

  • Övervaka agentens rekommendationer noggrant och bekräfta det resonemang som används för att ge rekommendationer innan du agerar.

  • Granska noggrant eventuella autonoma regler som du skapar med agenten. Dessa regler styr åtgärden automatiskt.

Användningsfall

Avsedda användningsområden

Du kan använda operationsagenter i olika scenarier. Systemets avsedda användningsområden omfattar:

  • Hantering av cykeluthyrning: Du kan konfigurera driftagenten så att den kontinuerligt övervakar cykeltillgängligheten på olika stationer med hjälp av realtidsdata. Ange ett mål för att säkerställa tillgängligheten för cyklar, så att den hittar rätt frågor för att spåra det värdet för varje dockningsstation.

  • Optimering av vindkraftverk: Agenten övervakar data som kommer från vindkraftsparker, spårar mått som utdata och bladens riktning och vinkel. Den söker efter avvikelser eller minskningar i kraftutgången och rekommenderar justeringar av driftsparametrarna.

  • Lagerinventeringsutjämning: Agenten övervakar lagernivåer över flera lager i realtid. Ange ett mål för att upprätthålla optimal lagerfördelning och undvika lagerutlagring eller överlagring.

  • Utgiftsövervakning: Ge agenten åtkomst till data om utgiftsbegäranden och rapporter. Be den att flagga utgifter som inte följer vanliga regler och att upptäcka avvikelser i långsiktiga mönster för varje anställd eller kostnadsställe.

  • Automatisering av incidenthantering: Agenten övervakar IT-infrastrukturloggar och telemetri för tecken på tjänstförsämring eller säkerhetsavvikelser. Målet är att minska genomsnittlig tid för identifiering (MTTD) och genomsnittlig tid att lösa (MTTR).

Att tänka på när du väljer andra användningsfall

Vi rekommenderar att du använder driftagenter i dina innovativa lösningar eller program. Tänk dock på följande faktorer för att säkerställa att agenten är lämplig för ditt specifika användningsfall:

  • Undvik scenarier där användning eller missbruk av systemet kan leda till betydande fysiska eller psykiska skador på en individ. Till exempel har scenarier som diagnostiserar patienter eller förskriver mediciner potential att orsaka betydande skada.

  • Undvik scenarier där användning eller missbruk av systemet kan ha en följdeffekt på livsmöjligheter eller rättslig status. Exempel är scenarier där AI-systemet eller agenten kan påverka en individs juridiska status, juridiska rättigheter eller deras tillgång till kredit, utbildning, anställning, sjukvård, bostäder, försäkring, sociala förmåner, tjänster, möjligheter eller de villkor som de tillhandahålls på.

  • Undvik scenarier med höga insatser som kan leda till skada. Den modell som används i en agent kan återspegla vissa samhällssyner, fördomar och annat oönskat innehåll som finns i träningsdata eller exemplen i prompten. Därför varnar vi för att använda agenter i scenarier med höga insatser där orättvist, opålitligt eller stötande beteende kan vara kostsamt eller leda till skada.

  • Överväg noggrant användningsfall i en domän med höga insatser eller bransch där agentåtgärder är oåterkalleliga eller mycket följdriktiga. Sådana branscher omfattar men är inte begränsade till hälso- och sjukvård, medicin, ekonomi eller juridiska domäner.

  • Juridiska och regelmässiga överväganden. Organisationer måste utvärdera potentiella specifika juridiska och regelmässiga skyldigheter när de använder AI-tjänster och lösningar, vilket kanske inte är lämpligt för användning i alla branscher eller scenarion. Begränsningarna kan variera beroende på regionala eller lokala regelkrav. Dessutom är AI-tjänster eller lösningar inte utformade för och kanske inte används på sätt som är förbjudna i tillämpliga användningsvillkor och relevanta uppförandekoder.

Begränsningar

Tekniska begränsningar, driftfaktorer och intervall

  • Trots intensiv utbildning från OpenAI och implementeringen av ansvarsfulla AI-kontroller från Microsoft är AI-tjänster fallbara och probabilistiska. Den här begränsningen gör det svårt att fullständigt blockera allt olämpligt innehåll, vilket leder till potentiella fördomar, stereotyper eller ogrundat innehåll i AI-genererat innehåll. Mer information om kända begränsningar för AI-genererat innehåll finns i Transparensanteckning för Azure OpenAI, som innehåller referenser till LLMs bakom operationsagenter.

  • Du kan ge operationsagenter ett brett utbud av instruktioner och mål. Den probabilistiska karaktären hos LLM-beteendemodellerna innebär att du kanske inte kan anpassa agenterna efter dina krav. Beskrivningen av agentens beteendemodell genereras också med ai, så den kanske inte är helt korrekt.

  • Om du vill använda driftagenter effektivt behöver du utbildning för att effektivt interagera med och dra nytta av tjänsten.

  • Avancerade AI-modeller kräver betydande beräkningsresurser, vilket kan påverka prestanda, särskilt i resursbegränsade miljöer. Du kan få problem med svarstider eller prestanda under tider med hög användning.

  • Eftersom agenter kombinerar LLM:er med externa system kan det vara svårt att förstå varför de valde vissa verktyg eller kombinationer av verktyg för att besvara en fråga. Den här utmaningen komplicerar förtroendet och verifieringen av agentens utdata eller åtgärder.

  • Organisationer måste överväga sina specifika juridiska och efterlevnadsskyldigheter när de använder driftsagenter, särskilt i reglerade branscher. Microsoft undersöker regelkrav som gäller för Microsoft som leverantör av tekniken och hanterar dem inom produkten genom en process för kontinuerlig förbättring.

  • Genom agentens användarupplevelse kan du snabbt avbryta eller stänga av agenten när som helst. Den här åtgärden stoppar övervakningen av nya data och eventuella nya åtgärder som agenten kan rekommendera eller vidta. Åtgärder som agenten anropade i andra system (till exempel att starta ett Power Automate-arbetsflöde) kanske inte stoppas omedelbart. Agenten startar dessa åtgärder som oberoende processer som du behöver hantera i de andra produktupplevelserna.

  • Meddelanden mellan agenten och användaren levereras via Teams. När du skickar meddelanden till agenten bearbetar Azure Bot Service meddelandena. Användningen av Azure AI Bot Service har en teknisk begränsning att varje robot bara kan ha en enda global slutpunkt. För Teams förstapartsrobotar skickas begäranden till den globala slutpunkten och omdirigeras sedan till en regional slutpunkt nära användaren. Operationsagenter använder en slutpunkt som finns i EU, vilket innebär att dina användardata kan flyttas utanför din geografiska region för bearbetning.

Systemprestanda

I AI-system är prestanda ofta kopplat till noggrannhet (hur ofta systemet ger rätt utdata). För operationsagenter är prestandan mer flexibel eftersom användarna kan tolka utdata på olika sätt. Fel uppstår vanligtvis när agenten missförstår mål, data eller viktiga entiteter i affärsprocessen. När agenten ger rekommendationer bör användarna noggrant granska den kontext som tillhandahålls innan de godkänner åtgärder.

Metodtips för att förbättra systemprestanda

För att uppnå bästa resultat med operationsagenter fokuserar du på att skapa detaljerade, välstrukturerade frågor. De mål och instruktioner du anger hjälper agenten att identifiera rätt datapunkter och regler för övervakning av ändringar över tid. Förbättra noggrannheten genom att uttryckligen definiera de datavärden och villkor som agenten ska övervaka. Beskriva tydligt hur åtgärder påverkar resultat och hur övervakade värden förväntas ändras.

Data av hög kvalitet är lika viktiga. Se till att datastrukturerna är välorganiserade med meningsfulla kolumnnamn i stället för kodade värden. Platta ut kapslade händelsedata där det är möjligt. Den här strukturen gör det enklare för agenten att hitta och övervaka relevant information effektivt.

Utvärdering av driftagenter

Utvärderingsmetoder

Operations Agent-plattformen använder en rigorös process med flera steg för att utvärdera noggrannhet, säkerhet och kontinuerlig förbättring. Kärnan är en trestegscykel: spårning>iterera>utvärdera. Den här cykeln börjar med att implementera telemetri för att övervaka agentens beslutsprocesser, inklusive planering, ontologibildning, data grounding, regelgenerering och körning. Utvärderingsdatauppsättningar kommer från verkliga användningsfall och syntetiska data som introducerar variabilitet. Du mäter mått som noggrannhet, konvergens, felfrekvenser och säkerhet under agentens livscykel, från utveckling till produktion.

Utvärderingsmiljön speglar produktionsvillkoren och betonar separationen mellan utvecklings- och utvärderingspipelines för att undvika bias. Du kan manuellt kurera inledande datauppsättningar och definiera förväntade ontologier och utdata i förväg. Senare skalar du dessa datauppsättningar med hjälp av syntetisk generering. Datauppsättningarna fokuserar på operativa mål som är relevanta för affärsövervakning och beslutsfattande. Även om de representerar verkliga scenarier inkluderar de ännu inte bredare användarpopulationer eller dynamiska målkonfigurationer. Den här metoden håller utvärderingarna fokuserade, reproducerbara och anpassade till ansvarsfulla AI-principer.

Utvärderingsresultat

Våra utvärderingsprocesser använder en strukturerad metod för att spåra, iterera och utvärdera. Vi bäddar in utvärderingar i varje steg i agentens beslutsloopar. Dessa utvärderingar bekräftade att agenten konsekvent producerar korrekta ontologier, genererar giltiga och relevanta frågor och väljer lämpliga åtgärder som är anpassade till användarmålen. Dessa resultat stöder systemets anpassning till ansvarsmålen, särskilt för att säkerställa att det presterar som förväntat i verkliga driftskontexter.

De tränings- och testdatauppsättningar som användes i utvärderingen granskades noggrant för att återspegla en mängd olika driftsscenarier. Du har konstruerat inledande datamängder manuellt från verkliga användningsfall med tydligt definierade förväntade utdata, inklusive ontologier och frågeresultat. Senare expanderade du dessa datauppsättningar med hjälp av syntetisk generering för att öka variabiliteten och täckningen. Du har utformat datauppsättningarna för att representera de typer av mål och datamiljöer som agenten förväntas stöta på, inklusive variationer i schemakomplexitet, datatillgänglighet och användar avsikter. Den här metoden säkerställde att utvärderingen registrerade ett representativt utbud av driftsfaktorer och inställningar, vilket stödde ansvarsfull systemutveckling och distribution.

Utvärderingsresultaten påverkade flera viktiga designbegränsningar i systemet. Vi har till exempel infört gränser för maximal frågestorlek och minsta ontologikomplexitet för att säkerställa konsekvent prestanda och minska felfrekvensen. Även om resultaten i stort sett gäller för många scenarier för driftövervakning och beslutsstöd, innehöll den första utvärderingen inte några områden, till exempel dynamisk omkonfiguration av mål och samarbete med flera agenter. Dessa områden utgör möjligheter till framtida testning och utveckling.

Utvärdera och integrera driftsagenter för din användning

En agents beteende formas av de instruktioner, mål, data och åtgärder som du tillhandahåller. Exakta uppmaningar och rena, välorganiserade data med intuitiva kolumnnamn förbättrar noggrannheten och minskar felen.

När du har konfigurerat agenten verifierar du agentens beteendemodeller och regler genom att granska KQL-frågor för att säkerställa anpassning till affärsprocesser. Även om regelbaserade villkor utlöser agenten kan dess LLM-genererade rekommendationer innehålla felaktigheter, så granska alltid utdata innan du agerar.

Mycket dynamiska agenter kan leda till överdrivna meddelanden eller överanvändning av automatiserade åtgärder, vilket kan orsaka systeminstabilitet. För att minska riskerna justerar du regler, utför regelbundna granskningar, simulerar gränsfall och designgränssnitt som främjar transparens. Visa till exempel konfidenspoäng och tydliga förklaringar till rekommendationer.

Relaterat innehåll

  • Last updated on