Windows 365 för agent-MCP-serverreferens

Note

Denna artikel beskriver funktioner i agenter eller agentflöden som använder standard harness.

Windows 365 för agenter är en MCP-server som ger dig full operativ kontroll över en Windows 365-molndator. Använd denna MCP-server för att driva en verklig Windows miljö genom skrivbordsinteraktion (mus, tangentbord, skärmdump, kommandoexekvering), webbläsarautomation via Microsoft Edge och semantisk UI-inspektion via Windows UI Automation.

Note

Webbläsarautomatisering fungerar på Microsoft Edge. Edge startar automatiskt vid det första verktygsanropet för webbläsaren. focus_browser kan även rikta in sig på Chrome eller Firefox, men webbläsarverktyg på DOM-nivå fungerar bara på Edge-instansen.

För att lära dig mer om Windows 365 för agenter, se Windows 365 för agentdokumentation.

Overview

Server-ID URL på klientorganisationsnivå Visningsnamn Description
mcp_W365ComputerUse https://agent365.svc.cloud.microsoft/
agents/tenants/{tenantId}/
servers/mcp_W365ComputerUse
Windows 365 för agenter MCP-server Full operativ kontroll över en Windows 365 molndator, inklusive skrivbordsinteraktion, webbläsarautomation och UI-inspektion.

Tillgängliga verktyg

mcp_W365ComputerUse_StartSession

Startar en Windows 365 Computer Use-session, etablerar en anslutning till en molndator och allokerar en molndatorresurs. Returnerar den sessionId som kan användas för att hantera sessionen.

Inga nödvändiga parametrar.

mcp_W365ComputerUse_EndSession

Avslutar en aktiv Windows 365-datoranvändning och frigör tillhörande molndatorresurser. Skicka sessionId som returneras av mcp_W365ComputerUse_StartSession.

Nödvändiga parametrar: sessionId

mcp_W365ComputerUse_GetSessionDetails

Returnerar metadata för en Windows 365 Computer Use-session identifierad av .sessionId Skicka sessionId som returneras av mcp_W365ComputerUse_StartSession. Det listas inte flera sessioner.

Nödvändiga parametrar: sessionId

flytta_mus

Flyttar markören till en skärmposition. Använd click istället om du tänker klicka på destinationen. Obligatoriska parametrar:

  • x: X-koordinat i skärmpixlar
  • y: Y-koordinat i skärmpixlar

klicka

Klickar på en position eller på den aktuella markören om koordinater utelämnas. Stöder enkelklick, dubbelklick och alla fem musknappar.

Valfria parametrar:

  • x: X-koordinat i skärmpixlar (utelämnas för aktuell position)
  • y: Y-koordinat i skärmpixlar (utelämna för aktuell position)
  • knapp: Vänster, höger, mitten, framåt eller bakåt (standard vänster)
  • clickCount: 1 = enkeltklick, 2 = dubbelklick (standardvärde 1)

get_cursor_position

Returnerar de aktuella markörkoordinaterna. Inga parametrar. Returnerar {cursorX, cursorY}.

drag_mouse

Drar från en position till en annan. Användbart för att flytta objekt, ändra storlek på fönster eller pixelprecisa scrollningar. Obligatoriska parametrar:

  • startX: Start X-koordinat.
  • startY: Start Y-koordinat.
  • endX: Slutkoordinat för X.
  • endY: Y-slutkoordinat. Valfria parametrar:
  • knapp: Vänster, höger eller mitten (standard är vänster)

Bläddra

Rullar på en position med hjälp av snäckenheter, inte bildpunkter. Tre steg motsvarar ungefär en sida.

Obligatoriska parametrar:

  • x: Rullningsposition X
  • y: Rullningsposition Y

Valfria parametrar:

  • deltaX: Horisontella skåror, positivt = höger (standardvärde 0)
  • deltaY: Vertikala steg, positivt = nedåt (standardvärde 0)

Note

Värdena är fastklämda till intervallet [-20, 20].

type_text

Skriver text genom att simulera tangentbordsindata. För tangentbordsgenvägar, använd press_keys. För webbformulärfält, använd browser_type.

Obligatoriska parametrar:

  • text: Text som ska skrivas.

Valfria parametrar:

  • usePaste: Klistra in text från urklipp istället för att skriva.

tryck på tangenterna

Trycker på en tangentkombination samtidigt. Stöder modifiertangenter, funktionstangenter och standardtangenter.

Obligatoriska parametrar:

  • tangenter: Array av nyckelnamn att trycka tillsammans (till exempel, ["ctrl","c"], ["alt","tab"], ) ["ctrl","shift","s"]

ta_en_skärmbild

Fångar hela skärmen eller ett beskuret område som en PNG-bild (base64-kodad).

Valfria parametrar:

  • x: Beskärningsområdets vänstra kant
  • y: Beskärningsområdets övre kant
  • bredd: Beskärningsområdets bredd
  • höjd: Grödregionens höjd

Note

Ange alla fyra crop-parametrar tillsammans, eller utelämna alla fyra för en helskärmsbild.

zoom_område

Fångar en skärmregion i native-upplösning som en PNG-bild (base64-kodad). Använd denna funktion för att inspektera liten text eller täta UI-element som är svåra att läsa i en nedskalad helskärmsskärmdump.

Obligatoriska parametrar:

  • x: Vänsterkant X-koordinat i skärmpixlar
  • y: Y-koordinaten på övre kanten i skärmpixlar
  • bredd: Regionbredd i pixlar
  • höjd: Regionhöjd i pixlar

Note

Den maximala regionstorleken är 1920x1080 pixlar.

analysera skärmen

Utför OCR på hela skärmen. Inga parametrar. Returnerar {fullText, averageConfidence, boxes[{text, confidence, x, y, width, height}], width, height}.

get_screen_size

Returnerar skärmupplösningen. Inga parametrar. Returnerar {width, height}.

list_windows

Listar alla synliga fönster med deras titlar, positioner och dimensioner. Inga parametrar. Returnerar en array med {title, processName, handle, x, y, width, height}.

activate_window

Tar ett fönster till förgrunden med hjälp av en fuzzy-titelmatchning.

Obligatoriska parametrar:

  • titel: Del av fönstertitel (skiftlägesokänslig understräng)

focus_browser

Fokuserar ett webbläsarfönster (Edge, Chrome eller Firefox), eventuellt filtrerat efter URL eller rubrik.

Valfria parametrar:

  • mönster: URL eller titelundersträng för att matcha (utelämnas för alla webbläsarfönster)

stäng fönster

Stänger ett fönster på ett smidigt sätt med hjälp av en fuzzy-titelmatchning. Systemet skyddar kritiska processer och du kan inte stänga dem.

Obligatoriska parametrar:

  • titel: Del av fönstertitel (80 % matchningströskel). Returnerar {matchedTitle, processName, closed}.

ändra_storlek_på_fönster

Ändrar storlek på, flyttar, maximerar, minimerar eller återställer ett fönster med hjälp av en fuzzy-titelmatchning.

Obligatoriska parametrar:

  • titel: Fönstertitel som ska matchas (skiftlägesokänslig ungefärlig matchning)
  • handling: Handling att utföra - Resize, , Move, Maximize, Minimize, eller Restore

Valfria parametrar:

  • x: Vänsterkant X-koordinat (använd med Resize eller Move)
  • y: Y-koordinat på överkanten (använd med Resize eller Move)
  • bredd: Bredd i pixlar (används med Resize)
  • höjd: Höjd i pixlar (används med Resize)

execute_shell_command

Kör ett shell-kommando i en sandlådemiljö. Kommandot kontrolleras mot en tillåtslista, och farliga mönster blockeras.

Obligatoriska parametrar:

  • kommando: Kommando att köra

Valfria parametrar:

  • cwd: Arbetskatalog. Använd framåtriktade snedslag (till exempel C:/Users/me/project).
  • timeoutMs: Timeout i millisekunder (standard 30000, max 120000)

Note

  • Tillåtna kommandon: git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type och notepad.
  • Blockerade mönster omfattar skalmetatecken (|, ;, &, <, >), expansion av miljövariabler (%VAR%), eval-flaggor för tolken (python -c eller node -e), git config --global, npm -g, körbara filer med sökvägsprefix, rm -rf, sudo samt disk- eller systemkommandon.
  • Kommandots stdout och stderr trunkeras båda vid 32 kB. För godtycklig beräkning, använd execute_python_code. Kommandot returnerar {stdout, stderr, exitCode, success, timedOut, resourceLimitsApplied}.

execute_python_code

Exekverar Python-kod i en sandlådemiljö med resursbegränsningar. Denna funktion är idealisk för databehandling, beräkningar, fil-I/O och alla beräkningar som går bortom enkla skalkommandon.

Obligatoriska parametrar:

  • kod: Python kod (max 262 144 tecken).

Valfria parametrar:

  • cwd: Arbetskatalog. Använd framåtriktade hugg.
  • timeoutMs: Timeout i millisekunder (standard 30000, max 120000).

Returnerar samma schema som execute_shell_command.

Note

Sandlådan upprätthåller en minnesgräns på 512 MB och en 30-sekunders timeout.

wait_milliseconds

Pausar körningen för att tillåta animationer eller övergångar att slutföras. Använd inte denna funktion i polling-loopar. Använd istället browser_wait_for för DOM-polling.

Obligatoriska parametrar:

  • ms: Väntetid i millisekunder (klämt till [0, 5000])

clipboard_read

Läser det aktuella innehållet i systemets urklipp. Detta kommando kräver inga parametrar. Den returnerar ett JSON-objekt som beskriver urklippsformatet och nyttolasten, vilket kan vara antingen en textsträng eller en base64-kodad bild.

clipboard_write

Skriver text till systemets urklippstavla och ersätter det aktuella innehållet.

Obligatoriska parametrar:

  • Text: Text att skriva till urklipptavlan

Returnerar en bekräftelse som inkluderar teckenantalet.

list_processes

Listar körande processer i den aktuella sessionen. Varje post innehåller PID, processnamn, minnesanvändning, fönstertitel (om sådan finns) och startTimeTicks. Kombinera startTimeTicks med kill_process för att undvika att döda en återvunnen PID.

Valfria parametrar:

  • maxCount: Maximalt antal processer att returnera (standard 200)

Returnerar en JSON-array av processinformationsobjekt.

kill_process

Avslutar en process med PID. Ange startTime-värdet från list_processes för att skydda mot återanvändning av PID.

Obligatoriska parametrar:

  • pid: Process-ID returnerat av list_processes
  • startTime: Starttider för processen returneras av list_processes

Valfria parametrar:

  • force: Tvångsavsluta utan kontrollerad avstängning (standardvärde: false)

Returnerar ett JSON-resultat som beskriver utfallet.

starta_program

Startar ett GUI-program från en tillåten katalog. Använd execute_shell_command istället för CLI-kommandon.

Obligatoriska parametrar:

  • path: Absolut sökväg till den körbara filen. Använd framåtriktade snedslag (till exempel C:/Program Files/app.exe).

Valfria parametrar:

  • args: Array med kommandoradsargument

Returnerar {path, pid}.

get_system_info

Returnerar OS-versionen, CPU, RAM, tillgängligt diskutrymme och bildupplösning. Inga parametrar. Returnerar ett JSON-objekt som innehåller systeminformationen.

browser_navigate

Navigerar till en URL och väntar på att sidan ska laddas.

Obligatoriska parametrar:

  • URL: Fullständig URL inklusive protokoll (till exempel, https://example.com)

browser_back

Navigerar tillbaka i webbläsarhistoriken. Inga parametrar.

Framåt

Navigerar framåt i webbläsarhistoriken. Inga parametrar.

browser_reload

Uppdaterar den aktuella sidan. Inga parametrar.

browser_get_url

Returnerar den aktuella sidans URL som en vanlig sträng. Inga parametrar.

browser_get_title

Returnerar den aktuella sidtiteln som en vanlig sträng. Inga parametrar.

browser_get_text

Returnerar det synliga sidtextinnehållet som en vanlig sträng. Inga parametrar. Förkortad till 512 KB.

browser_get_html

Returnerar hela sidans HTML-källkod som en vanlig sträng. Inga parametrar. Förkortad till 512 KB.

browser_get_page_state

Hämtar flera sidtillståndsfält i ett enda anrop. Användbart för att fånga flera signaler samtidigt utan att behöva skicka separata verktygsanrop.

Obligatoriska parametrar:

  • fields: En array med fält som ska returneras. Tillåtna värden: url, title, , domscreenshot,tabs

Returnerar ett JSON-objekt som endast innehåller de begärda fälten.

browser_click

Klickar på ett DOM-element med CSS-väljaren. Mer pålitligt än koordinatbaserat klickande för webbinnehåll.

Obligatoriska parametrar:

  • selektor: CSS-selektor (till exempel, #submit-btn eller a.nav-link)

browser_type

Skriver text i ett formulärelement med hjälp av en CSS-väljare.

Obligatoriska parametrar:

  • väljare: CSS-väljare för indataelementet.
  • text: Text som ska skrivas.

browser_query_text

Hämtar textinnehållet i det första elementet som matchar en CSS-selektor.

Obligatoriska parametrar:

  • selektor: CSS-selektor.

browser_wait_for

Väntar på att ett DOM-element ska dyka upp. Denna funktion är användbar för dynamiskt innehåll som laddas asynkront.

Obligatoriska parametrar:

  • väljare: CSS-väljare att vänta på.

Valfria parametrar:

  • timeoutMs: Tidsgräns i millisekunder. Standardvärdet är 5 000 och maxbeloppet är 30 000.

browser_eval_js

Utvärderar ett JavaScript-uttryck i sidkontexten och returnerar resultatet som en sträng.

Obligatoriska parametrar:

  • uttryck: JavaScript-uttryck som returnerar en sträng

Note

Om ditt uttryck returnerar ett objekt eller tal, konvertera det explicit till en sträng (till exempel JSON.stringify(obj) eller .toString()).

browser_list_tabs

Listar alla öppna flikar med deras index, titel och URL. Inga parametrar krävs. Returnerar en array med {index, title, url}.

Valfria parametrar:

  • tabId: Unik flikidentifierare

webbläsare_byt_flik

Byter till en flik via index.

Obligatoriska parametrar:

  • tabIndex: 0-baserat tabindex

Valfria parametrar:

  • tabId: Unik flikidentifierare

ny webbläsarflik

Öppnar en ny flik, om du vill navigera till en URL.

Valfria parametrar:

  • URL: URL att öppna (tom flik om den utelämnas)

Returnerar {index, title, url}.

browser_create_tabs

Öppnar flera flikar samtidigt. Eventuellt kan du lyfta fram en av dem.

Obligatoriska parametrar:

  • webbadresser: Matris med webbadresser att öppna, en flik per webbadress

Valfria parametrar:

  • förgrundIndex: Index för fliken som ska föras fram efter skapandet (utelämna för att hålla fliken fokuserad)

Skickar tillbaka en sms-bekräftelse.

browser_close_tab

Stänger en flik med hjälp av index.

Obligatoriska parametrar:

  • tabIndex: 0-baserat tab-index Valfria parametrar:

  • tabId: Unik flikidentifierare

webbläsare_skärmbild

Fångar endast en PNG-skärmbild av webbläsarens visningsport (inte hela skärmen). Inga parametrar. Returnerar en base64-kodad PNG.

browser_select_option

Väljer ett eller flera alternativ i ett <select> element efter deras value attribut.

Obligatoriska parametrar:

  • väljare: CSS-väljare för elementet <select>
  • värden: Lista med alternativvärden som ska väljas

Returnerar en bekräftelse med antalet valda alternativ.

browser_fill_form

Fyll i flera formulärfält i ett enda samtal. Varje post är ett {selector, value}-par. Operationen avbryts vid första misslyckandet och rapporterar vilka fält som lyckades.

Obligatoriska parametrar:

  • fält: En matris med {selector, value}-par

Returnerar en bekräftelse med räkningen av fyllda fält.

browser_drag

Drar ett källelement till ett målelement. Båda elementen identifieras av CSS-selektorn.

Obligatoriska parametrar:

  • sourceSelector: CSS-väljare av drag-källkoden
  • targetSelector: CSS-selektor för droppmålet

browser_pdf_save

Sparar den aktuella sidan som en PDF-fil. Destinationsvägar är begränsade till %USERPROFILE% eller %TEMP%.

Obligatoriska parametrar:

  • filePath: Destinationsfilsökväg under %USERPROFILE% eller %TEMP%. Använd framåtriktade hugg.

Returnerar en bekräftelse inklusive den sparade filvägen.

browser_handle_dialog

Accepterar eller avfärdar en öppen dialogruta i webbläsaren (varning, bekräftelse, uppmaning eller beforeunload). Returnerar "Ingen dialog väntar" om ingen dialog är aktiv.

Obligatoriska parametrar:

  • Åtgärd: accept eller dismiss

Valfria parametrar:

  • promptText: Text för att skicka till en promptdialog (ignoreras för varning och bekräfta)

browser_get_cookies

Hämtar cookies för den aktuella sidan eller för en angiven uppsättning URL:er. Cookie-värden är alltid censurerade för säkerhetens skull; Namn, domäner, vägar och flaggor returneras.

Valfria parametrar:

  • urls: Lista med URL:er att hämta kakor för (utelämna för den aktuella sidan)

Returnerar en array av cookieobjekt med redigerade värden.

browser_set_cookies

Anger cookies på den aktuella sidans domän. Den här åtgärden lägger till eller skriver över cookies men rensar inte befintliga cookies.

Obligatoriska parametrar:

  • cookies: En array med cookieobjekt. Varje post kräver name och value. Valfria fält: domain, path, secure, , httpOnly. sameSite

Skickar tillbaka en sms-bekräftelse.

browser_execute_batch

Kör flera webbläsaråtgärder sekventiellt i ett enda anrop. Denna åtgärd avbryts vid det första misslyckandet och returnerar de resultat som samlats in fram till den punkten.

Obligatoriska parametrar:

  • åtgärder: En array med {action, params}-objekt. Tillåtna handlingar: navigate, snapshot, click_ref, type_ref, hover_ref, scroll_ref, keypress_ref, wait_for, , . eval_js

Returnerar en array med resultat, ett för varje utförd åtgärd.

webbläsarögonblicksbild

Fångar sidans tillgänglighetsträd med stabila referens-ID:n (till exempel e5) som mappas till DOM-noder. Använd referenserna med browser_click_ref, browser_type_ref, och browser_hover_ref. Referenser blir ogiltiga vid sidnavigering – ta en ny ögonblicksbild efter navigeringen.

Valfria parametrar:

  • maxDepth: Maximalt träddjup, 1–10 (standardvärde 5)
  • includeIframes: Inkludera iframes från andra ursprung (standardvärde: true)

Returnerar ett JSON-objekt som innehåller tillgänglighetssnapshot och referens-ID:n.

browser_click_ref

Klickar på ett element med referens-ID från browser_snapshot. Ett träfftest verifierar att inget annat element ligger ovanpå målet. Misslyckas om snapshoten löper ut – ta i så fall en ny snapshot.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens (till exempel e5) från snapshot-noderna

Valfria parametrar:

  • knapp: Vänster, höger eller mitten (standard vänster)
  • clickCount: 1 = enkeltklick, 2 = dubbelklick (standardvärde 1)

Ger en bekräftelse med de klickade koordinaterna.

browser_type_ref

Skriver text i ett element genom att använda referens-ID från browser_snapshot. Elementet fokuseras först, och befintlig text rensas som standard. Åtgärden misslyckas om ögonblicksbilden upphör att gälla.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens (till exempel e5) från snapshot-noderna
  • text: Text att skriva

Valfria parametrar:

  • clear: Rensa befintlig text först (standard true)

Returnerar en bekräftelse som inkluderar teckenantalet.

browser_hover_ref

Håller muspekaren över ett element genom att använda referens-ID:t från browser_snapshot. Returnerar omedelbart. Operationen misslyckas om snapshoten går ut – ta om snapshoten i så fall.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens (till exempel e5) från snapshot-noderna

Returnerar en bekräftelse med hoverkoordinaterna.

get_tillgänglighetsträd

Hämtar UI-elementträdet för förgrundsfönstret. Varje element innehåller sin roll, namn, värde och skärmkoordinater.

Valfria parametrar:

  • maxDepth: Maximalt träd-traverseringsdjup, 1-10 (standard 3)
  • maxElements: Maximalt antal element att returnera, 1-2000 (standard 500)

Returnerar ett hierarkiskt träd med {roll, namn, värde, x, y, bredd, höjd, barn[...]}.

browser_keypress_ref

Trycker på en enda nyckel på ett element med referens-ID från browser_snapshot. Elementet fokuseras först. Stödjer modifieringstangenter. Misslyckas om snapshoten har gått ut — ta en ny snapshot i så fall.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens (till exempel e5) från snapshot-noderna
  • nyckel: Nyckelnamn — till exempel Enter, Escape, Tab, ArrowUp, , ArrowDown, eller F1F12

Valfria parametrar:

  • modifieringstangenter: En matris med modifieringstangenter som hålls ned under tangenttryckningen — Ctrl, Shift, Alt eller Meta

Skickar tillbaka en sms-bekräftelse.

browser_scroll_ref

Rullar ett element i vyn med referens-ID från browser_snapshot. Du kan också bläddra efter ett pixeldeltat i elementet. Misslyckas om snapshoten går ut.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens (till exempel e5) från snapshot-noderna

Valfria parametrar:

  • deltaX: Horisontellt rullningsdelta i pixlar (standardvärde 0)
  • deltaY: Vertikalt rullningsdelta i pixlar (standardvärde 0)

Skickar tillbaka en sms-bekräftelse.

browser_set_file_input_ref

Ställer in filer på ett filinmatningselement utifrån referens-ID från browser_snapshot. Filvägar är begränsade till användarens Documents, Downloads, Desktop, eller %TEMP% kataloger.

Obligatoriska parametrar:

  • snapshotId: Snapshot-ID returnerat av browser_snapshot
  • ref: Elementreferens för filinmatningen
  • filePaths: Array av filvägar att ladda upp

Skickar tillbaka en sms-bekräftelse.

find_ui_element

Söker efter gränssnittselement efter textinnehåll, hjälpmedelsroll eller namn (skiftlägesokänslig understräng). Returnerar matchande element med deras klickbara skärmkoordinater.

Valfria parametrar:

  • Text: Text att söka efter (används som namn om namn utelämnas)
  • roll: UI-rollfilter - Button, TextBox, CheckBox, MenuItem, ComboBox, och mycket mer
  • namn: Tillgängligt namn (har företräde framför text om båda finns)
  • windowHandle: Målfönsterhandtag (null = förgrundsfönster)

Centrala egenskaper

Skrivbordsinteraktion

  • Klick, dubbelklick, högerklick och femknapps muskontroll.
  • Dra och släpp med pixelprecision.
  • Scrollning med hack (tre hack ≈ en sida).
  • Tangentbordsskrivning och kombinationer av genvägar med flera tangenter.
  • Spårning av markörens position.
  • Skärmupplösningsdetektering.

Skärminspelning och analys

  • Helskärms- eller beskurna PNG-skärmdumpar.
  • OCR av hela skärmen med konfidensvärden per region och avgränsningsrutor.
  • Skärmdumpar endast av webbläsarens visningsyta för webbinnehåll.

Fönsterhantering

  • Räkna upp alla synliga fönster med positioner och dimensioner.
  • Aktivera fönster genom ungefärlig matchning av fönstertiteln.
  • Fokus-webbläsarfönster (Edge, Chrome, Firefox) filtreras valfritt efter URL eller titel.
  • Smidig stängning av fönster med skydd för systemkritiska processer.

Utförande av kommandon

  • Sandbox-skalkommandon med tillåtningslista (git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type).
  • Sandbox-exekvering Python upp till 262 144 tecken kod.
  • Arbetskatalog och timeout-kontroll per samtal (max 30 sekunder).
  • Resursbegränsningar och hårdnade blockeringslistor mot shell-metatecken, eval-flaggor, privilegieeskalering och destruktiva operationer.

Webbläsarautomatisering

  • Navigera, bakåt, framåt, ladda om och konfigurerbara väntevillkor på navigeringen (load, networkidle0, networkidle2).
  • Läs sidans URL, titel, synlig text (512 KB max) och full HTML (512 KB cap).
  • Hämtning av konsoliderat sidtillstånd — URL, titel, DOM, skärmdump och fliklista i ett enda anrop.
  • Klick, skrivning, formulärifyllning, dragning och val av <select>-alternativ på DOM-nivå med CSS-selektor.
  • Interaktion baserad på tillgänglighetsögonblicksbild via referens-id — klicka, skriva, hovra, tangenttryck med modifierartangenter, scrolla och ladda upp via filinmatning.
  • Vänta på dynamiska element med konfigurerbar timeout, som eventuellt kräver synlighet.
  • Utvärdera JavaScript uttryck i sidkontexten.
  • Multi-tab-hantering: lista, byt, öppna en eller flera samtidigt och stäng.
  • Cookieinspektion (värden redigerade) och tilldelning på den aktuella domänen.
  • Batchad åtgärdsexekvering — sekvensera flera webbläsarsteg i ett anrop, och stanna vid första misslyckande.
  • Spara den aktuella sidan som PDF under %USERPROFILE% eller %TEMP%.
  • Dialoghantering för alert, confirm, , promptoch beforeunload.
  • Körs på Microsoft Edge, startas automatiskt vid första användningen.

Tillgänglighet i användargränssnittet

  • Hämta Windows UI Automation tree för förgrundsfönstret med konfigurerbart djup och elementantal.
  • Hitta UI-element efter text, roll eller tillgängligt namn.
  • Returnerar klickbara skärmkoordinater för exakt inriktning på knappar, textrutor, kryssrutor, menypunkter och kombinationsrutor.

Tidtagning och synkronisering

  • Använd wait_milliseconds för korta one-shot-pauser (upp till fem sekunder).
  • Använd browser_wait_for för polling på DOM-nivå (upp till 30 sekunder).

Notes

  • Alla koordinater finns i skärmpixlar med (0,0) i övre vänstra hörnet. Koordinater från take_screenshot, analyze_screen, , find_ui_elementoch list_windows alla delar samma koordinatrum.
  • En markörsäkerhetsåtgärd är aktiv: Om markören rör sig inom fem pixlar från något skärmhörn avbryts musoperationerna. Undvik att rikta in dig på skärmens ytterkanter.
  • Shell pipe-operatorer (|), semikolon (;), et-tecken (&) och omdirigering av utdata (>, <) blockeras. För att transformera kommandoutgång, fånga den och bearbeta den med execute_python_code.
  • Om tolkevalflaggor blockeras eller om python -c "..." och node -e "..." avvisas kan du använda execute_python_code för Python kod, eller skriva kod till en fil först.
  • Kommandot stdout/stderr är förkortat med 32 KB vardera. Använd flaggor för att begränsa utförlig utdata (till exempel git log --oneline -20) eller omdirigera till en fil och läs den separat.
  • Maximal timeout för execute_shell_command och execute_python_code är 30 sekunder. För längre arbete, dela upp det i mindre steg eller starta en bakgrundsprocess från Python och poll.
  • Det finns inget dedikerat verktyg för filläsning/skrivning. Läs filer med execute_shell_command med kommandot type. Skriv filer med execute_python_code med hjälp av Python:s inbyggda fil-I/O. Skalutgångsomdirigering (>, >>) blockeras.
  • browser_eval_js Returnerar alltid en sträng. Konvertera objekt eller tal uttryckligen innan de returneras.
  • Webbläsarens DOM-verktyg (browser_click, browser_type, browser_eval_js och andra) fungerar endast på den Microsoft Edge instansen.  focus_browser kan fokusera på Chrome eller Firefox, men DOM-verktyg riktar sig inte mot dem.
  • take_screenshot kräver alla fyra crop-parametrar (x, y, bredd, höjd) samtidigt, eller inga för en helskärmsinspelning.
  • scroll använder notch-enheter (begränsade till [-20, 20]), inte pixlar. Tre markeringar motsvarar cirka en sida.
  • find_ui_element kräver minst en av text, roll eller namn. När både text och namn anges får namn företräde.
  • browser_snapshot Referenser går ut vid navigering. Om ett _ref verktyg (klicka, skriv, hovra, trycka på tangenter, scrolla eller sätta filinmatning) misslyckas eftersom ögonblicksbilden är föråldrad, ta om ögonblicksbilden och försök igen.
  • browser_set_file_input_ref accepterar endast filvägar under användarens Documents, Downloads, Desktop, eller %TEMP% kataloger. Filer utanför dessa platser avvisas.
  • browser_get_cookies Returnerar alltid redigerade cookie-värden. Använd det för inspektion—namn, domäner, sökvägar och flaggor returneras i sin helhet, men värden exponeras inte.
  • browser_set_cookies lägger bara till eller överskriver cookies. Den rensar inte befintliga cookies. För att ta bort en cookie, skriv över den med ett utgånget expires värde via detta verktyg, eller rensa den via sidan själv.
  • browser_execute_batch stannar vid första misslyckade handling och returnerar endast de resultat som samlats in fram till dess. Efterföljande åtgärder i listan utförs inte. Tillåtna batchhandlingar är begränsade till: navigate, snapshot, , click_ref, type_ref, hover_ref, scroll_refkeypress_ref, wait_foroch eval_js.
  • browser_create_tabs Öppnar flikar i den angivna ordningen. Om foregroundIndex utelämnas stannar fokus kvar på den flik som för närvarande är aktiv.
  • browser_get_page_state returnerar endast fälten som listas i arrayen fields . Begär bara det du behöver – att inkludera dom eller screenshot kan ge stora svarsvolymer.

Vanliga användningsfall

Fyll i ett webbformulär

  • Ring browser_navigate för att öppna målsidan.
  • Ring browser_wait_for och vänta på att formuläret ska laddas.
  • Anrop browser_type för att fylla varje fält med CSS-selektoren.
  • Ring browser_click för att skicka in formuläret.
  • Ring browser_wait_for och vänta på bekräftelseelementet.
  • Ring browser_get_text för att läsa och verifiera resultatet.

Automatisera en skrivbordsapplikation

  • Ring activate_window för att lyfta fram applikationen.
  • Ring take_screenshot för att fånga det aktuella tillståndet.
  • Ring find_ui_element för att hitta en knapp eller ett fält med namn.
  • Ring click på elementets rapporterade koordinater.
  • Ring type_text för att mata in data.
  • Använd press_keys för genvägar (till exempel ["ctrl","s"] för att spara).
  • Ring take_screenshot för att verifiera resultatet.

Extrahera data från en webbsida

  • Ring browser_navigate för att öppna sidan.
  • Anrop browser_get_text för att extrahera synligt textinnehåll.
  • Anropa execute_python_code för att analysera och bearbeta den extraherade datan.
  • Anrop browser_eval_js för att fråga specifika värden via JavaScript när textextraktion inte räcker.

Kör utvecklingsuppgifter

  • Anropa execute_shell_command för git pull, npm install och dotnet build.
  • Anropa take_screenshot för att fånga byggutdata.
  • Ring execute_python_code för att analysera loggar eller testresultat.
  • Anropa browser_navigate för att öppna en lokal utvecklingsserver i webbläsaren.
  • Anropa browser_screenshot för att fånga den renderade sidan.

Läs och skriv filer

  • Läs en fil med execute_shell_command med hjälp av type C:\path\to\file.txt.
  • Skriv en fil genom att använda execute_python_code med Python:s open(...) och write(...).
  • Verifiera genom att använda execute_shell_command med .dir C:\path\to\output.txt
  • Ring get_accessibility_tree för att förstå hela UI-strukturen.
  • Kalla find_ui_element för att hitta en specifik kontroll (till exempel role: "MenuItem", name: "Settings").
  • Ring click med elementets rapporterade koordinater.
  • Ring find_ui_element igen för att hitta nästa kontroll i dialogen.
  • Ring type_text eller click för att interagera med den.

Håll en långvarig session vid liv

  • Skicka en MCP-begäran minst en gång var 30:e minut för att förhindra avhysning på grund av inaktivitet.
  • get_screen_size är lättviktig och fungerar bra som en hjärtslagssignal.

Learn more

Windows 365 för agenter