Windows 365 for Agents MCP-serverreference

Bemærkning

Denne artikel beskriver funktioner, der anvendes i agenter eller agentstrømme, drevet af standardledningsnettet.

Windows 365 for Agents er en MCP-server, der giver dig fuld operationel kontrol over en Windows 365 cloud-pc. Brug denne MCP-server til at drive et ægte Windows-miljø gennem skrivebordsinteraktion (mus, tastatur, skærmoptagelse, kommandoudførelse), browserautomatisering via Microsoft Edge og semantisk UI-inspektion via Windows UI Automation.

Bemærkning

Browserautomatisering fungerer på Microsoft Edge. Edge starter automatisk ved det første browser-værktøjskald. focus_browser kan også målrette Chrome eller Firefox, men DOM-niveau browserværktøjer virker kun på Edge-instansen.

For at lære mere om Windows 365 for agenter, se Windows 365 for agentdokumentation.

Oversigt

Server-ID URL-adresse på lejerniveau Vist navn Beskrivelse
mcp_W365ComputerUse https://agent365.svc.cloud.microsoft/
agents/tenants/{tenantId}/
servers/mcp_W365ComputerUse
Windows 365 til agenter MCP-server Fuld operationel kontrol over en Windows 365 cloud-PC, inklusive skrivebordsinteraktion, browserautomatisering og UI-inspektion.

Tilgængelige værktøjer

mcp_W365ComputerUse_StartSession

Starter en Windows 365 Computer Use-session, etablerer en forbindelse til en cloud-pc og allokerer en cloud-pc-ressource. Returnerer den sessionId , som kan bruges til at administrere sessionen.

Ingen nødvendige parametre.

mcp_W365ComputerUse_EndSession

Afslutter en aktiv Windows 365 Computer Use-session og frigiver de tilhørende cloud-PC-ressourcer. Videregiv det, der returneres af mcp_W365ComputerUse_StartSession, til sessionId.

Påkrævede parametre: sessionId

mcp_W365ComputerUse_GetSessionDetails

Returnerer metadata for en Windows 365 Computer Use-session identificeret ved sessionId. Videregiv det, der returneres af mcp_W365ComputerUse_StartSession, til sessionId. Lister ikke flere sessioner.

Påkrævede parametre: sessionId

move_mouse

Flytter markøren til en skærmplacering. Brug click i stedet, hvis du har tænkt dig at klikke på destinationen. Påkrævede parametre:

  • x: X-koordinat i skærmpixels
  • y: Y-koordinat i skærmpixels

klik

Klik på en placering eller på den aktuelle markørplacering, hvis koordinaterne udelades. Understøtter enkeltklik, dobbeltklik og alle fem museknapper.

Valgfrie parametre:

  • x: X-koordinat i skærmpixels (udelad for aktuel position)
  • y: Y-koordinat i skærmpixels (udelad for aktuel position)
  • knap: Venstre, Højre, Midt, Frem eller Bagud (standard Venstre)
  • clickCount: 1 = enkelt klik, 2 = dobbeltklik (standard 1)

hent_markørposition

Returnerer de aktuelle markørkoordinater. Ingen parametre. Returnerer {cursorX, cursorY}.

drag_mouse

Trækker fra én position til en anden. Nyttig til at flytte objekter, ændre størrelse på vinduer eller pixelpræcis scrolling. Påkrævede parametre:

  • startX: Start X-koordinat.
  • startY: Start Y koordinat.
  • endX: End X-koordinat.
  • endY: End Y-koordinat. Valgfrie parametre:
  • knap: Venstre, Højre eller Midten (standard er Venstre)

Rulle

Scroller til en position ved hjælp af hak-enheder, ikke pixels. Tre indhak svarer til cirka én side.

Påkrævede parametre:

  • x: Rulleposition X
  • y: Rulleposition Y

Valgfrie parametre:

  • deltaX: Vandrette indhak, positiv = til højre (standardværdi 0)
  • deltaY: Vertikale hak, positiv = ned (standard 0)

Bemærkning

Værdierne er fastklemt til intervallet [-20, 20].

type_text

Skriver tekst ved at simulere tastaturinput. For tastaturgenveje, brug press_keys. For webformularfelter bruger browser_typedu .

Påkrævede parametre:

  • Tekst: Tekst til skrivning.

Valgfrie parametre:

  • usePaste: Indsæt tekst fra udklipsholderen i stedet for at skrive.

press_keys

Trykker på en tastekombination samtidigt. Understøtter modifikatortaster, funktionstaster og standardtaster.

Påkrævede parametre:

  • taster: Array af tastenavne, der skal trykkes sammen (for eksempel ["ctrl","c"], ["alt","tab"], ) ["ctrl","shift","s"]

take_screenshot

Henter fuld skærm eller et beskåret område som et PNG-billede (base64-kodet).

Valgfrie parametre:

  • x: Afgrøderegionens venstre kant
  • y: Øverste kant af beskæringsområdet
  • bredde: Bredde på afgrødeområdet
  • højde: Afgrøderegionens højde

Bemærkning

Giv alle fire crop-parametre samlet, eller udelad alle fire for at få en fuldskærmsoptagelse.

zoomområde

Fanger et skærmområde i native opløsning som et PNG-billede (base64-kodet). Brug denne funktion til at inspicere små tekster eller tætte UI-elementer, som er svære at læse i et nedskaleret fuldskærmsbillede.

Påkrævede parametre:

  • x: Venstre kant x-koordinat i skærmpixels
  • y: Topkant Y-koordinat i skærmpixels
  • bredde: Regionsbredde i pixels
  • højde: Regionshøjde i pixels

Bemærkning

Den maksimale regionsstørrelse er 1920x1080 pixels.

analyser_skærm

Udfører OCR på hele skærmen. Ingen parametre. Returnerer {fullText, averageConfidence, boxes[{text, confidence, x, y, width, height}], width, height}.

get_screen_size

Returnerer skærmopløsningen. Ingen parametre. Returnerer {width, height}.

list_windows

Lister alle synlige vinduer med deres titler, positioner og dimensioner. Ingen parametre. Returnerer et array af {title, processName, handle, x, y, width, height}.

activate_window

Viser et vindue i forgrunden ved hjælp af et fuzzy titelmatch.

Påkrævede parametre:

  • titel: Del af vinduestitel (skelner ikke mellem store og små bogstaver, delstreng)

focus_browser

Fokuserer et browservindue (Edge, Chrome eller Firefox), eventuelt filtreret efter URL-adresse eller titel.

Valgfrie parametre:

  • mønster: URL eller titel-understreng for at matche (udelad for ethvert browservindue)

luk_vindue

Lukker et vindue på en elegant måde ved hjælp af et fuzzy titelmatch. Systemet beskytter kritiske processer, og du kan ikke lukke dem.

Påkrævede parametre:

  • titel: Delvis vinduestitel (80 % matchgrænse). Returnerer {matchedTitle, processName, closed}.

ændr_størrelse_på_vindue

Tilpasser størrelsen på, flytter, maksimerer, minimerer eller gendanner et vindue ved hjælp af et fuzzy titelmatch.

Påkrævede parametre:

  • titel: Vinduestitel, der skal matche (omtrentligt match uden forskel på store og små bogstaver)
  • handling: Handling at udføre - Resize, , Move, Maximize, Minimize, eller Restore

Valgfrie parametre:

  • x: Venstre kant X-koordinat (brugt med Resize eller Move)
  • y: Y-koordinat øverst på kanten (brugt med Resize eller Move)
  • bredde: Bredde i pixels (brugt med Resize)
  • højde: Højde i pixels (brugt med Resize)

udfør shell-kommando

Kører en shell-kommando i et sandkassemiljø. Kommandoen kontrolleres mod en tilladelsesliste, og farlige mønstre blokeres.

Påkrævede parametre:

  • kommando: Kommando til at køre

Valgfrie parametre:

  • cwd: Arbejdsmappe. Brug fremadrettede streger (for eksempel, C:/Users/me/project).
  • timeoutMs: Timeout i millisekunder (standard 30000, maks 120000)

Bemærkning

  • Tilladte kommandoer: git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type og notepad.
  • Blokerede mønstre inkluderer shell-metakarakterer (|, ;, &, <, ), >udvidelse af miljøvariabler (%VAR%), tolkevalflag (python -c eller node -e), git config --global, , npm -gsti-præfiksede eksekverbare filer, rm -rf, , sudoog disk- eller systemkommandoer.
  • Kommandoerne stdout og stderr hver afkorter ved 32 KB. For vilkårlig beregning bruges execute_python_code. Kommandoen returnerer {stdout, stderr, exitCode, success, timedOut, resourceLimitsApplied}.

execute_python_code

Kører Python-kode i et sandbox-miljø med ressourcebegrænsninger. Denne funktion er ideel til databehandling, beregninger, fil-I/O og enhver beregning, der går ud over simple shell-kommandoer.

Påkrævede parametre:

  • kode: Python kode (maksimalt 262.144 tegn).

Valgfrie parametre:

  • cwd: Arbejdsmappe. Brug fremadgående snit.
  • timeoutMs: Timeout i millisekunder (standard 30000, maks 120000).

Returnerer det samme skema som execute_shell_command.

Bemærkning

Sandkassen håndhæver en hukommelsesgrænse på 512 MB og en 30-sekunders timeout.

wait_milliseconds

Pauser udførelsen for at tillade animationer eller overgange at fuldføre. Brug ikke denne funktion i polling-løkker. Brug i stedet browser_wait_for til DOM-afstemning.

Påkrævede parametre:

  • ms: Ventetid i millisekunder (klemt til [0, 5000])

clipboard_read

Læser det aktuelle indhold på systemets udklipsholder. Denne kommando kræver ingen parametre. Den returnerer et JSON-objekt, der beskriver udklipstavlens format og payload, som kan være enten en tekststreng eller et base64-kodet billede.

clipboard_write

Skriver tekst til systemets udklipsholder, som erstatter det aktuelle indhold.

Påkrævede parametre:

  • Tekst: Tekst til at skrive til clipboardet

Returnerer en bekræftelse, der inkluderer tegnantallet.

list_processes

Lister kørende processer i den aktuelle session. Hver post indeholder PID, procesnavn, hukommelsesforbrug, vinduestitel (hvis nogen) og startTimeTicks. Kombiner startTimeTicks med kill_process for at undgå at dræbe en genbrugt PID.

Valgfrie parametre:

  • maxCount: Maksimalt antal processer der skal returneres (standard 200)

Returnerer et JSON-array af procesinformationsobjekter.

kill_process

Afslutter en proces med PID. Angiv værdien startTime fra list_processes for at beskytte mod PID-genanvendelse.

Påkrævede parametre:

  • pid: Proces-ID returneret af list_processes
  • startTime: Processtarttid tikkes returneret af list_processes

Valgfrie parametre:

  • force: Tvangsafslut uden korrekt nedlukning (standard: false)

Returnerer et JSON-resultat, der beskriver udfaldet.

launch_application

Starter et GUI-program fra en tilladt mappe. Brug execute_shell_command i stedet CLI-kommandoer.

Påkrævede parametre:

  • sti: Absolut sti til eksekverbarfilen. Brug fremadrettede streger (for eksempel, C:/Program Files/app.exe).

Valgfrie parametre:

  • args: Array af kommandolinjeargumenter

Returnerer {path, pid}.

get_system_info

Returnerer OS-versionen, CPU, RAM, tilgængelig diskplads og skærmopløsning. Ingen parametre. Returnerer et JSON-objekt, der indeholder systeminformationen.

browser_navigate

Navigerer til en URL og venter på, at siden indlæses.

Påkrævede parametre:

  • URL: Fuld URL inklusive protokol (for eksempel, https://example.com)

browser_back

Navigerer tilbage i browserhistorikken. Ingen parametre.

browser_forward

Navigerer fremad i browserhistorikken. Ingen parametre.

browser_reload

Opdaterer den nuværende side. Ingen parametre.

browser_get_url

Returnerer den aktuelle side-URL som en almindelig streng. Ingen parametre.

browser_get_title

Returnerer den aktuelle sidetitel som en almindelig streng. Ingen parametre.

browser_get_text

Returnerer det synlige sidetekstindhold som en almindelig streng. Ingen parametre. Afkortet til 512 KB.

browser_get_html

Returnerer den fulde side HTML-kildekode som en almindelig streng. Ingen parametre. Afkortet til 512 KB.

browser_get_page_state

Henter flere sidestatusfelter i et enkelt kald. Nyttigt til at opfange flere signaler på én gang uden at udsende separate værktøjskald.

Påkrævede parametre:

  • Felter: Array af felter skal returneres. Tilladte værdier: url, title, , domscreenshot,tabs

Returnerer et JSON-objekt, der kun indeholder de anmodede felter.

browser_click

Klikker på et DOM-element via CSS-selector. Mere pålideligt end koordinatbaseret klik for webindhold.

Påkrævede parametre:

  • selector: CSS-selector (for eksempel, #submit-btn eller a.nav-link)

browser_type

Indtaster tekst i et formularelement ved hjælp af en CSS-vælger.

Påkrævede parametre:

  • selector: CSS-selector af inputelementet.
  • Tekst: Tekst til skrivning.

browser_query_text

Får tekstindholdet fra det første element, der matcher en CSS-selector.

Påkrævede parametre:

  • selector: CSS-selector.

browser_wait_for

Venter på, at et DOM-element dukker op. Denne funktion er nyttig til dynamisk indhold, der indlæses asynkront.

Påkrævede parametre:

  • selector: CSS-selektor, der skal ventes på.

Valgfrie parametre:

  • timeoutMs: Timeout om millisekunder. Standardprisen er 5.000, og maksimum er 30.000.

browser_eval_js

Evaluerer et JavaScript-udtryk i sidekonteksten og returnerer resultatet som en streng.

Påkrævede parametre:

  • udtryk: JavaScript-udtryk, der returnerer en streng

Bemærkning

Hvis dit udtryk returnerer et objekt eller tal, konverter det eksplicit til en streng (for eksempel JSON.stringify(obj) eller .toString()).

browser_list_tabs

Lister alle åbne faner med deres indeks, titel og URL. Der kræves ingen parametre. Returnerer et array af {index, title, url}.

Valgfrie parametre:

  • tabId: Unik faneidentifikator

browser_switch_tab

Skifter til en fane via indeks.

Påkrævede parametre:

  • tabIndex: 0-baseret faneindeks

Valgfrie parametre:

  • tabId: Unik faneidentifikator

browser_new_tab

Åbner en ny fane, hvor du eventuelt kan navigere til en URL-adresse.

Valgfrie parametre:

  • URL: URL til åbning (tom fane, hvis den er udeladt)

Returnerer {index, title, url}.

browser_create_tabs

Åbner flere faner på én gang. Eventuelt kan du bringe en af dem frem i forgrunden.

Påkrævede parametre:

  • URL'er: Array af URL'er til åbning, én fane pr. URL

Valgfrie parametre:

  • forgrundIndeks: Indeks for fanen, der bringes frem i forgrunden efter oprettelse (udelad for at holde den nuværende fane fokuseret)

Returnerer en sms-bekræftelse.

Luk fanen i browseren

Lukker en fane efter indeks.

Påkrævede parametre:

  • tabIndex: 0-baseret faneindeks Valgfrie parametre:

  • tabId: Unik faneidentifikator

browser_screenshot

Henter kun et PNG-skærmbillede af browserens visningsport (ikke fuld skærm). Ingen parametre. Returnerer en base64-kodet PNG.

browser_select_option

Vælger en eller flere indstillinger i et <select> element efter deres value attribut.

Påkrævede parametre:

  • selector: CSS-selector for elementet <select>
  • værdier: Array af optionsværdi(er) at vælge

Returnerer en bekræftelse med antallet af valgte muligheder.

browser_udfyld_formular

Udfyld flere formularfelter i ét opkald. Hver indgang er et {selector, value} par. Operationen stopper ved den første fejl og rapporterer, hvilke felter der lykkedes.

Påkrævede parametre:

  • felter: Array med {selector, value} par

Returnerer en bekræftelse med antallet af fyldte felter.

browser_drag

Trækker et kildeelement til et destinationselement. Begge elementer identificeres af CSS-selektoren.

Påkrævede parametre:

  • sourceSelector: CSS-selector af drag-kilden
  • targetSelector: CSS-selektor for slipmålet

browser_pdf_save

Gemmer den aktuelle side som en PDF-fil. Destinationsstier er begrænset til %USERPROFILE% eller %TEMP%.

Påkrævede parametre:

  • filePath: Destinationsfilsti under %USERPROFILE% eller %TEMP%. Brug fremadgående snit.

Returnerer en bekræftelse, der inkluderer den gemte filsti.

browser_handle_dialog

Accepterer eller afviser en ventende browserdialogboks (besked, bekræft, prompt eller før indlæsning). Returnerer "Ingen ventende dialog", hvis ingen dialog er aktiv.

Påkrævede parametre:

  • Handling: accept eller dismiss

Valgfrie parametre:

  • promptText: Tekst til at sende til en prompt-dialog (ignoreres for advarsel og bekræft)

browser_get_cookies

Henter cookies for den aktuelle side eller for et angivet sæt URL-adresser. Cookie-værdier er altid redigeret af sikkerhedsmæssige årsager; Navne, domæner, stier og flag returneres.

Valgfrie parametre:

  • URL'er: Array af URL'er til at hente cookies for (udelad for den aktuelle side)

Returnerer et array af cookie-objekter med redigerede værdier.

browser_indstil_cookies

Angiver cookies på den aktuelle sides domæne. Denne handling tilføjer eller overskriver cookies, men rydder ikke eksisterende cookies.

Påkrævede parametre:

  • cookies: Array af cookie-objekter. Hver indgang kræver name og value. Valgfrie felter: domain, path, secure, httpOnly, . sameSite

Returnerer en sms-bekræftelse.

browser_execute_batch

Udfører flere browserhandlinger sekventielt i et enkelt kald. Denne handling stopper ved den første fejl og returnerer de resultater, der er indsamlet indtil da.

Påkrævede parametre:

  • handlinger: Array af {action, params} objekter. Tilladte handlinger: navigate, snapshot, , click_reftype_ref, hover_ref, scroll_ref, , keypress_ref, wait_for, , . eval_js

Returnerer et array af resultater, ét pr. udført handling.

browser_snapshot

Fanger sidens tilgængelighedstræ med stabile reference-ID'er (for eksempel e5), der mapper til DOM-noder. Brug referencerne med browser_click_ref, browser_type_ref, og browser_hover_ref. Referencer udløber, når siden navigerer – tag et snapshot igen efter navigationen.

Valgfrie parametre:

  • maxDepth: Maksimal trædybde, 1-10 (standard 5)
  • includeIframes: Inkluder iframes fra andre domæner (standard: true)

Returnerer et JSON-objekt, der indeholder tilgængelighedssnapshot og ref-ID'er.

browser_click_ref

Klikker på et element ved reference ID fra browser_snapshot. En hit-test bekræfter, at intet andet element ligger oven på målet. Fejler, hvis snapshot'et udløber—tag snapshot'et igen i det tilfælde.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementref (for eksempel, e5) fra snapshot-noderne

Valgfrie parametre:

  • knap: Venstre, Højre eller Midten (standard Venstre)
  • clickCount: 1 = enkelt klik, 2 = dobbeltklik (standard 1)

Returnerer en bekræftelse med de klikkede koordinater.

browser_type_ref

Skriver tekst ind i et element ved at bruge ref-ID'et fra browser_snapshot. Elementet fokuseres først, og eksisterende tekst slettes som standard. Operationen fejler, hvis snapshot'et udløber.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementref (for eksempel, e5) fra snapshot-noderne
  • Tekst: Tekst til at skrive

Valgfrie parametre:

  • clear: Ryd eksisterende tekst først (standardværdi: true)

Returnerer en bekræftelse, der inkluderer tegnantallet.

browser_hover_ref

Hover over et element ved at bruge ref-ID'et fra browser_snapshot. Returnerer med det samme. Operationen fejler, hvis snapshot'et udløber – tag snapshot'et igen i det tilfælde.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementref (for eksempel, e5) fra snapshot-noderne

Returnerer en bekræftelse inklusive hover-koordinaterne.

get_accessibility_tree

Henter træstrukturen for brugergrænsefladeelementet for forgrundsvinduet. Hvert element indeholder sin rolle, navn, værdi og skærmkoordinater.

Valgfrie parametre:

  • maxDepth: Maksimal træ-traverseringsdybde, 1-10 (standard 3)
  • maxElements: Maksimalt antal elementer at returnere, 1-2000 (standard 500)

Returnerer et hierarkisk træ med {rolle, navn, værdi, x, y, bredde, højde, børn[...]}.

browser_keypress_ref

Trykker på en enkelt nøgle på et element efter reference-id fra browser_snapshot. Elementet fokuseres først. Understøtter modifikatortaster. Det fejler, hvis snapshot'et er udløbet — tag snapshot'et igen i det tilfælde.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementref (for eksempel, e5) fra snapshot-noderne
  • nøgle: Nøglenavn — for eksempel Enter, Escape, Tab, , ArrowUp, ArrowDown, eller F1F12

Valgfrie parametre:

  • Modifikatorer: Array af modifikatortaster til at holde nede under trykket — Ctrl, , Shift, Alt, eller Meta

Returnerer en sms-bekræftelse.

browser_scroll_ref

Ruller et element ind i visningen efter reference-id fra browser_snapshot. Valgfrit ruller inden for elementet med en pixelforskydning. Fejler, hvis snapshot'et udløber.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementref (for eksempel, e5) fra snapshot-noderne

Valgfrie parametre:

  • deltaX: Horisontal scroll delta i pixels (standard 0)
  • deltaY: Lodret rulleforskydning i pixel (standardværdi 0)

Returnerer en sms-bekræftelse.

browser_set_file_input_ref

Angiver filer på et filinputelement efter reference-id fra browser_snapshot. Filstier er begrænset til brugerens Documents, Downloads, , Desktopeller %TEMP% mapper.

Påkrævede parametre:

  • snapshotId: Snapshot-ID returneret af browser_snapshot
  • ref: Elementreference til filinputfeltet
  • filePaths: Array af filstier til upload

Returnerer en sms-bekræftelse.

find_ui_element

Søger efter elementer i brugergrænsefladen efter tekstindhold, tilgængelighedsrolle eller navn (understreng, hvor der ikke skelnes mellem store og små bogstaver). Returnerer matchende elementer med deres klikbare skærmkoordinater.

Valgfrie parametre:

  • Tekst: Tekst at søge efter (bruges som navn, hvis navn udelades)
  • rolle: Rollefilter for brugergrænsefladen – Button, TextBox, CheckBox, MenuItem, ComboBoxog meget mere
  • navn: Tilgængeligt navn (har forrang over tekst, hvis begge er angivet)
  • windowHandle: Målvindueshåndtag (null = forgrundsvindue)

Nøglefunktioner

Skrivebordsinteraktion

  • Klik, dobbeltklik, højreklik og fem-knaps musekontrol.
  • Pixelpræcis træk og slip.
  • Hakbaseret rulning (tre hak ≈ én side).
  • Tastaturtastning og kombinationer af genveje med flere taster.
  • Sporing af cursorens position.
  • Skærmopløsningsdetektion.

Skærmoptagelse og analyse

  • Fuldskærms- eller beskårne PNG-skærmbilleder.
  • OCR af fuldskærm med tillidsscorer pr. region og afgrænsningsbokse.
  • Skærmbilleder kun af browserens visningsområde til webindhold.

Vinduesstyring

  • Opfør alle synlige vinduer med positioner og dimensioner.
  • Aktivér vinduer ved hjælp af omtrentlig titelsammenligning.
  • Fokusbrowserens vinduer (Edge, Chrome, Firefox) er valgfrit filtreret efter URL eller titel.
  • Elegant vindueslukning med beskyttelse for systemkritiske processer.

Udførelse af kommando

  • Sandkasse-shell-kommandoer med en tilladelsesliste (git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type).
  • Sandkasseudførelse Python op til 262.144 tegn kode.
  • Arbejdsmappe og timeout-kontrol pr. opkald (maks 30 sekunder).
  • Ressourcebegrænsninger og hærdet blokliste mod shell-metakarakterer, evalueringsflag, privilegieeskalering og destruktive operationer.

Browserautomatisering

  • Naviger, tilbage, fremad, genindlæs og konfigurerbare ventebetingelser på navigation (load, networkidle0, networkidle2).
  • Læs sidens URL, titel, synlig tekst (512 KB grænse) og fuld HTML (512 KB grænse).
  • Konsolideret sidestatus-hentning — URL, titel, DOM, skærmbillede og faneliste i et enkelt kald.
  • DOM-niveau klik, type, formularudfyldning, træk og valg af <select> muligheder med CSS-vælger.
  • Interaktion baseret på tilgængelighedssnapshots via reference-ID — klik, skriv, hov, tasttryk med modifikatorer, scroll og upload-filinput.
  • Vent på dynamiske elementer med konfigurerbar timeout, som eventuelt kræver synlighed.
  • Evaluer JavaScript udtryk i sidekonteksten.
  • Multi-fane-administration: liste, skift, åbn en eller flere på én gang, og luk.
  • Cookie-inspektion (værdier redigeret) og tildeling på det aktuelle domæne.
  • Batchet handlingsudførelse — sekvenser flere browsertrin i ét kald, stopper ved første fejl.
  • Gem den aktuelle side som PDF under %USERPROFILE% eller %TEMP%.
  • Dialoghåndtering for alert, confirm, prompt og beforeunload.
  • Kører på Microsoft Edge, starter automatisk ved første brug.

Hjælp til handicappede i brugergrænsefladen

  • Hent Windows UI Automation tree for forgrundsvinduet med konfigurerbar dybde og antal elementer.
  • Find UI-elementer efter tekst, rolle eller tilgængeligt navn.
  • Returnerer klikbare skærmkoordinater for præcis målretning af knapper, tekstfelter, afkrydsningsfelter, menupunkter og kombinationsfelter.

Timing og synkronisering

  • Brug wait_milliseconds til korte one-shot pauser (op til fem sekunder).
  • Brug browser_wait_for til polling på DOM-niveau (op til 30 sekunder).

Noter

  • Alle koordinater er i skærmpixels med (0,0) øverst i venstre hjørne. Koordinater fra take_screenshot, analyze_screen, , find_ui_elementog list_windows alle deler det samme koordinatrum.
  • En markør-failsafe er aktiv: Hvis markøren bevæger sig inden for fem pixels fra et hvilket som helst skærmhjørne, annulleres museoperationerne. Undgå at målrette de yderste kanter af skærmen.
  • Shell pipe-operatorer (|), semikoloner (;), ampersand-tegn (&) og output-omdirigering (>, <) er blokeret. For at transformere kommandooutput, fang det og bearbejder det med execute_python_code.
  • Hvis tolkevalflag blokeres, eller hvis python -c "..." og node -e "..." afvises, kan du bruge execute_python_code til Python kode eller skrive kode til en fil først.
  • Kommandoen stdout/stderr er afkortet til 32 KB hver. Brug flag til at begrænse udførligt output (for eksempel git log --oneline -20) eller omdiriger til en fil og læs den separat.
  • Maksimal timeout for execute_shell_command og execute_python_code er 30 sekunder. For længere arbejde, del det op i mindre trin eller start en baggrundsproces fra Python og poll.
  • Der findes ikke noget dedikeret værktøj til at læse og skrive filer. Læs filer ved at execute_shell_command bruge kommandoen type . Skriv filer med execute_python_code ved at bruge Python's indbyggede fil-I/O. Omdirigering af shell-output (>, >>) er blokeret.
  • browser_eval_js returnerer altid en streng. Konverter objekter eller tal eksplicit, før du returnerer.
  • Browserens DOM-værktøjer (browser_click, browser_type, browser_eval_js og andre) fungerer kun på den Microsoft Edge instans.  focus_browser kan fokusere på Chrome- eller Firefox-vinduer, men DOM-værktøjer målretter ikke dem.
  • take_screenshot kræver alle fire crop-parametre (x, y, bredde, højde) sammen eller ingen for en fuldskærmsoptagelse.
  • scroll bruger notch-enheder (begrænset til [-20, 20]), ikke pixel. Tre trin svarer cirka til én side.
  • find_ui_element kræver mindst én af tekst, rolle eller navn. Når både tekst og navn er angivet, har navn forrang.
  • browser_snapshot Referencer udløber ved navigation. Hvis et _ref værktøj (klik, skriv, hov, tastetryk, scroll eller sæt filinput) fejler, fordi snapshot'et er forældet, så tag snapshot'et igen og prøv igen.
  • browser_set_file_input_ref Accepterer kun filstier under brugerens Documents, Downloads, Desktop, eller %TEMP% mapper. Filer uden for disse placeringer bliver afvist.
  • browser_get_cookies Returnerer altid redigerede cookie-værdier. Brug det til inspektion – navne, domæner, stier og flag returneres fuldt ud, men værdier vises ikke.
  • browser_set_cookies tilføjer eller overskriver kun cookies. Den rydder ikke eksisterende cookies. For at fjerne en cookie, overskriv den med en udløbet expires værdi via dette værktøj, eller slet den gennem selve siden.
  • browser_execute_batch stopper ved den første mislykkede handling og returnerer kun de resultater, der er indsamlet indtil da. Efterfølgende handlinger i arrayet forsøges ikke. Tilladte batchhandlinger er begrænset til: navigate, , , snapshot, click_ref, , type_refhover_refscroll_ref, keypress_ref, og wait_for. eval_js
  • browser_create_tabs åbner faner i den angivne rækkefølge. Hvis foregroundIndex udeladt, forbliver fokus på den aktuelt aktive fane.
  • browser_get_page_state returnerer kun felterne, der er angivet i arrayet fields . Anmod kun om det, du har brug for – inklusive dom eller screenshot kan producere store laster.

Almindelige anvendelsestilfælde

Udfyld en webformular

  • Kald browser_navigate for at åbne målsiden.
  • Ring browser_wait_for og vent på, at formularen indlæses.
  • Kald browser_type for at udfylde hvert felt med CSS-selectoren.
  • Ring browser_click for at indsende formularen.
  • Ring browser_wait_for og vent på bekræftelseselementet.
  • Ring browser_get_text for at læse og verificere resultatet.

Automatiser en desktopapplikation

  • Brug activate_window til at bringe applikationen i forgrunden.
  • Ring take_screenshot for at fange den nuværende tilstand.
  • Ring find_ui_element for at finde en knap eller et felt ved navn.
  • Anvend click på elementets rapporterede koordinater.
  • Ring type_text for at indtaste data.
  • Kald press_keys på genveje (for eksempel ["ctrl","s"] for at gemme).
  • Ring take_screenshot for at bekræfte resultatet.

Udtræk data fra en webside

  • Ring browser_navigate for at åbne siden.
  • Kald browser_get_text for at udtrække synligt tekstindhold.
  • Kald execute_python_code for at parse og behandle de udtrukne data.
  • Kald browser_eval_js for at forespørge specifikke værdier via JavaScript, når tekstudtrækning ikke er nok.

Kør udviklingsopgaver

  • Kald execute_shell_commandgit pull, npm install, og dotnet build.
  • Kør take_screenshot for at registrere buildoutput.
  • Ring execute_python_code for at analysere logfiler eller testresultater.
  • Kald browser_navigate for at åbne en lokal udviklerserver i browseren.
  • Kør browser_screenshot for at indfange den renderede side.

Læs og skriv filer

  • Læs en fil ved at bruge execute_shell_command med type C:\path\to\file.txt.
  • Skriv en fil ved at bruge execute_python_code med Python's open(...) og write(...).
  • Bekræft ved at bruge execute_shell_command .dir C:\path\to\output.txt
  • Ring get_accessibility_tree for at forstå hele UI-strukturen.
  • Kald find_ui_element for at finde en specifik kontrol (for eksempel role: "MenuItem", name: "Settings").
  • Kald click ved at bruge elementets rapporterede koordinater.
  • Kald find_ui_element igen for at finde næste kontrol i dialogen.
  • Ring type_text eller click interager med den.

Hold en langvarig session i live

  • Send en MCP-anmodning mindst én gang hver 30. minut for at forhindre automatisk fjernelse ved inaktivitet.
  • get_screen_size Den er let og fungerer godt som et hjerteslag.

Få mere at vide

Windows 365 til agenter