Windows 365 agenttien MCP-palvelinviittausta varten

Windows 365 for Agents on MCP-palvelin, joka antaa sinulle täyden operatiivisen hallinnan Windows 365 -pilvitietokoneeseen. Käytä tätä MCP-palvelinta ohjaamaan aitoa Windows-ympäristöä työpöytävuorovaikutuksen (hiiri, näppäimistö, ruudunkaappaus, komentojen suoritus), selaimen automaation kautta Microsoft Edge:n kautta ja semanttisen käyttöliittymän tarkastelun kautta Windows UI Automation -ominaisuus:n kautta.

Lisätietoja Windows 365 for Agents -sivustosta löydät Windows 365 for Agents documentation.

Yleiskatsaus

Käytettävissä olevat työkalut

mcp_W365ComputerUse_StartSession

Aloittaa Windows 365 Computer Use -istunnon, muodostaa yhteyden pilvitietokoneeseen ja varaa Cloud PC -resurssin. Palauttaa se, sessionId jota voidaan käyttää istunnon hallintaan.

Ei vaadittuja parametreja.

mcp_W365ComputerUse_EndSession

Lopettaa aktiivisen Windows 365 Computer Use -istunnon ja vapauttaa siihen liittyvät pilvitietokoneen resurssit. Välitä mcp_W365ComputerUse_StartSession:n palauttama sessionId.

Vaaditut parametrit: sessionId

mcp_W365ComputerUse_GetSessionDetails

Palauttaa metatiedot yhdelle Windows 365 Computer Use -istunnolle, joka tunnistetaan sessionId. Välitä mcp_W365ComputerUse_StartSession:n palauttama sessionId. Ei listaa useita istuntoja.

Vaaditut parametrit: sessionId

siirrä hiirtä

Siirtää kohdistimen näytön sijaintiin. Käytä click sitä sen sijaan, jos aiot klikata kohteeseen. Pakolliset parametrit:

• x: X-koordinaatti ruudun pikseleissä
• y: Y-koordinaatti ruudun pikseleissä

klik

Napsauttaa annetussa kohdassa tai kohdistimen nykyisessä sijainnissa, jos koordinaatit jätetään pois. Tukee yhden klikkauksen, kaksoisklikkauksen ja kaikkia viittä hiiren painiketta.

Valinnaiset parametrit:

• x: X-koordinaatti näytön pikseleissä (jätä pois nykyinen sijainti)
• y: Y-koordinaatti näytön pikseleissä (jätä nykyinen sijainti pois)
• näppäin: Vasen, oikea, keskimmäinen, eteenpäin tai taaksepäin (oletusvasen)
• clickCount: 1 = yksi klikkaus, 2 = kaksoisklikkaus (oletus 1)

get_cursor_position

Palauttaa nykyiset kohdistimen koordinaatit. Ei parametreja. Palauttaa {cursorX, cursorY}.

vedä_hiirellä

Vetää paikasta toiseen. Hyödyllinen esineiden siirtämiseen, ikkunoiden koon muuttamiseen tai pikselitarkkaan vieritykseen. Pakolliset parametrit:

• startX: Start X koordinaatti.
• startY: Käynnistä Y-koordinaatti.
• endX: Lopu X koordinaatti.
• endY: End Y koordinoi. Valinnaiset parametrit:
• painike: Vasen, oikea tai keskimmäinen (oletus on vasen)

käärö

Vierittää tiettyyn kohtaan käyttäen vierintäpykäliä pikseleiden sijaan. Kolme pykälää vastaa noin yhtä sivua.

Pakolliset parametrit:

• x: Rullapaikka X
• y: Rullapaikka Y

Valinnaiset parametrit:

• deltaX: Vaakasuorat lovet, positiivinen = oikea (oletus 0)
• deltaY: Pystysiirtymä, positiivinen = alaspäin (oletus 0)

type_text

Tyyppiä teksti simuloimalla näppäimistön syötettä. Pikanäppäimiä varten käytä press_keys. Web-lomakekentille käytä browser_type.

Pakolliset parametrit:

• teksti: Teksti kirjoitettavaksi.

Valinnaiset parametrit:

• usePaste: Liitä teksti lehtiöstä kirjoittamisen sijaan.

press_keys

Painaa näppäinyhdistelmää samanaikaisesti. Tukee modifikaattorinäppäimiä, toimintonäppäimiä ja tavallisia näppäimiä.

Pakolliset parametrit:

• näppäimet: Näppäinnimien rivistö painettavaksi yhdessä (esim. ["ctrl","c"], , ["alt","tab"]) ["ctrl","shift","s"]

ota_kuvakaappaus

Sieppaa koko näytön tai rajatun alueen PNG-kuvana (base64-koodattu).

Valinnaiset parametrit:

• x: Rajausalueen vasen reuna
• y: Rajausalueen yläreuna
• leveys: Kasvialueen leveys
• Korkeus: Viljelyalueen korkeus

zoom_region

Tallentaa näytön alueen natiiviresoluutiolla PNG-kuvana (base64-koodattu). Käytä tätä ominaisuutta tarkastellaksesi pieniä tekstejä tai tiheitä käyttöliittymäelementtejä, joita on vaikea lukea pienennetyssä koko näytön kuvakaappauksessa.

Pakolliset parametrit:

• x: Vasen reuna X koordinaatti ruudun pikseleissä
• y: Yläreunan Y-koordinaatti näytön pikseleissä
• leveys: Alueen leveys pikseleinä
• korkeus: Alueen korkeus pikseleinä

Analysoi näyttö

Suorittaa OCR:n koko näytöllä. Ei parametreja. Palauttaa arvon {fullText, averageConfidence, boxes[{text, confidence, x, y, width, height}], width, height}.

get_screen_size

Palauttaa näytön resoluution. Ei parametreja. Palauttaa arvon {width, height}.

list_windows

Listaa kaikki näkyvät ikkunat niiden nimikkeineen, paikoineen ja miteineen. Ei parametreja. Palauttaa taulukon .{title, processName, handle, x, y, width, height}

aktivoi ikkuna

Tuo ikkunan etualalle käyttämällä epätarkkaa otsikkovastaavuutta.

Pakolliset parametrit:

• otsikko: Ikkunan osittainen otsikko (kirjainkoosta riippumaton osajono)

focus_browser

Kohdistaa selainikkunan (Edge, Chrome tai Firefox), joka on valinnaisesti suodatettu URL-osoitteen tai otsikon mukaan.

Valinnaiset parametrit:

• Malli: URL- tai otsikkoalimerkkijono, joka vastaa (jätä pois selaimen ikkunasta)

Sulje ikkuna

Sulkee ikkunan hallitusti käyttämällä epätarkkaa otsikkovastaavuutta. Järjestelmä suojaa kriittisiä prosesseja, eikä niitä voi sulkea.

Pakolliset parametrit:

• Otsikko: Osittainen ikkunan mestaruus (80% ottelukynnys). Palauttaa arvon {matchedTitle, processName, closed}.

muuta_ikkunan_kokoa

Muuta ikkunan kokoa, siirtää, maksimoi, pienentää tai palauttaa ikkunan käyttämällä sumeaa otsikkovastaavuutta.

Pakolliset parametrit:

• title: Ikkunan otsikko, johon täsmätään (kirjainkoosta riippumaton epätarkka täsmäys)
• Toiminto: Toiminto suorittaa - Resize, Move, Maximize, Minimize, tai Restore

Valinnaiset parametrit:

• x: Vasen reuna X-koordinaatti (käytetty yhdessä Resize tai Move) kanssa
• y: Yläreuna Y-koordinaatti (käytetty kanssa Resize tai Move)
• leveys: Leveys pikseleinä (käytetään yhdessä Resize)
• korkeus: Korkeus pikseleinä (käytetään yhdessä Resize) kanssa

execute_shell_command

Ajaa shell-komentoa hiekkalaatikkoympäristössä. Komento tarkistetaan sallittujen listan kanssa, ja vaaralliset kuviot estetään.

Pakolliset parametrit:

• komento: Käsky käynnistää

Valinnaiset parametrit:

• cwd: Työhakemisto. Käytä eteenpäin viivoja (esim. C:/Users/me/project).
• timeoutMs: Aikakatkaisu millisekunneissa (oletus 30000, maksimissaan 120000)

execute_python_code

Suorittaa Python-koodia hiekkalaatikkoympäristössä, jossa on resurssirajoituksia. Tämä funktio on ihanteellinen datankäsittelyyn, laskelmiin, tiedostojen I/O:hun ja mihin tahansa laskentaan, joka ylittää yksinkertaiset shell-komennot.

Pakolliset parametrit:

• code: Python koodi (maksimissaan 262 144 merkkiä).

Valinnaiset parametrit:

• cwd: Työhakemisto. Käytä eteenpäin viiltäviä viilloja.
• timeoutMs: Aikakatkaisu millisekunneissa (oletus 30000, maksimissaan 120000).

Palauttaa saman skeeman kuin execute_shell_command.

wait_milliseconds

Keskeyttää suorituksen, jotta animaatiot tai siirtymät voivat valmistua. Älä käytä tätä toimintoa äänestysilmukoissa. Sen sijaan käytä browser_wait_for DOM-kyselyihin.

Pakolliset parametrit:

• ms: Odotusaika millisekunneissa (kiinnitetty [0, 5000])

clipboard_read

Lukee järjestelmän lehtiön nykyisen sisällön. Tämä komento ei vaadi mitään parametreja. Se palauttaa JSON-objektin, joka kuvaa leikepöydän muodon ja hyötykuorman, joka voi olla joko tekstimerkkijono tai base64-koodattu kuva.

leikepöydälle_kirjoittaminen

Kirjoittaa tekstiä järjestelmän leikepöydälle, korvaten nykyisen sisällön.

Pakolliset parametrit:

• teksti: Teksti kirjoitettavaksi lehtiölle

Palauttaa vahvistuksen, joka sisältää merkkimäärän.

list_processes

Listaa käynnissä olevat prosessit nykyisessä istunnossa. Jokainen merkintä sisältää PID:n, prosessin nimen, muistinkäytön, ikkunan otsikon (jos sellainen on) ja startTimeTicks. Yhdistä startTimeTicks ja kill_process, jotta uudelleenkäytettyä PID:tä ei tapeta.

Valinnaiset parametrit:

• maxCount: Suurin määrä palautettavia prosesseja (oletus 200)

Palauttaa JSON-taulukon prosessitietoobjekteja.

lopeta_prosessi

Lopettaa prosessin PID:n avulla. Anna arvo startTime suojautuaksesi list_processes PID:n kierrätykseltä.

Pakolliset parametrit:

• pid: Prosessitunnus, jonka palautti list_processes
• startTime: Prosessin käynnistysajan tickit palautetaan list_processes

Valinnaiset parametrit:

• force: Pakota lopettaminen ilman hallittua sammutusta (oletus: false)

Palauttaa JSON-tuloksen, joka kuvaa lopputuloksen.

launch_application

Käynnistää GUI-sovelluksen sallitun hakemiston kautta. Käytä execute_shell_command komentokomentoja sen sijaan.

Pakolliset parametrit:

• polku: Absoluuttinen polku suoritettavaan tiedostoon. Käytä eteenpäin viivoja (esim. C:/Program Files/app.exe).

Valinnaiset parametrit:

• args: Komentoriviargumenttien taulukko

Palauttaa arvon {path, pid}.

get_system_info

Palauttaa käyttöjärjestelmäversion, suorittimen, RAM-muistin, vapaan levytilan ja näytön resoluution. Ei parametreja. Palauttaa JSON-objektin, joka sisältää järjestelmän tiedot.

selain_siirtyä

Navigoi URL-osoitteeseen ja odottaa sivun latautumista.

Pakolliset parametrit:

• url: Koko URL mukaan lukien protokolla (esimerkiksi, https://example.com)

selaimen takaisin

Selaa takaisin selaushistoriaan. Ei parametreja.

Siirry eteenpäin

Navigoi eteenpäin selaushistoriassa. Ei parametreja.

selain_lataa_uudelleen

Lataa nykyisen sivun uudelleen. Ei parametreja.

browser_get_url

Palauttaa nykyisen sivun URL-osoitteen pelkkänä merkkijonona. Ei parametreja.

hae selaimen otsikko

Palauttaa nykyisen sivun otsikon tavallisena merkkijonona. Ei parametreja.

browser_get_text

Palauttaa näkyvän sivun tekstisisällön tavallisena merkkijonona. Ei parametreja. Katkaistu 512 KB:iin.

browser_get_html

Palauttaa koko sivun HTML-lähteen pelkkänä merkkijonona. Ei parametreja. Katkaistu 512 KB:iin.

browser_get_page_state

Hae useita sivutilakenttiä yhdellä kutsulla. Hyödyllinen useiden signaalien tallentamiseen kerralla ilman erillisiä työkalukutsuja.

Pakolliset parametrit:

• Kentät: Palautettavien kenttien taulukko. Sallitut arvot: url, title, domscreenshot, ,tabs

Palauttaa JSON-objektin, joka sisältää vain pyydetyt kentät.

selaimen napsautus

Klikkaa DOM-elementtiä CSS-valitsimella. Luotettavampi kuin koordinaattipohjainen klikkailu verkkosisällölle.

Pakolliset parametrit:

• valitsija: CSS-valitsin (esimerkiksi, #submit-btn tai a.nav-link)

browser_type

Kirjoittaa tekstin lomakeelementiksi CSS-valitsimen avulla.

Pakolliset parametrit:

• valitsija: syöttöelementin CSS-valitsija.
• teksti: Teksti kirjoitettavaksi.

browser_query_text

Saa ensimmäisen alkion tekstisisällön, joka vastaa CSS-valitsijaa.

Pakolliset parametrit:

• valitsija: CSS-valitsin.

browser_wait_for

Odottaa, että DOM-elementti ilmestyy. Tämä funktio on hyödyllinen dynaamiselle sisällölle, joka latautuu asynkronisesti.

Pakolliset parametrit:

• valitsin: odotettava CSS-valitsin.

Valinnaiset parametrit:

• aikalisä Ms: Aikalisä millisekunneissa. Oletuksena on 5 000 ja maksimi 30 000.

browser_eval_js

Arvioi JavaScript-lausekkeen sivukontekstissa ja palauttaa tuloksen merkkijonona.

Pakolliset parametrit:

• lauseke: JavaScript-lauseke, joka palauttaa merkkijonon

Selaimen välilehtiluettelo

Listaa kaikki avoimet välilehdet niiden indeksillä, otsikolla ja URL-osoitteella. Parametreja ei tarvita. Palauttaa taulukon .{index, title, url}

Valinnaiset parametrit:

• tabId: Yksikäsitteinen välilehtitunniste

browser_switch_tab

Vaihtaa välilehteen indeksin mukaan.

Pakolliset parametrit:

• tabIndex: 0-pohjainen välilehtiindeksi

Valinnaiset parametrit:

• tabId: Yksikäsitteinen välilehtitunniste

browser_new_tab

Avaa uuden välilehden, joka voi vaihtoehtoisesti siirtyä URL-osoitteeseen.

Valinnaiset parametrit:

• url: URL avattavaksi (tyhjä välilehti, jos se jätetään pois)

Palauttaa arvon {index, title, url}.

browser_create_tabs

Avaa useita välilehtiä kerralla. Voit halutessasi tuoda yhden niistä etualalle.

Pakolliset parametrit:

• URL-osoitteet: Avattava URL-taulukko, yksi välilehti per URL

Valinnaiset parametrit:

• foregroundIndex: Välilehden indeksi, joka nostetaan etualalle luomisen jälkeen (jätä pois, jotta nykyinen välilehti pysyy fokusoituna)

Palauttaa tekstivahvistuksen.

Sulje välilehti

Sulkee välilehden indeksin mukaan.

Pakolliset parametrit:

• tabIndex: 0-pohjainen tab-indeksi Valinnaiset parametrit:

• tabId: Yksikäsitteinen välilehtitunniste

browser_screenshot

Sieppaa PNG-näyttökuvan vain selaimen näyttöikkunasta (ei koko näytöstä). Ei parametreja. Palauttaa base64-koodatun PNG:n.

Valitse selainvaihtoehto

Valitsee yhden tai useamman elementin vaihtoehdon <select> niiden value määritteen mukaan.

Pakolliset parametrit:

• valitsija: CSS-valitsin elementille <select>
• arvot: Valintavaihtoehtojen arvojen taulukko

Palauttaa vahvistuksen, jossa on valittujen vaihtoehtojen määrä.

selain_täyttää_lomakkeen

Täytä useita lomakekenttiä yhdellä puhelulla. Jokainen merkintä on {selector, value} -pari. Operaatio pysähtyy ensimmäiseen epäonnistumiseen ja raportoi, mitkä kentät onnistuivat.

Pakolliset parametrit:

• kentät: Parien taulukko {selector, value}

Palauttaa vahvistuksen, jossa on täytettyjen kenttien määrä.

browser_drag

Vetää lähde-elementin kohdeelementtiin. Molemmat elementit tunnistetaan CSS-valitsimella.

Pakolliset parametrit:

• sourceSelector: CSS-valitsin drag-lähteelle
• targetSelector: CSS-valitsija pudotuskohteelle

browser_pdf_save

Tallentaa nykyisen sivun PDF-tiedostona. Kohdepolut on rajoitettu arvoihin %USERPROFILE% tai %TEMP%.

Pakolliset parametrit:

• filePath: Kohdetiedoston polku alla %USERPROFILE% tai %TEMP%. Käytä eteenpäin viiltäviä viilloja.

Palauttaa vahvistuksen, joka sisältää tallennetun tiedostopolun.

browser_handle_dialog

Hyväksyy tai hylkää odottavan selaimen valintaikkunan (hälytys, vahvistus, kehote tai ennen latausta). Palauttaa "Ei dialogia odottaa", jos mikään dialogi ei ole aktiivinen.

Pakolliset parametrit:

• Toiminta: accept tai dismiss

Valinnaiset parametrit:

• promptText: Teksti, joka toimitetaan kehotteen dialogiin (ei huomioita, kun ilmoitetaan ja vahvistetaan)

browser_get_cookies

Hakee evästeet nykyiseltä sivulta tai määritetyistä URL-osoitteista. Evästeiden arvot on aina sensuroitu turvallisuuden vuoksi; nimet, verkkotunnukset, polut ja liput palautetaan.

Valinnaiset parametrit:

• urls: URL-osoitteiden taulukko, jolle evästeitä voi saada (jätä pois nykyiseltä sivulta)

Palauttaa taulukon evästeobjekteja, joiden arvot on sensuroitu.

browser_set_cookies

Määrittää evästeet nykyisen sivun toimialueella. Tämä toiminto lisää tai korvaa evästeet, mutta ei tyhjennä olemassa olevia evästeitä.

Pakolliset parametrit:

• evästeet: Evästeobjektien taulukko. Jokainen merkintä vaatii name ja value. Valinnaiset kentät: domain, path, secure, httpOnly, sameSite.

Palauttaa tekstivahvistuksen.

browser_execute_batch

Suorittaa useita selaintoimintoja peräkkäin yksittäisessä kutsussa. Tämä toiminto pysähtyy ensimmäiseen epäonnistumiseen ja palauttaa siihen asti kerätyt tulokset.

Pakolliset parametrit:

• toiminnot: Objektien taulukko {action, params} . Sallitut toiminnot: navigate, snapshot, click_ref, type_refhover_ref, scroll_refkeypress_refwait_foreval_js, .

Palauttaa joukon tuloksia, yksi per suoritettu toiminto.

browser_snapshot

Tallentaa sivun saavutettavuuspuun vakailla viite-ID:illä (esimerkiksi e5), jotka vastaavat DOM-solmuja. Käytä viitteitä , browser_click_refbrowser_type_ref, ja browser_hover_ref. Viitteet vanhenevat, kun sivu navigoidaan—ota snapshotti uudelleen navigoinnin jälkeen.

Valinnaiset parametrit:

• maxDepth: Maksimipuun syvyys, 1-10 (oletus 5)
• includeIframes: Sisällytä ristiinlähtöiset iframet (oletus tosi)

Palauttaa JSON-objektin, joka sisältää saavutettavuuskuvan ja viite-ID:t.

browser_click_ref

Klikkaa elementtiä viite-ID:n perusteella .browser_snapshot Osumatesti varmistaa, ettei mikään muu elementti ole kohteen päällä. Epäonnistuu, jos vedos vanhenee — ota vedos uudelleen tällöin.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementin viite (esim. e5) vedossolmuista

Valinnaiset parametrit:

• painike: Vasen, oikea tai keskimmäinen (oletusvasen)
• clickCount: 1 = yksi klikkaus, 2 = kaksoisklikkaus (oletus 1)

Palauttaa vahvistuksen, jossa on klikkatut koordinaatit.

browser_type_ref

Kirjoittaa tekstin elementtiin käyttämällä viite-ID:tä .browser_snapshot Elementti tarkennetaan ensin, ja olemassa oleva teksti tyhjennetään oletuksena. Operaatio epäonnistuu, jos tilannekuva vanhenee.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementin viite (esim. e5) vedossolmuista
• teksti: Teksti kirjoitettavaksi

Valinnaiset parametrit:

• selvä: Tyhjennä ensin olemassa oleva teksti (oletuksena tosi)

Palauttaa vahvistuksen, joka sisältää merkkimäärän.

browser_hover_ref

Leijuu elementin päällä käyttämällä viite-ID:tä .browser_snapshot Palauttaa välittömästi. Operaatio epäonnistuu, jos snapshot vanhenee – ota snapshot uudelleen siinä tapauksessa.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementin viite (esim. e5) vedossolmuista

Palauttaa vahvistuksen, johon sisältyy leijuntakoordinaatit.

get_accessibility_tree

Hakee edustaikkunan käyttöliittymäelementtipuun. Jokainen elementti sisältää roolinsa, nimensä, arvonsa ja näytön koordinaatit.

Valinnaiset parametrit:

• maxDepth: Suurin puun kulkusyvyys, 1-10 (oletus 3)
• maxElements: Maksimimäärä palautettavia alkioita, 1-2000 (oletus 500)

Palauttaa hierarkkisen puun {rooli, nimi, arvo, x, y, leveys, korkeus, lapset[...]}.

browser_keypress_ref

Painaa yhtä elementin näppäintä viitetunnuksella kohteesta browser_snapshot. Elementti keskittyy ensin. Tukee modifikaattorinäppäimiä. Epäonnistuu, jos tilannekuva on vanhentunut — ota kuva uudelleen siinä tapauksessa.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementin viite (esim. e5) vedossolmuista
• avain: Avaimen nimi — esimerkiksi Enter, Escape, , TabArrowUp, ArrowDown, , tai F1–F12

Valinnaiset parametrit:

• Modifikaattorit: Modifikaattorinäppäinten rivistö, jota pitää painalluksen aikana — Ctrl, Shift, Alt, tai Meta

Palauttaa tekstivahvistuksen.

browser_scroll_ref

Vierittää elementin näkymään viittaustunnuksen perusteella kohteesta browser_snapshot. Vaihtoehtoisesti voit vierittää elementin sisällä olevaa kuvapisteen deltaa. Epäonnistuu, jos snapshot vanhenee.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementin viite (esim. e5) vedossolmuista

Valinnaiset parametrit:

• deltaX: Vaakasuuntainen vieritysdelta pikseleissä (oletus 0)
• deltaY: Pystysuuntainen vieritysdelta pikseleissä (oletus 0)

Palauttaa tekstivahvistuksen.

browser_set_file_input_ref

Asettaa tiedostot tiedoston syöteelementtiin viittaustunnuksella kohteesta browser_snapshot. Tiedostopolut rajoittuvat käyttäjän Documentskansioihin, Downloads, Desktop, , tai %TEMP% kansioihin.

Pakolliset parametrit:

• snapshotId: Snapshot-tunnus palautettu browser_snapshot
• viite: Elementtiviite tiedostosyötteelle
• filePaths: Tiedostopolkujen taulukko ladattavaksi

Palauttaa tekstivahvistuksen.

etsi käyttöliittymäelementti

Etsii käyttöliittymäelementtejä tekstin sisällön, helppokäyttötoimintojen roolin tai nimen (kirjainkoko ei ole merkitsevä alimerkkijonon) mukaan. Palauttaa yhteensopivat elementit niiden klikattavan näytön koordinaattien kanssa.

Valinnaiset parametrit:

• teksti: Haettava teksti (käytetään nimenä, jos nimi jätetään pois)
• rooli: käyttöliittymäroolin suodatin – Button, TextBox, CheckBox, MenuItem, ComboBoxja paljon muuta
• nimi: Saavutettava nimi (menee tekstin edelle, jos molemmat ovat saatavilla)
• windowHandle: Kohdeikkunan kahva (null = etualan ikkuna)

Tärkeimmät ominaisuudet

Työpöytävuorovaikutus

• Klikkaus, kaksoisklikkaus, oikea klikkaus ja viiden painikkeen hiiren ohjaus.
• Pikselintarkka vedä ja pudota -toiminto.
• Pykäläpohjainen vieritys (kolme pykälää ≈ yksi sivu).
• Näppäimistön kirjoittaminen ja moninäppäinten pikakuvakeyhdistelmät.
• Kursoripaikan seuranta.
• Näytön resoluution tunnistus.

Ruudun kaappaus ja analyysi

• Koko ruudun tai rajatut PNG-kuvakaappaukset.
• Koko näytön tekstintunnistus aluekohtaisilla varmuuspisteillä ja rajausruuduilla.
• Selaimessa näkyvät kuvakaappaukset verkkosisällöstä.

Ikkunoiden hallinta

• Listaa kaikki näkyvät ikkunat paikoineen ja miteineen.
• Aktivoi ikkunat otsikon epätarkan vastaavuuden perusteella.
• Focus-selaimen ikkunat (Edge, Chrome, Firefox) suodatetaan halutessaan URL-osoitteen tai otsikon mukaan.
• Sulava ikkunan sulkeminen ja suoja järjestelmäkriittisille prosesseille.

Komennon suorittaminen

• Hiekkalaatikkokuorikomennot, joissa on sallivaltalista (git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type).
• Suorita hiekkalaatikossa Python enintään 262,144 merkin koodia.
• Työhakemisto ja kutsukohtainen aikakatkaisuhallinta (maksimissaan 30 sekuntia).
• Resurssirajoitukset ja vahvistettu estolista shell-metahahmoja, arviointilippuja, etuoikeuksien korottamista ja tuhoavia operaatioita vastaan.

Selaimen automaatio

• Navigaatio, taaksepäin, eteenpäin, lataa uudelleen ja konfiguroitavat odotusehdot navigaatiossa (load, networkidle0, networkidle2).
• Lue sivun URL, otsikko, näkyvä teksti (512 KB cap) ja koko HTML (512 KB cap).
• Yhdistetty sivun tilanhaku — URL, otsikko, DOM, kuvakaappaus ja välilehtilista yhdellä kutsulla.
• DOM-tason klikkaus, tyyppi, lomakkeen täyttö, raahaaminen ja <select> vaihtoehtojen valinta CSS-valitsimella.
• Saavutettavuuskuvaan perustuva vuorovaikutus viite-ID:n avulla — klikkaa, kirjoita, vietä hiiri, näppäimen painallus modifikaattoreilla, vieritä ja tiedostosyötteen lataus.
• Odota dynaamisia elementtejä, joissa on konfiguroitava aikakatkaisu, joka vaatii tarvittaessa näkyvyyttä.
• Arvioi JavaScript lausekkeita sivun kontekstissa.
• Monivälilehtien hallinta: listaa, vaihda, avaa yksi tai monta yhtä aikaa ja sulje.
• Evästeiden tarkastus (arvot sensuroitu) ja sijoitus nykyiselle verkkotunnukselle.
• Eräajotoimintojen suoritus — sekvensoi useita selaimen vaiheita yhdellä kutsulla, pysähdys ensimmäisellä epäonnistumisella.
• Tallenna nykyinen sivu PDF-muodossa kohdalle %USERPROFILE% tai %TEMP%.
• Dialogin käsittely , alertconfirm, prompt, ja beforeunload.
• Toimii Microsoft Edge:llä, käynnistyy automaattisesti ensimmäisellä käyttökerralla.

Käyttöliittymän helppokäyttötoiminnot

• Hae etualan ikkunan Windows UI Automation -ominaisuus tree, jossa on säädettävissä syvyyttä ja elementtimäärää.
• Etsi käyttöliittymäelementtejä tekstin, roolin tai saavutettavan nimen perusteella.
• Palauttaa klikattavat näytön koordinaatit tarkkaa kohdentamista varten napeille, tekstiruuduille, valintaruuduille, valikkoille ja komboruuduille.

Ajoitus ja synkronointi

• Käytä wait_milliseconds lyhyitä yksittäisiä taukoja (enintään viisi sekuntia).
• Käyttö browser_wait_for DOM-tason kyselyissä (enintään 30 sekuntia).

Muistiinpanot

• Kaikki koordinaatit ovat ruudun pikseleissä, joissa (0,0) on vasemmassa yläkulmassa. Koordinaatit , take_screenshotanalyze_screen, find_ui_element, ja list_windows jakavat kaikki saman koordinaattiavaruuden.
• Kohdistimen turvamekanismi on aktiivinen: Jos kursori liikkuu viiden pikselin säteellä minkä tahansa näytön kulmasta, hiiren toiminnot perutaan. Vältä kohdistamasta ruudun äärireunoja.
• Kuoriputkioperaattorit (|), puolipisteet (;)), ampersandit (&) ja ulostulon uudelleenohjaus (>, <) ovat estettyjä. Komentotuloksen muuntamiseksi kaappaa se ja käsittele se .execute_python_code
• Jos tulkkien arviointiliput estetään tai python -c "..." ja node -e "..." hylätään, voit käyttää execute_python_code Python-koodiin tai kirjoittaa koodia tiedostoon ensin.
• Komento stdout/stderr on lyhennetty 32 KB:iin kukin. Käytä lippuja rajoittamaan sanaaktiivista tulostusta (esimerkiksi git log --oneline -20) tai ohjaa tiedostoon ja lue se erikseen.
• execute_shell_command:n ja execute_python_code:n enimmäisaikakatkaisu on 30 sekuntia. Pidemmässä työssä voit jakaa sen pienempiin vaiheisiin tai käynnistää taustaprosessi Python- ja kyselyistä.
• Ei ole omaa tiedostojen luku-/kirjoitustyökalua. Lue tiedostoja käyttämällä execute_shell_command komentoa type . Kirjoita tiedostoja execute_python_code:lla käyttäen Python:n sisäänrakennettua tiedosto-I/O:ta. Kuoren ulostulon uudelleenohjaus (>, >>) on estynyt.
• browser_eval_js aina palauttaa merkkijonon. Muunna objektit tai numerot eksplisiittisesti ennen palautusta.
• Selaimen DOM-työkalut (browser_click, browser_type, browser_eval_js ja muut) toimivat vain Microsoft Edge-instanssissa.  focus_browser voi keskittyä Chrome- tai Firefox-ikkunoihin, mutta DOM-työkalut eivät kohdistu niihin.
• take_screenshot vaatii kaikki neljä rajausparametria (x, y, leveys, korkeus) yhdessä tai ei lainkaan koko ruudun kuvaukseen.
• scroll käyttää notch-yksiköitä (rajattu välille [-20, 20]), ei pikseleitä. Kolme pykälää on noin yhden sivun verran.
• find_ui_element vaatii vähintään yhden tekstin, roolin tai nimen. Kun sekä teksti että nimi on annettu, nimi menee etusijalle.
• browser_snapshot Viitteet vanhenevat navigoinnissa. Jos jokin _ref työkalu (klikkaus, kirjoitus, hiiri, näppäinpainallus, vieritä tai aseta tiedoston syöttö) epäonnistuu, koska tilannekuva on vanhentunut, ota snapshot uudelleen ja yritä uudelleen.
• browser_set_file_input_ref hyväksyy vain tiedostopolut käyttäjän Documents, Downloads, Desktop, tai %TEMP% hakemistojen alla. Tiedostot näiden paikkojen ulkopuolella hylätään.
• browser_get_cookies palauttaa aina sensuroidut evästearvot. Käytä sitä tarkastukseen—nimet, verkkotunnukset, polut ja liput palautetaan kokonaisuudessaan, mutta arvoja ei paljasteta.
• browser_set_cookies Lisää tai korvaa vain evästeet. Se ei poista olemassa olevia evästeitä. Evästeen poistamiseksi ylikirjoita se vanhentuneella expires arvolla tällä työkalulla tai tyhjennä se sivun kautta.
• browser_execute_batch pysähtyy ensimmäiseen epäonnistuneeseen toimenpiteeseen ja palauttaa vain siihen asti kerätyt tulokset. Myöhempiä toimintoja järjestelmässä ei yritetä. Sallitut erätoiminnot rajoittuvat: navigate, snapshot, click_ref, type_ref, hover_refscroll_refkeypress_refwait_for, , ja .eval_js
• browser_create_tabs avaa välilehdet annetussa järjestyksessä. Jos foregroundIndex se jätetään pois, fokus pysyy tällä hetkellä aktiivisessa välilehdessä.
• browser_get_page_state palauttaa vain taulukossa luetellut fields kentät. Pyydä vain sitä, mitä tarvitset – mukaan lukien dom tai screenshot voit tuottaa suuria hyötykuormia.

Yleiset käyttötapaukset

Täytä verkkolomake

• Soita browser_navigate avataksesi kohdesivun.
• Soita browser_wait_for ja odota lomakkeen latautumista.
• Kutsu browser_type täyttämään jokainen kenttä CSS-valitsimella.
• Soita browser_click lähettääksesi lomakkeen.
• Soita browser_wait_for odottaaksesi vahvistuselementtiä.
• Soita browser_get_text lukeaksesi ja vahvistaaksesi tuloksen.

Automatisoi työpöytäsovellus

• Soita activate_window tuodaksesi hakemuksen etualalle.
• Kutsu take_screenshot nykytilan tallentamiseksi.
• Soita find_ui_element löytääksesi painikkeen tai kentän nimellä.
• Kutsu click elementin raportoimat koordinaatit.
• Soita type_text tietojen syöttämiseksi.
• Kutsu press_keys pikakuvakkeita (esimerkiksi ["ctrl","s"] tallentaaksesi).
• Soita take_screenshot ja varmista tulos.

Tietojen poimiminen verkkosivulta

• Soita browser_navigate avataksesi sivun.
• Soita browser_get_text näkyvän tekstin sisällön purkamiseksi.
• Kutsu execute_python_code jäsentämään ja käsittelemään purkattua dataa.
• Kutsu browser_eval_js kysymään tiettyjä arvoja JavaScriptin avulla, kun tekstin poiminta ei riitä.

Suorita kehitystehtäviä

• Soita execute_shell_command:lle koskien git pull:tä, npm install:ta ja dotnet build:ta.
• Kutsu take_screenshot build-tuloksen kaappaamiseksi.
• Soita execute_python_code analysoidaksesi lokit tai testitulokset.
• Soita browser_navigate avataksesi paikallisen kehittäjäpalvelimen selaimessa.
• Kutsu browser_screenshot kaappaamaan renderöidyn sivun.

Tiedostojen lukeminen ja kirjoittaminen

• Lue tiedosto käyttämällä execute_shell_command .type C:\path\to\file.txt
• Kirjoita tiedosto käyttämällä execute_python_code Python:n open(...) ja write(...).
• Varmista käyttämällä execute_shell_command .dir C:\path\to\output.txt

Navigoi monimutkaisessa käyttöliittymässä saavutettavuuden avulla

• Soita get_accessibility_tree ymmärtääksesi koko käyttöliittymän rakenteen.
• Kutsu find_ui_element löytääksesi tietyn kontrollin (esimerkiksi , role: "MenuItem"name: "Settings").
• Kutsu click käyttämällä elementin ilmoitettuja koordinaatteja.
• Soita find_ui_element uudelleen löytääksesi seuraavan ohjaimen dialogista.
• Kutsu type_text tai click ollaksesi vuorovaikutuksessa sen kanssa.

Pidä pitkäaikainen sessio elossa

• Lähetä MCP-pyyntö vähintään kerran 30 minuutissa estääksesi häätöjä.
• get_screen_size on kevyt ja toimii hyvin sydämenlyöntinä.

Lue lisätietoja

Windows 365 agenteille