Automatisointi käyttöliittymäelementtien avulla

Työpöydän työnkulut käyttävät käyttöliittymäelementtejä vuorovaikutukseen sovellusten ja verkkosivujen kanssa, joten niiden ei tarvitse käyttää kuvantunnistusta tai absoluuttisia koordinaatteja. Useimmat käyttöliittymän automaatio- ja selainautomaatiotoiminnot käyttävät käyttöliittymäelementtejä syötteenä tiettyjen elementtien tunnistamiseen Windowsissa ja verkkosivuilla.

Käyttöliittymäelementit

Kun otat käyttöön käyttöliittymän automaatio- tai selaimen automaatiotoiminnon, sinun on ehkä annettava syötteenä käyttöliittymäelementti. Jos haluat lisätä uuden käyttöliittymäelementin, voit lisätä sen suoraan toiminnon ominaisuuksista tai työnkulun suunnittelutyökalun Käyttöliittymän elementit -ruudusta.

Jokainen näistä toimintoryhmistä hyväksyy erityyppiset käyttöliittymäelementit. Käyttöliittymäautomaatiotoiminnot hyväksyvät työpöydän käyttöliittymäelementit, kun taas selainautomaatiotoiminnot hyväksyvät verkon käyttöliittymäelementit.

Uusi käyttöliittymäelementti lisätään työkulkuun valitsemalla käyttöliittymäelementin lisääminen toiminnon tai käyttöliittymän elementtiruudun kautta, korostamalla vastaava elementti ja painamalla Ctrl- ja hiiren ykköspainiketta. Kun valinta on valmis, valitse Valmis.

Kaikki siepatut käyttöliittymäelementit lisätään Käyttöliittymän elementit -ruutuun. Käyttöliittymän elementtiruutua käytetään valitsemalla Käyttöliittymän elementit -välilehti työnkulun suunnitteluohjelman oikealla puolella.

Voit lajitella elementtejä aakkosjärjestykseen Käyttöliittymän elementit -välilehden Lajittele-asetuksella . Jos haluat poistaa kaikki käyttöliittymän elementit, joita ei käytetä missään toiminnossa, valitse pistekuvake Lajittelu-asetuksen viereistä ja poista sitten käyttämättömät käyttöliittymäelementit.

Jos haluat nimetä käyttöliittymäelementin uudelleen tai poistaa sen, napsauta sitä hiiren kakkospainikkeella ja valitse haluamasi toiminto.

Jos haluat selvittää, missä tiettyä käyttöliittymäelementtiä käytetään työnkulussa, napsauta sitä hiiren kakkospainikkeella ja valitse Etsi käyttö. Tulokset näyttävät kaikki toiminnot, jotka käyttävät tätä käyttöliittymäelementtiä. Kaksoisnapsauta tulosta, niin toiminto korostuu työtilassa.

Käyttöliittymän elementtityypit

Työpöytätyönkulut tukevat kahta käyttöliittymäelementtityyppiä lähteen perusteella: työpöydän käyttöliittymäelementit ja verkon käyttöliittymäelementit.

Voit siepata työpöydän käyttöliittymäelementtejä mistä tahansa Windows sovelluksesta, mukaan lukien selaimen muista kuin verkkosivun osista, kuten osoiterivistä. Työpöydän käyttöliittymäelementeissä tuetaan kolmea valitsintyyppiä:

• UI Automation -ominaisuus (UIA) -valitsimet

  UIA on nykyaikainen helppokäyttötoimintojen kehys, jonka Microsoft on ottanut käyttöön MSAA:n korvaamiseksi. Se on suositeltu teknologia useimpien Windows sovellusten automatisoinnissa, erityisesti niissä, jotka on luotu uusilla käyttöliittymäkehyksillä, kuten WPF, WinFormsilla ja Universal Windows Platform (UWP). UIA tarjoaa vankempia ja yksityiskohtaisempia elementtitietoja, parannetut hierarkiarakenteet ja paremman luotettavuuden automaatioskenaarioiden käytössä.

  Käytä UIA-valitsimia aina kun se on mahdollista suorituskyvyn, ylläpidettävyyden ja tuen parantamiseksi kaikissa moderneissa työpöytäsovelluksissa.

• Microsoft Active Accessibility (MSAA) -valitsimet

  MSAA on vanhempi helppokäyttötoimintojen tekniikka, joka edeltää UIA:a. Sitä käytetään ensisijaisesti vanhoissa sovelluksissa, jotka eivät paljasta UIA-elementtejä, kuten vanhemmissa Windows sovelluksissa, jotka on rakennettu VB6-tekniikoilla tai perinteisillä Win32-tekniikoilla. Vaikka MSAA tarjoaa UIA:aa vähemmän yksityiskohtia ja rakennetta, on tärkeää ottaa käyttöön automaatio ympäristöissä, joissa UIA ei ole käytettävissä.

  KÄYTÄ MSAA-valitsimia, kun kohteena ovat vanhat tai mukautetut sovellukset, jotka eivät paljasta käyttöliittymäosia UIA:n kautta.

• UIA3-raakavalitsimet

  UIA3 Raw on edistynyt UI Automation -ominaisuus perustuva kaapaustila, joka käyttää UIA3-kehystä raakaa, suodattamatonta käyttöliittymäelementtipuuta. Toisin kuin UIA-vakiovalitsimet, jotka käyttävät sovelluksen tarkennettua ohjausobjektinäkymää, UIA3 Raw paljastaa kaikki käyttöliittymähierarkian elementit, mukaan lukien keskitason, ei-vuorovaikutteiset ja sovelluskehyksen tason osat.

  Tämä tila on erityisen hyödyllinen automatisoitaessa sovelluksia, joissa on monimutkaisia tai ei-vakiomuotoisia käyttöliittymärakenteita, kuten mukautettuja hahmonnettuja ohjausobjekteja, Electron-pohjaisia sovelluksia tai tapauksia, joissa elementtejä ei voi käyttää UIA-vakiovalitsinten kautta. UIA3 Raw voi paljastaa lisää hierarkiakerroksia ja ominaisuuksia, jotka eivät ole muuten käytettävissä, mikä mahdollistaa tarkemman kohdentamisen haastavissa skenaarioissa.

  Käytä UIA3 Raw -valitsimia, kun UIA-valitsimet eivät pysty sieppaamaan tai tunnistamaan elementtejä luotettavasti tai kun sovelluksen käyttöliittymärakenteen käyttö on syvempää.

Käyttöliittymän automaatiotoimintojen käyttöliittymäelementtien valitsimen avulla voit tallentaa vain työpöydän käyttöliittymäelementtejä. Valitsimen oikeassa yläkulmassa olevan sieppaamistilavalikon avulla voit valita UIA-, UIA3 Raw- ja MSAA-tilojen välillä. Valitsin käyttää oletusarvoisesti UIA:ta, mutta voit vaihtaa UIA3 Raw'hun kehittyneissä skenaarioissa tai MSAA-tiedostoon, kun automatisoit vanhoja sovelluksia. Näkyvä ilmoitus valitsitimessa ilmaisee, milloin ei-häivytystila on aktiivinen.

Käyttöliittymän elementit -ruudussa näkyvät tallennetut elementit, ja ilmaisin näyttää, tallentuivatko elementit UIA:n, UIA3 Raw'n vai MSAA:n avulla. Tämän ilmaisimen avulla voit tunnistaa työnkulun kullekin elementille käytetyn valitsintyypin.

Voit siepata verkkosivujen käyttöliittymäelementtejä ja käyttää niitä vain selaimen automaatiotoiminnoissa.

Selainautomaatiotoiminnot hyväksyvät ainoastaan verkkosivuilta siepatut käyttöliittymäelementit. Tämän vuoksi näiden toimintojen käyttöliittymäelementtien valitsin ei näytä työpöytäsovelluksista tallennettuja olemassa olevia käyttöliittymäelementtejä.

Katso lisätietoja työpöydän ja verkon automatisoinnista ohjeartikkelista Työpöydän työnkulkujen ja Automate-verkkotyönkulkujen automatisointi.

Verkkosivujen käyttöliittymäelementit

Käyttöliittymäelementin verkkosivulta sieppaamista varten on asennettava sopiva selainlaajennus. Lisätietoja tuetuista selaimista ja vaaditusta laajennuksesta on kohdassa Selainten käyttäminen ja laajennusten hallinta.

Työpöytä- ja verkkokäyttöliittymäelementtien erottaminen

Käyttöliittymäelementit-ruutu näyttää erottuvat visuaaliset merkinnät, joiden avulla tunnistat nopeasti desktopin ja verkon käyttöliittymäelementtien välisen eron.

Kun sieppaat työpöytäelementin, työpöytäkuvake tulee näkyviin. Kun sieppaat verkkoelementin, verkkokuvake tulee näkyviin. Näin varmistat elementin tyypin ennen sen tallentamista.

Käyttöliittymäelementin tyypin voi tarkistaa myös tarkastelemalla sen valitsimia. Työpöydän käyttöliittymäelementtien pääelementtinä on yleensä työpöytä, kun taas verkon käyttöliittymäelementin pääelementti on verkkosivu.

Selainikkunoiden käyttöliittymäelementit

Automatisoi sovelluksen osa selaimessa (1) käyttämällä työpöydän käyttöliittymäelementtejä. Käyttöliittymän automaatiotoimintojen avulla voit esimerkiksi käsitellä osoitepalkkia tai välilehtiä.

Automatisoi sen sijaan ladatut verkkosivut selaimen sisällä (2) käyttämällä verkon käyttöliittymäelementtejä ja selaimen automaatiotoimintoja.

Tallennuksen aikana tallennin erottaa selaimen sovellusalueen automaattisesti verkkosivuilta ja luo asianmukaiset käyttöliittymän elementit ja toiminnot.

Vedä ja pudota -verkkokäyttöliittymäelementtien käyttö ei ehkä toimi odotetusti niihin luontaisesti liittyvien rajoitusten vuoksi. Ongelman voi kiertää sieppaamalla työpöydän käyttöliittymäelementtejä verkkosivulla avaamalla käyttöliittymän elementtivalitsimen käyttöliittymän automaatioryhmän toimintona valitsemalla Lisää käyttöliittymäelementtiUI element -parametrissa. Siepattu käyttöliittymäelementti on työpöytätyyppinen ja sitä voi käyttää Drag and drop UI element in window -toiminnossa. Muista, että voit käyttää työpöydän käyttöliittymäelementtejä vain Desktopin käyttöliittymän automaation toimintoryhmän Power Automate toiminnoissa. On tärkeää muistaa, että työpöydän käyttöliittymäelementit eivät ole verkkosivuilla yhtä luotettavia verkkoon tarkoitetut vastineet ja että selainsovelluksen tiedot, kuten selaimen versio, vaikuttavat niihin.

Käyttöliittymäelementtien ominaisuudet

Kaikissa käyttöliittymäelementeissä on vähintään yksi valitsin, joka osoittaa Power Automaten käyttämän käyttöliittymä- tai verkkokomponentin.

Käyttöliittymäelementin valitsimia hallitaan napsauttamalla sitä hiiren kakkospainikkeella ja valitsemalla Muokkaa. Tämä vaihtoehto tuo esiin valitsimen muodostimen, jossa valitsimia voidaan muokata visuaalisessa editorissa tai tekstieditorissa.

Kussakin valitsimessa on useita elementtejä, jotka ilmaisevat sovelluksessa tai verkkosivulla olevien käyttöliittymäelementtien hierarkkisen rakenteen. Määritteet kuvaavat kutakin elementtiä yksilöivästi ja erottavat sen muista elementeistä.

Kaikki valitsimet näytetään selkeällä oletusnimellä, jolloin ne ovat helposti käytettävissä. Valitsimen voi nimetä uudelleen napsauttamalla nimeä hiiren kakkospainikkeella ja valitsemalla Nimeä uudelleen.

Kun muokkaat käyttöliittymän elementtiä useilla valitsimilla, voit poistaa valitsimen käytöstä napsauttamalla sitä hiiren kakkospainikkeella ja valitsemalla Poista käytöstä. Tästä toiminnosta on apua testauksen aikana.

Kun olet muokannut valitsimia, ota muutokset käyttöön valitsemalla Tallenna . Tallentamalla muutokset otetaan käyttöön kaikissa valitsimissa kerralla.

Lisätietoja valitsimista ja niiden manuaalisesta luomisesta on kohdassa Mukautetun valitsimen luominen.

Tekstipohjaisia valitsimia sisältävät käyttöliittymäelementit

Käyttöliittymäelementtien valitsimien oletusmenetelmän lisäksi Power Automate tukee valitsimien luomista elementin tekstiarvon perusteella.

Tämä ominaisuus on kätevä automaatioskenaarioissa, joissa käsiteltävien työpöytäsovellusten tai verkkosivujen elementeissä on tietty teksti. Näihin teksteihin perustuvat valitsimet ovat sovelluksen tai verkkosivun rakenteeseen mahdollisesti myöhemmin tehtävien muutosten kannalta luotettavia ja joustavia.

Voit luoda tekstipohjaisia valitsimia vain, kun sieppaat käyttöliittymäelementtejä käyttöliittymäelementtien valitsimen avulla (KÄYTTÖLIITTYMÄ-elementit-ruutu tai selaimen/käyttöliittymän automaatiotoiminnot). Niitä ei voi luoda tallennuksen aikana.

Jos haluat siepata käyttöliittymän elementin tekstipohjaisella valitsimella, avaa Käyttöliittymä-elementin valitsin, napsauta hiiren kakkospainikkeella haluamaasi elementtiä ja valitse Sieppaa tekstin perusteella.

Näyttöön tulee sitten uusi ikkuna, jossa on kaksi kenttää:

• Tekstiarvo-kenttä sisältää elementin tekstin ehdotettuna arvona. Tämä arvo voidaan muuttaa kiinteäksi arvoksi tai muuttujaksi.
• Valitsimen toimintaa voidaan muokata määrittämällä Operaattori-kenttään erilaisia operaattoreita.

Valitsemalla Capture lisätään käyttöliittymäelementtien säilöön käyttöliittymäelementti, jolla on oikea tekstipohjainen valitsin.

Tekstipohjaiset valitsimet käyttävät työpöytäautomaatiossa siepatun elementin Nimi-määritettä ja selainautomaatiossa Teksti-määritettä. Ne ovat käytettävissä vain käyttöliittymäelementeissä, joihin sisältyy tekstiarvo.

Ne siis ovat toisin sanoen käytettävissä käyttöliittymäelementeissä, joiden Nimi- tai Teksti-määrite sisältää arvon. Ne eivät ole käytettävissä elementeille, joissa ei ole tällaista tekstiarvoa, vaikka niiden alielementit sisältävät tekstiä rakenteessaan.

Tunnetut ongelmat ja rajoitukset

• Jos valitset Lisää käyttöliittymän elementti, viet hiiren osoittimen ikkunan päälle ja päätät siepata käyttöliittymän elementin tekstin mukaan, prosessi luo oletusvalitsinta. Tämä valitsin sisältää Prosessi-määritteen ja Nimen.

• Kun käytät muuttujaa muun operaattorin kuin Yhtä suuri kuin kanssa, mukautettu tekstieditori näyttää valitsimen visuaalisen luontityökalun sijaan. Tällä toiminnolla vältetään rajoitus, joka tekee edellä olevasta yhdistelmästä epätoiminnallisen visualisoinnin muodostimessa.