Automatiseren met UI-elementen

Bureaubladstromen maken gebruik van UI-elementen om te communiceren met toepassingen en webpagina's, zodat ze geen afbeeldingsherkenning of absolute coördinaten hoeven te gebruiken. De meeste acties voor ui-automatisering en browserautomatisering gebruiken UI-elementen als invoer om specifieke elementen op vensters en webpagina's te identificeren.

UI-elementen

Wanneer u een automatiseringsactie voor de gebruikersinterface of browserautomatisering implementeert, moet u mogelijk een UI-element opgeven als invoer. Als u een nieuw UI-element wilt toevoegen, kunt u dit rechtstreeks vanuit de actie-eigenschappen of via het deelvenster UI-elementen van de stroomontwerper toevoegen.

Elk van deze actiegroepen accepteert een ander type UI-elementen. UI-automatiseringsacties accepteren desktop-UI-elementen, terwijl browserautomatiseringsacties web-UI-elementen accepteren.

Om een nieuw UI-element aan uw stroom toe te voegen, voegt u een nieuw UI-element toe via een actie of het deelvenster UI-elementen, markeert u het desbetreffende element en drukt u op Ctrl + linkermuisknop. Wanneer de selectie is voltooid, selecteert u Gereed.

Vastgelegde UI-elementen worden toegevoegd aan het deelvenster UI-elementen. Selecteer het tabblad UI-elementen aan de rechterkant van de stroomontwerper om het deelvenster UI-elementen te openen.

U kunt elementen alfabetisch sorteren via de optie Sorteren van het tabblad UI-elementen. Als u alle elementen van de gebruikersinterface wilt verwijderen die niet in een actie worden gebruikt, selecteert u het puntpictogram naast de optie Sorteren en verwijdert u vervolgens ongebruikte UI-elementen.

Als u een UI-element een nieuw naam wilt geven of wilt verwijderen, klikt u met de rechtermuisknop op het desbetreffende item en selecteert u de juiste functie.

Als u wilt zoeken waar een specifiek UI-element wordt gebruikt in de stroom, klikt u erop met de rechtermuisknop en selecteert u Gebruik zoeken. In de resultaten worden alle acties weergegeven die gebruikmaken van dit UI-element. Dubbelklik op een resultaat om de actie in de werkruimte te markeren.

Ui-elementtypen

Bureaubladstromen ondersteunen twee soorten UI-elementen op basis van hun bron: bureaublad-UI-elementen en web-UI-elementen.

U kunt elementen van de bureaubladinterface vastleggen vanuit elke Windows toepassing, inclusief niet-webpaginaonderdelen van browsers, zoals de adresbalk. Binnen elementen van de bureaubladinterface worden drie typen selectors ondersteund:

• UI Automation (UIA)-selectoren

  UIA is het moderne toegankelijkheidsframework dat door Microsoft is geïntroduceerd om MSAA te vervangen. Het is de aanbevolen technologie voor het automatiseren van de meeste Windows toepassingen, met name toepassingen die zijn gebouwd met nieuwere UI-frameworks, zoals WPF, WinForms en Universal Windows Platform (UWP). UIA biedt robuustere en gedetailleerdere elementinformatie, verbeterde hiërarchiestructuren en meer betrouwbaarheid in automatiseringsscenario's.

  Gebruik waar mogelijk UIA-selectors voor betere prestaties, onderhoudbaarheid en ondersteuning in moderne desktoptoepassingen.

• Microsoft Active Accessibility (MSAA)-selectoren

  MSAA is een oudere toegankelijkheidstechnologie die voorafgaat aan UIA. Het wordt voornamelijk gebruikt voor verouderde toepassingen die UIA-elementen niet beschikbaar maken, zoals oudere Windows toepassingen die zijn gebouwd met technologieën zoals VB6 of klassieke Win32. Hoewel MSAA minder details en structuur biedt dan UIA, is het essentieel voor het inschakelen van automatisering in omgevingen waar UIA niet beschikbaar is.

  Gebruik MSAA-selectors bij het richten op verouderde of aangepaste toepassingen die hun UI-onderdelen niet beschikbaar maken via UIA.

• UIA3 Raw-selectors

  UIA3 Raw is een geavanceerde, op UI Automation gebaseerde opnamemodus die gebruikmaakt van het UIA3-framework voor toegang tot de onbewerkte, niet-gefilterde structuur van ui-elementen. In tegenstelling tot standaard UIA-selectors, die afhankelijk zijn van een verfijnde besturingsweergave van de toepassing, worden alle elementen in de UI-hiërarchie weergegeven, waaronder tussenliggende, niet-interactieve en frameworkniveauonderdelen.

  Deze modus is met name handig voor het automatiseren van toepassingen met complexe of niet-standaard UI-structuren, zoals aangepast gerenderde UI-elementen, Electron-apps of situaties waarin elementen niet toegankelijk zijn via standaard UIA-selectors. UIA3 Raw kan extra hiërarchielagen en eigenschappen onthullen die niet anders beschikbaar zijn, waardoor u nauwkeuriger kunt richten in uitdagende scenario's.

  Gebruik UIA3 Raw-selectors wanneer UIA-selectors niet betrouwbaar elementen kunnen vastleggen of identificeren, of wanneer diepere toegang tot de UI-structuur van de toepassing is vereist.

Met de ui-elementkiezer in automatiseringsacties voor gebruikersinterfaces kunt u alleen elementen van de bureaubladinterface vastleggen. Met een opnamemodusmenu in de rechterbovenhoek van de kiezer kunt u kiezen tussen de modi UIA, UIA3 Raw en MSAA. De kiezer maakt standaard gebruik van UIA, maar u kunt overschakelen naar UIA3 Raw voor geavanceerde scenario's of MSAA bij het automatiseren van verouderde toepassingen. Een zichtbaar bericht in de kiezer geeft aan wanneer een niet-standaardmodus actief is.

In het deelvenster UI-elementen worden vastgelegde elementen weergegeven, met een indicator die aangeeft of de elementen zijn vastgelegd met behulp van UIA, UIA3 Raw of MSAA. Deze indicator helpt u bij het identificeren van het type selector dat wordt gebruikt voor elk element in uw stroom.

U kunt webgebruikersinterface-elementen van webpagina's vastleggen en deze alleen gebruiken in browserautomatiseringsacties.

Acties voor browserautomatisering accepteren uitsluitend UI-elementen die zijn vastgelegd van webpagina's. Daarom worden in de ui-elementenkiezer van deze acties geen bestaande UI-elementen weergegeven die zijn vastgelegd vanuit bureaubladtoepassingen.

Zie Bureaublad- en webstromen automatiseren en Webstromen automatiseren voor meer informatie over bureaublad- en webautomatisering.

UI-elementen voor webpagina's

Om een UI-element van een webpagina vast te leggen, moet u de juiste browseruitbreiding installeren. Zie Browsers gebruiken en extensies beheren voor meer informatie over ondersteunde browsers en de vereiste extensie.

Verschillen tussen UI-elementen voor bureaublad en voor web

In het deelvenster UI-elementen ziet u opvallende visuele indicaties om snel het verschil tussen bureaublad- en webgebruikersinterface-elementen te herkennen.

Wanneer u een bureaubladelement vastlegt, wordt het bureaubladpictogram weergegeven. Wanneer u een webelement vastlegt, wordt het webpictogram weergegeven. Op deze manier bevestigt u het elementtype voordat u het opslaat.

Een andere methode om het type van een UI-element te controleren, is door de selectors te bekijken. Bureaublad-UI-elementen hebben meestal het bureaublad als hun bovenliggende element, terwijl de web-UI-elementen een webpagina als hun bovenliggende element hebben.

UI-elementen in browservensters

Automatiseer het toepassingsonderdeel van een browser (1) met behulp van elementen van de bureaubladinterface. Gebruik bijvoorbeeld automatiseringsacties voor de gebruikersinterface om te communiceren met de adresbalk of de tabbladen.

Aan de andere kant automatiseert u de geladen webpagina's in de browser (2) met behulp van webinterface-elementen en browserautomatiseringsacties.

Tijdens de opname wordt het toepassingsgebied van de browser automatisch onderscheiden van de webpagina's en worden de juiste ELEMENTEN en acties voor de gebruikersinterface gegenereerd.

Interacties met web-UI-elementen via slepen en neerzetten werken mogelijk niet zoals verwacht vanwege hun inherente beperkingen. Als tijdelijke oplossing kunt u de desktop-UI-elementen op een webpagina vastleggen door de UI-elementkiezer te openen via een actie van de UI-automatiseringsgroep door UI-element toevoegen te selecteren binnen de UI element-parameter. Het vastgelegde UI-element is van het desktoptype en kan worden gebruikt in de actie Drag and drop UI element in window. Houd er rekening mee dat u alleen bureaubladgebruikersinterface-elementen kunt gebruiken in acties van de actiegroep UI-automatisering van Power Automate voor bureaublad. Het is belangrijk op te merken dat desktop-UI-elementen op webpagina's niet zo betrouwbaar zijn als hun web-tegenhangers en onderhevig zijn aan bepaalde eigenschappen van browserapplicaties, zoals de versie van de browser.

Eigenschappen van UI-elementen

Alle UI-elementen bestaan uit een of meer selectors die de UI of webcomponent aangeven waarmee Power Automate communiceert.

Om de selectors van een UI-element te beheren, klikt u met de rechtermuisknop op het element en selecteert u Bewerken. Met deze optie opent u de selectorbouwer, waar u de selectors kunt bewerken in een visuele editor of teksteditor.

Elke selector bestaat uit meerdere elementen die de hiërarchische structuur van het UI-element in de toepassing of webpagina vertegenwoordigen. De attributen beschrijven elk element op unieke wijze en onderscheiden het van andere elementen.

Alle selectoren worden weergegeven met een gebruiksvriendelijke standaardnaam, zodat ze gemakkelijk toegankelijk zijn. Als u een selector een andere naam wilt geven, klikt u met de rechtermuisknop op de naam en selecteert u Naam wijzigen.

Wanneer u een UI-element met meerdere selectors bewerkt, kunt u een selector uitschakelen door er met de rechtermuisknop op te klikken en Uitschakelen te selecteren. Deze functionaliteit kan handig zijn tijdens het testen.

Nadat u de selectors hebt bewerkt, selecteert u Opslaan om de wijzigingen toe te passen. Bij het opslaan worden de wijzigingen in alle selectors in één stap toegepast.

Zie Een aangepaste selector bouwen voor meer informatie over selectors en het handmatig bouwen ervan.

UI-elementen met op tekst gebaseerde selectors

Naast de standaardmethode voor het genereren van selectors voor UI-elementen, biedt Power Automate ondersteuning voor het maken van selectors op basis van de tekstwaarde van een element.

Deze functie is handig voor automatiseringsscenario's die werken met elementen in desktoptoepassingen of webpagina's die altijd met specifieke teksten komen. Selectors op basis van deze teksten zijn betrouwbaarder en veerkrachtiger voor mogelijke toekomstige wijzigingen in de toepassings- of webpaginastructuur.

U kunt alleen op tekst gebaseerde selectors genereren wanneer u UI-elementen vastlegt met behulp van de ui-elementkiezer (deelvenster UI-elementen of acties voor browser-/UI-automatisering). U kunt ze niet genereren tijdens het opnemen.

Als u een UI-element wilt vastleggen met een op tekst gebaseerde selector, opent u de ui-elementkiezer, klikt u met de rechtermuisknop op het gewenste element en selecteert u Vastleggen op basis van tekst.

Vervolgens wordt er een nieuw venster met twee velden weergegeven op het scherm:

• Het veld Tekstwaarde bevat de tekst van het element als voorgestelde waarde. U kunt deze waarde wijzigen in een hard gecodeerde waarde of een variabele.
• U kunt het veld Operator instellen op verschillende operators om de functionaliteit van de selector aan te passen.

Als u Capture selecteert, wordt het UI-element met de juiste tekstgebaseerde selector toegevoegd aan de repository voor UI-elementen.

Op tekst gebaseerde selectors gebruiken het kenmerk Naam van het vastgelegde element voor bureaubladautomatisering en het kenmerk Tekst voor browserautomatisering. Ze zijn alleen beschikbaar voor UI-elementen die zelf een tekstwaarde bevatten.

Met andere woorden: ze zijn beschikbaar voor UI-elementen met een kenmerk Naam of Tekst dat een waarde bevat. Deze zijn niet beschikbaar voor elementen die een dergelijke tekstwaarde niet bevatten, zelfs niet als ze onderliggende elementen met tekst in hun structuur hebben.

Bekende problemen en beperkingen

• Als u ui-element toevoegen selecteert, beweegt u de muisaanwijzer over een venster en kiest u ervoor om een UI-element op tekst vast te leggen, wordt er een standaardkiezer gegenereerd. Deze selector bevat het kenmerk Proces samen met Name.

• Wanneer u een variabele gebruikt met een andere operator dan Gelijk aan, wordt in de aangepaste teksteditor de selector weergegeven in plaats van de opbouwfunctie voor visuals. Deze functionaliteit voorkomt een beperking waardoor de bovenstaande combinatie niet-functioneel is in de opbouwfunctie voor visuals.