Automatyzowanie używania elementów interfejsu użytkownika

Przepływy pulpitu używają elementów interfejsu użytkownika do interakcji z aplikacjami i stronami internetowymi, dlatego nie muszą używać rozpoznawania obrazów ani współrzędnych bezwzględnych. Większość akcji automatyzacji interfejsu użytkownika i automatyzacji przeglądarki używa elementów interfejsu użytkownika jako danych wejściowych do identyfikowania określonych elementów w oknach i na stronach internetowych.

Elementy interfejsu użytkownika

Podczas wdrażania automatyzacji interfejsu użytkownika lub akcji automatyzacji przeglądarki może być konieczne podanie elementu interfejsu użytkownika jako danych wejściowych. Aby dodać nowy element interfejsu użytkownika, możesz zrobić to bezpośrednio we właściwościach akcji lub za pośrednictwem okienka „Elementy interfejsu użytkownika” projektanta przepływu.

Każda z tych grup akcji akceptuje inny typ elementów interfejsu użytkownika. Akcje automatyzacji interfejsu użytkownika akceptują elementy interfejsu użytkownika pulpitu, a akcje automatyzacji przeglądarki akceptują elementy internetowego interfejsu użytkownika.

Aby dodać nowy element interfejsu użytkownika do przepływu pracy, dodaj go za pomocą akcji lub w okienku elementów interfejsu użytkownika, zaznacz odpowiedni element i naciśnij klawisz Ctrl i kliknij lewym przyciskiem myszy. Po zakończeniu zaznaczenia wybierz pozycję Gotowe.

Wszystkie przechwycone elementy interfejsu użytkownika są dodawane do okienka elementy interfejsu użytkownika. Aby otworzyć panel „Elementy interfejsu użytkownika”, wybierz kartę „Elementy interfejsu użytkownika” po prawej stronie projektanta przepływu.

Elementy można sortować alfabetycznie za pomocą opcji Sortuj na karcie elementów interfejsu użytkownika. Aby usunąć wszystkie elementy interfejsu użytkownika, które nie są używane w żadnej akcji, wybierz ikonę kropek obok opcji Sortuj, a następnie Usuń nieużywane elementy interfejsu użytkownika.

Aby zmienić nazwę lub usunąć element interfejsu użytkownika, kliknij prawym przyciskiem myszy odpowiedni element i wybierz odpowiednią funkcję.

Aby znaleźć miejsce użycia określonego elementu interfejsu użytkownika w przepływie, kliknij go prawym przyciskiem myszy i wybierz pozycję Znajdź użycie. Wyniki wyświetlają wszystkie akcje korzystające z tego elementu interfejsu użytkownika. Kliknij dwukrotnie na wynik, aby zaznaczyć akcję na obszarze roboczym.

Typy elementów interfejsu użytkownika

Przepływy pulpitu obsługują dwa typy elementów interfejsu użytkownika oparte na ich źródle: pulpity i elementy interfejsu użytkownika sieci Web.

Możesz przechwytywać elementy interfejsu użytkownika pulpitu z dowolnej aplikacji systemu Windows, w tym elementy przeglądarek inne niż strony internetowe, takie jak pasek adresu. W ramach elementów interfejsu użytkownika pulpitu obsługiwane są trzy typy selektorów:

• Selektory automatyzacja interfejsu użytkownika (UIA)

  UIA to nowoczesna struktura ułatwień dostępu wprowadzona przez Microsoft w celu zastąpienia usługi MSAA. Jest to zalecana technologia automatyzowania większości aplikacji Windows, zwłaszcza tych utworzonych przy użyciu nowszych struktur interfejsu użytkownika, takich jak WPF, WinForms i Universal Windows Platform (UWP). UIA oferuje bardziej rozbudowane i szczegółowe informacje o elementach, ulepszone struktury hierarchii oraz większą niezawodność w scenariuszach automatyzacji.

  Używaj selektorów UIA, gdy jest to możliwe, aby uzyskać lepszą wydajność, łatwość konserwacji i obsługę we wszystkich nowoczesnych aplikacjach klasycznych.

• Selektory Microsoft Active Accessibility (MSAA)

  MSAA to starsza technologia dostępności, która poprzedzała UIA. Jest ona używana głównie w przypadku aplikacji starszego typu, które nie udostępniają elementów UIA, takich jak starsze aplikacje systemu Windows zbudowane w technologiach takich jak VB6 lub klasyczny Win32. Chociaż usługa MSAA zapewnia mniej szczegółów i strukturę niż UIA, niezbędne jest włączenie automatyzacji w środowiskach, w których funkcja UIA nie jest dostępna.

  Używaj selektorów MSAA w przypadku starszych lub tworzonych na zamówienie aplikacji, które nie udostępniają swoich składników interfejsu użytkownika za pośrednictwem UIA.

• Surowe selektory UIA3

  UIA3 Raw to zaawansowany tryb przechwytywania oparty na automatyzacja interfejsu użytkownika, który wykorzystuje platformę UIA3, aby uzyskać dostęp do surowego, niefiltrowanego drzewa elementów interfejsu użytkownika. W przeciwieństwie do standardowych selektorów UIA, które opierają się na przefiltrowanym widoku kontrolek aplikacji, UIA3 Raw ujawnia wszystkie elementy w hierarchii interfejsu użytkownika, w tym składniki pośrednie, nieinteraktywne i na poziomie struktury.

  Ten tryb jest szczególnie przydatny do automatyzacji aplikacji o złożonych lub niestandardowych strukturach interfejsu użytkownika, takich jak niestandardowo renderowane kontrolki, aplikacje oparte na Electronie lub przypadki, w których elementy nie są dostępne za pośrednictwem standardowych selektorów UIA. Nieprzetworzone dane UIA3 mogą wyświetlać dodatkowe warstwy hierarchii i właściwości, które nie są dostępne w inny sposób, umożliwiając dokładniejsze określanie wartości docelowych w trudnych scenariuszach.

  Użyj selektorów nieprzetworzonych UIA3, gdy selektory interfejsu użytkownika nie mogą niezawodnie przechwytywać ani identyfikować elementów albo gdy wymagany jest głębszy dostęp do struktury interfejsu użytkownika aplikacji.

Selektor elementów interfejsu użytkownika w akcjach automatyzacji interfejsu użytkownika umożliwia przechwytywanie tylko elementów interfejsu użytkownika na pulpicie. Menu trybu przechwytywania w prawym górnym rogu selektora umożliwia wybranie między trybami UIA, UIA3 Raw i MSAA. Domyślnie selektor używa UIA, ale można przełączyć go na UIA3 Raw dla zaawansowanych scenariuszy lub na MSAA podczas automatyzowania starszych aplikacji. Widoczny komunikat w selektorze wskazuje, kiedy aktywny jest tryb inny niż domyślny.

Panel „Elementy interfejsu użytkownika” wyświetla przechwycone elementy wraz ze wskaźnikiem informującym, czy zostały one przechwycone przy użyciu UIA, UIA3 Raw czy MSAA. Ten wskaźnik ułatwia zidentyfikowanie typu selektora używanego dla każdego elementu w przepływie.

Elementy internetowego interfejsu użytkownika można przechwytywać ze stron internetowych i używać ich tylko w akcjach automatyzacji przeglądarki.

Akcje automatyzacji przeglądarki akceptują wyłącznie elementy interfejsu użytkownika przechwycone ze stron internetowych. W związku z tym narzędzie wyboru elementów interfejsu użytkownika w tych akcjach nie wyświetla istniejących elementów interfejsu użytkownika przechwyconych z aplikacji klasycznych na pulpicie.

Aby uzyskać więcej informacji na temat automatyzacji pulpitu i sieci Web, zobacz Automatyzowanie przepływów pulpitu i Automatyzowanie przepływów internetowych.

Elementy interfejsu użytkownika dla stron internetowych

Aby przechwycić element interfejsu użytkownika ze strony internetowej, należy zainstalować odpowiednie rozszerzenie przeglądarki. Aby uzyskać więcej informacji na temat obsługiwanych przeglądarek i wymaganego rozszerzenia, zobacz Używanie przeglądarek i zarządzanie rozszerzeniami.

Rozróżnianie pulpitu od elementów internetowego interfejsu użytkownika

Okienko Elementy interfejsu użytkownika zawiera charakterystyczne oznaczenia wizualne, które ułatwiają szybkie rozpoznawanie różnic między elementami pulpitu i internetowego interfejsu użytkownika.

Gdy przechwytujesz element pulpitu, pojawia się ikona pulpitu. Podczas przechwytywania elementu internetowego zostanie wyświetlona ikona sieci Web. W ten sposób należy potwierdzić typ elementu przed zapisaniem go.

Inną metodą sprawdzania typu elementu interfejsu użytkownika jest przejrzenie jego selektorów. Elementy interfejsu użytkownika aplikacji desktopowych zwykle mają pulpit jako element nadrzędny, podczas gdy elementy interfejsu użytkownika stron internetowych mają stronę internetową jako element główny.

Elementy interfejsu użytkownika w oknach przeglądarki

Zautomatyzuj część aplikacji przeglądarki (1) przy użyciu elementów interfejsu użytkownika pulpitu. Na przykład użyj akcji automatyzacji interfejsu użytkownika, aby wchodzić w interakcje z paskiem adresu lub kartami.

Z drugiej strony zautomatyzuj załadowane strony internetowe w przeglądarce (2) przy użyciu elementów internetowego interfejsu użytkownika i akcji automatyzacji przeglądarki.

Podczas nagrywania rejestrator automatycznie rozróżnia obszar aplikacji przeglądarki od stron internetowych i generuje odpowiednie elementy i akcje interfejsu użytkownika.

Interakcje z elementami interfejsu WWW typu „przeciągnij i upuść” mogą nie działać zgodnie z oczekiwaniami ze względu na nieodłączne ograniczenia tych elementów. Aby obejść ten problem, należy przechwycić elementy interfejsu użytkownika pulpitu na stronie internetowej, otwierając selektor elementów interfejsu użytkownika za pomocą akcji z grupy automatyzacji interfejsu użytkownika, wybierając Dodaj element interfejsu użytkownika w parametrze UI element. Przechwycony element interfejsu użytkownika jest typu desktop i może być użyty w akcji Drag and drop UI element in window. Należy pamiętać, że elementów interfejsu użytkownika na pulpicie można używać tylko w akcjach z grupy automatyzacji interfejsu użytkownika w programie Power Automate for desktop. Należy pamiętać, że elementy interfejsu użytkownika pulpitu na stronach internetowych nie są tak niezawodne, jak ich odpowiedniki internetowe i podlegają szczegółom aplikacji przeglądarki, takim jak wersja przeglądarki.

Właściwości elementów interfejsu użytkownika

Wszystkie elementy interfejsu użytkownika składają się z co najmniej jednego selektora, który wskazuje interfejs użytkownika lub składnik internetowy, z którymi Power Automate współdziała.

Aby zarządzać selektorami elementu interfejsu użytkownika, kliknij go prawym przyciskiem myszy i wybierz polecenie Edytuj. Ta opcja powoduje wyświetlenie konstruktora selektora, w którym można edytować selektory za pomocą wizualizacji lub edytora tekstów.

Każdy selektor składa się z wielu elementów reprezentujących hierarchiczną strukturę elementu interfejsu użytkownika w aplikacji lub na stronie internetowej. Atrybuty opisują każdy element unikatowo i odróżniają go od innych elementów.

Wszystkie selektory są wyświetlane z domyślną przyjazną nazwą, która ułatwia ich dostęp. Aby zmienić nazwę selektora, kliknij prawym przyciskiem myszy jego nazwę i wybierz polecenie Zmień nazwę.

Podczas edytowania elementu interfejsu użytkownika z wieloma selektorami można wyłączyć selektor, klikając go prawym przyciskiem myszy i wybierając polecenie Wyłącz. Ta funkcja może być przydatna podczas testowania.

Po edytowaniu selektorów wybierz pozycję Zapisz , aby zastosować zmiany. Zapisanie powoduje zastosowanie zmian we wszystkich selektorach w jednym kroku.

Aby uzyskać więcej informacji na temat selektorów i sposobu ich ręcznego kompilowania, zobacz Tworzenie niestandardowego selektora.

Elementy interfejsu użytkownika z selektorami opartymi na tekście

Oprócz domyślnej metody generowania selektorów dla elementów interfejsu użytkownika Power Automate obsługuje tworzenie selektorów na podstawie wartości tekstowej elementu.

Ta funkcja jest przydatna w scenariuszach automatyzacji, które obsługują elementy w aplikacjach klasycznych lub stronach internetowych, które zawsze zawierają określone teksty. Selektory oparte na tych tekstach są bardziej niezawodne i odporne na ewentualne przyszłe zmiany w strukturze aplikacji lub strony internetowej.

Selektory oparte na tekście można wygenerować tylko podczas przechwytywania elementów interfejsu użytkownika przy użyciu selektora elementów interfejsu użytkownika (okienko elementów interfejsu użytkownika lub akcje automatyzacji przeglądarki/interfejsu użytkownika). Nie można ich wygenerować podczas nagrywania.

Aby przechwycić element interfejsu użytkownika za pomocą selektora opartego na tekście, otwórz selektor elementów interfejsu użytkownika, kliknij prawym przyciskiem myszy żądany element i wybierz polecenie Przechwyć na podstawie tekstu.

Następnie na ekranie zostanie wyświetlone nowe okno z dwoma polami:

• Pole Wartość tekstowa zawiera tekst elementu jako proponowaną wartość. Tę wartość można zmienić na wartość zakodowaną na stałe lub zmienną.
• Możesz ustawić pole Operator na różne operatory, aby dostosować funkcjonalność selektora.

Wybranie opcji Przechwytywanie powoduje dodanie elementu interfejsu użytkownika z odpowiednim selektorem opartym na tekście w repozytorium elementów interfejsu użytkownika.

Selektory oparte na tekście używają atrybutu Name przechwyconego elementu na potrzeby automatyzacji pulpitu i atrybutu Text dla automatyzacji przeglądarki. Są one dostępne tylko dla elementów interfejsu użytkownika, które zawierają same wartości tekstowe.

Innymi słowy, są one dostępne dla elementów interfejsu użytkownika z atrybutem Name lub Text , który zawiera wartość. Nie są one dostępne dla elementów, które nie zawierają takiej wartości tekstowej, nawet jeśli mają elementy podrzędne zawierające tekst w swojej strukturze.

Znane problemy i ograniczenia

• Jeśli wybierzesz Dodaj element interfejsu użytkownika, najedziesz kursorem na okno i wybierzesz opcję przechwycenia elementu interfejsu użytkownika według tekstu, proces wygeneruje domyślny selektor. Ten selektor zawiera atrybut Proces wraz z nazwą.

• Jeśli używasz zmiennej z operatorem innym niż Równe, niestandardowy edytor tekstu wyświetla selektor zamiast konstruktora wizualizacji. Ta funkcja pozwala ominąć ograniczenie, które sprawia, że powyższa kombinacja nie działa w wizualnym kreatorze.