Automatiser à l’aide des éléments de l’interface utilisateur

Les flux de bureau utilisent des éléments d’interface utilisateur pour interagir avec les applications et les pages web. Ils n’ont donc pas besoin d’utiliser la reconnaissance d’image ou les coordonnées absolues. La plupart des actions d’automatisation d’interface utilisateur et d’automatisation du navigateur utilisent des éléments d’interface utilisateur comme entrée pour identifier des éléments spécifiques sur les fenêtres et les pages web.

Éléments d’interface utilisateur

Lorsque vous déployez une action d’automatisation de l’interface utilisateur ou d’automatisation du navigateur, vous devrez peut-être fournir un élément d’interface utilisateur en tant qu’entrée. Pour ajouter un nouvel élément d’interface utilisateur, vous pouvez l’ajouter directement à partir des propriétés d’action ou via le volet éléments de l’interface utilisateur du concepteur de flux.

Chacun de ces groupes d’action accepte un type différent d’éléments d’interface utilisateur. Les actions d’automatisation de l’interface utilisateur acceptent les éléments de l’interface utilisateur du bureau, tandis que les actions d’automatisation du navigateur acceptent les éléments de l’interface utilisateur Web.

Pour ajouter un nouvel élément de l’interface utilisateur à votre flux, ajoutez un nouvel élément de l’interface utilisateur via une action ou le volet des éléments de l’interface utilisateur, mettez en surbrillance l’élément respectif et appuyez sur Ctrl + Clic gauche. Lorsque la sélection est terminée, sélectionnez Terminé.

Les éléments d’IU capturés sont ajoutés au volet Éléments d’IU. Pour accéder au volet des éléments de l’interface utilisateur, sélectionnez l’onglet Éléments de l’interface utilisateur sur le côté droit du concepteur de flux :

Vous pouvez trier les éléments par ordre alphabétique à l’aide de l’option Trier de l’onglet Éléments de l’interface utilisateur. Pour supprimer tous les éléments d’interface utilisateur qui ne sont pas utilisés dans une action, sélectionnez l’icône points en regard de l’option Trier , puis supprimez les éléments d’interface utilisateur inutilisés.

Pour renommer ou supprimer un élément de l’interface utilisateur, cliquez avec le bouton droit sur l’élément respectif et sélectionnez la fonction appropriée.

Pour rechercher l’emplacement d’utilisation d’un élément d’interface utilisateur spécifique dans le flux, cliquez dessus avec le bouton droit, puis sélectionnez Rechercher des utilisations. Les résultats affichent toutes les actions qui utilisent cet élément d’interface utilisateur. Double-sélectionnez un résultat pour mettre en évidence l’action sur l’espace de travail.

Types d’éléments d’interface utilisateur

Les flux de bureau prennent en charge deux types d’éléments d’interface utilisateur en fonction de leur source : les éléments d’interface utilisateur de bureau et les éléments d’interface utilisateur Web.

Vous pouvez capturer des éléments d’interface utilisateur de bureau à partir de n’importe quelle application Windows, y compris les composants non web des navigateurs, tels que la barre d’adresses. Dans les éléments de l’interface utilisateur de bureau, trois types de sélecteurs sont pris en charge :

• Sélecteurs de UI Automation (UIA)

  UIA est le cadre d’accessibilité moderne introduit par Microsoft pour remplacer MSAA. Il s’agit de la technologie recommandée pour automatiser la plupart des applications Windows, en particulier celles créées avec des infrastructures d’interface utilisateur plus récentes, comme WPF, WinForms et la plateforme Windows universelle (UWP). UIA offre des informations sur les éléments plus robustes et détaillées, des structures hiérarchiques améliorées et une plus grande fiabilité dans les scénarios d’automatisation.

  Utilisez les sélecteurs UIA dans la mesure du possible pour améliorer les performances, la maintenabilité et la prise en charge des applications de bureau modernes.

• Sélecteurs Microsoft Active Accessibility (MSAA)

  MSAA est une technologie d’accessibilité plus ancienne qui est antérieure à UIA. Il est principalement utilisé pour les applications héritées qui n’exposent pas les éléments UIA, telles que les anciennes applications Windows construites avec des technologies telles que VB6 ou Win32 classique. Bien que MSAA fournisse moins de détails et de structure que l’UIA, il est essentiel pour permettre l’automatisation dans les environnements où UIA n’est pas disponible.

  Utilisez les sélecteurs MSAA lorsque vous ciblez des applications héritées ou personnalisées qui n’exposent pas leurs composants d’interface utilisateur via UIA.

• Sélecteurs bruts UIA3

  UIA3 Raw est un mode de capture avancé basé sur des UI Automation qui utilise l’infrastructure UIA3 pour accéder à l’arborescence d’éléments d’interface utilisateur brute et non filtrée. Contrairement aux sélecteurs UIA standard, qui s’appuient sur une vue de contrôle affinée de l’application, UIA3 Raw expose tous les éléments de la hiérarchie d’interface utilisateur, y compris les composants intermédiaires, non interactifs et au niveau du framework.

  Ce mode est particulièrement utile pour automatiser les applications avec des structures d’interface utilisateur complexes ou non standard, telles que des contrôles rendus personnalisés, des applications basées sur Electron ou des cas où les éléments ne sont pas accessibles via des sélecteurs UIA standard. UIA3 Raw peut révéler des couches de hiérarchie et des propriétés supplémentaires qui ne sont pas disponibles autrement, ce qui permet un ciblage plus précis dans des scénarios difficiles.

  Utilisez des sélecteurs UIA3 Raw lorsque les sélecteurs UIA ne peuvent pas capturer ou identifier de manière fiable des éléments, ou quand un accès plus approfondi à la structure de l’interface utilisateur de l’application est requis.

Le sélecteur d’éléments d’interface utilisateur dans les actions UI Automation vous permet de capturer uniquement les éléments d’interface utilisateur de bureau. Un menu en mode de capture dans le coin supérieur droit du sélecteur vous permet de sélectionner entre les modes UIA, UIA3 Raw et MSAA. Par défaut, le sélecteur utilise UIA, mais vous pouvez basculer vers UIA3 Raw pour les scénarios avancés ou MSAA lors de l’automatisation des applications héritées. Un message visible dans le sélecteur indique quand un mode nondefault est actif.

Le volet Éléments de l’interface utilisateur affiche les éléments capturés, avec un indicateur indiquant si les éléments ont été capturés à l’aide d’UIA, UIA3 Raw ou MSAA. Cet indicateur vous aide à identifier le type de sélecteur utilisé pour chaque élément de votre flux.

Vous pouvez capturer des éléments d’interface utilisateur web à partir de pages web et les utiliser uniquement dans les actions d’automatisation du navigateur.

Les actions d’automatisation du navigateur acceptent exclusivement les éléments d’interface utilisateur capturés à partir de pages web. Par conséquent, le sélecteur d’éléments d’interface utilisateur de ces actions n’affiche pas les éléments d’interface utilisateur existants capturés à partir d’applications de bureau.

Pour plus d’informations sur l’automatisation du bureau et du web, consultez Automatiser les flux de bureau et Automatiser les flux web.

Éléments de l’interface utilisateur pour les pages web

Pour capturer un élément d’interface utilisateur à partir d’une page web, vous devez installer l’extension de navigateur appropriée. Pour plus d’informations sur les navigateurs pris en charge et l’extension requise, consultez Utiliser les navigateurs et gérer les extensions.

Distinguer les éléments d’interface utilisateur Web et de bureau

Le volet Éléments de l’interface utilisateur affiche des indications visuelles distinctives pour vous aider à reconnaître rapidement la différence entre les éléments de bureau et d’interface utilisateur web.

Lorsque vous capturez un élément de bureau, l’icône du bureau apparaît. Lorsque vous capturez un élément web, l’icône web apparaît. De cette façon, vous confirmez le type d’élément avant de l’enregistrer.

Une autre méthode pour vérifier le type d’un élément de l’interface utilisateur consiste à vérifier ses sélecteurs. Les éléments de l’interface utilisateur de bureau ont généralement le bureau comme élément parent, tandis que les éléments de l’interface utilisateur web ont une page web comme élément racine.

Éléments d’interface utilisateur dans les fenêtres du navigateur

Automatisez la partie application d’un navigateur (1) à l’aide d’éléments d’interface utilisateur de bureau. Par exemple, utilisez des actions UI Automation pour interagir avec la barre d’adresses ou les onglets.

En revanche, automatisez les pages web chargées à l’intérieur du navigateur (2) à l’aide d’éléments d’interface utilisateur web et d’actions d’automatisation du navigateur.

Pendant l’enregistrement, l’enregistreur distingue automatiquement la zone d’application du navigateur des pages web et génère les éléments et actions appropriés de l’interface utilisateur.

Les interactions avec les éléments de l’interface utilisateur Web par glisser-déposer peuvent ne pas fonctionner comme prévu en raison de leurs limitations inhérentes. Pour contourner le problème, capturez les éléments de l’interface utilisateur de bureau dans une page Web en ouvrant le sélecteur d’éléments d’interface utilisateur via une action du groupe d’automatisation de l’interface utilisateur et en sélectionnant Ajouter un élément d’interface utilisateur dans le paramètre UI element. L’élément d’interface utilisateur capturé est de type bureau et peut être utilisé dans l’action Drag and drop UI element in window. N’oubliez pas que vous pouvez utiliser des éléments d’interface utilisateur de bureau uniquement dans les actions du groupe d’actions UI Automation de Power Automate pour le bureau. Il est important de noter que les éléments de l’interface utilisateur de bureau dans les pages Web ne sont pas aussi fiables que leurs homologues Web et sont soumis aux détails de l’application du navigateur, comme la version du navigateur.

Propriétés des éléments d’interface utilisateur

Tous les éléments de l’interface utilisateur consistent en un ou plusieurs sélecteurs qui identifient l’interface utilisateur ou le composant Web avec lequel interagit Power Automate.

Pour gérer les sélecteurs d’un élément d’interface utilisateur, faites un clic droit dessus et sélectionnez Modifier. Cette option entraîne l’affichage du générateur de sélecteur, dans lequel vous pouvez modifier les sélecteurs avec un éditeur visuel ou un éditeur de texte.

Chaque sélecteur se compose de plusieurs éléments représentant la structure hiérarchique de l’élément d’IU dans l’application ou la page web. Les attributs décrivent chaque élément de manière unique et le distinguent des autres éléments.

Tous les sélecteurs sont affichés avec un nom convivial par défaut qui les rend facilement accessibles. Pour renommer un sélecteur, faites un clic droit sur son nom et sélectionnez Renommer.

Lorsque vous modifiez un élément d’interface utilisateur avec plusieurs sélecteurs, vous pouvez désactiver un sélecteur en cliquant dessus avec le bouton droit et en sélectionnant Désactiver. Cette fonctionnalité peut être utile lors des tests.

Après avoir modifié les sélecteurs, sélectionnez Enregistrer pour appliquer les modifications. L’enregistrement applique les modifications dans tous les sélecteurs en une seule étape.

Pour plus d’informations sur les sélecteurs et sur la façon de les générer manuellement, consultez Générer un sélecteur personnalisé.

Éléments de l’interface utilisateur avec sélecteurs basés sur le texte

Outre la méthode par défaut pour générer des sélecteurs pour les éléments d'interface utilisateur, Power Automate prend en charge la création de sélecteurs en fonction de la valeur de texte d'un élément.

Cette fonction est utile pour les scénarios d’automatisation qui gèrent des éléments dans des applications de bureau ou des pages web qui contiennent toujours des textes spécifiques. Les sélecteurs basés sur ces textes sont plus fiables et résilients aux éventuelles modifications futures de la structure de l’application ou de la page web.

Vous pouvez générer des sélecteurs basés sur du texte uniquement lors de la capture d’éléments d’interface utilisateur à l’aide du sélecteur d’éléments d’interface utilisateur (volet éléments de l’interface utilisateur ou actions de navigateur/automatisation de l’interface utilisateur). Vous ne pouvez pas les générer pendant l’enregistrement.

Pour capturer un élément d’interface utilisateur avec un sélecteur basé sur du texte, ouvrez le sélecteur d’éléments d’interface utilisateur, cliquez avec le bouton droit sur l’élément souhaité, puis sélectionnez Capturer en fonction du texte.

Ensuite, une nouvelle fenêtre avec deux champs s’affiche sur votre écran :

• Le champ Valeur du texte contient le texte de l’élément en tant que valeur proposée. Vous pouvez remplacer cette valeur par une valeur codée en dur ou une variable.
• Vous pouvez définir le champ Opérateur sur différents opérateurs pour ajuster la fonctionnalité du sélecteur.

La sélection de Capture ajoute l’élément d’interface utilisateur avec le sélecteur de texte approprié dans le référentiel d’éléments d’interface utilisateur.

Les sélecteurs de texte utilisent l’attribut Nom de l’élément capturé pour l’automatisation du bureau et l’attribut Texte pour l’automatisation du navigateur. Ils ne sont disponibles que pour les éléments de l’interface utilisateur qui contiennent eux-mêmes une valeur de texte.

En d’autres termes, ils sont disponibles pour les éléments de l’interface utilisateur avec un attribut Nom ou Texte qui inclut une valeur. Ils ne sont pas disponibles pour les éléments qui ne contiennent pas une telle valeur textuelle, même s’ils contiennent des éléments enfants contenant du texte dans leur structure.

Problèmes connus et limitations

• Si vous sélectionnez Ajouter un élément d’interface utilisateur, pointez sur une fenêtre et choisissez de capturer un élément d’interface utilisateur par texte, le processus génère un sélecteur par défaut. Ce sélecteur inclut l’attribut Processus , ainsi que Name.

• Lorsque vous utilisez une variable avec un opérateur autre que Equal to, l’éditeur de texte personnalisé affiche le sélecteur au lieu du générateur visuel. Cette fonctionnalité évite une limitation qui rend la combinaison ci-dessus non fonctionnelle dans le générateur visuel.