UI 要素を使用して自動化する

デスクトップ フローでは UI 要素を使用してアプリケーションや Web ページを操作するため、画像認識や絶対座標を使用する必要はありません。 ほとんどの UI オートメーションおよびブラウザーオートメーションアクションでは、UI 要素を入力として使用して、ウィンドウや Web ページ上の特定の要素を識別します。

UI 要素

UI オートメーションまたはブラウザーのオートメーション アクションをデプロイする場合は、UI 要素を入力として指定することが必要になる場合があります。 新しい UI 要素を追加するには、アクション プロパティから直接追加するか、フロー デザイナーの UI 要素ペインを使用して追加します。

これらのアクション グループはそれぞれ、異なるタイプの UI 要素を受け入れます。 UI 自動化アクションはデスクトップ UI 要素を受け入れますが、ブラウザー自動化アクションは Web UI 要素を受け入れます。

フローに新しい UI 要素を追加するには、アクションまたは UI 要素ペインから新しい UI 要素を追加し、それぞれの要素を強調表示して、Ctrl + 左クリック を押します。 選択が終了したら、完了 を選択します。

キャプチャした UI 要素は、UI 要素ウィンドウに追加されます。 UI 要素ペインにアクセスするには、フロー デザイナーの右側にある UI 要素タブを選択します。

UI 要素タブの [並べ替え ] オプションを使用して、要素をアルファベット順に並べ替えることができます。どのアクションでも使用されていないすべての UI 要素を削除するには、[ 並べ替え ] オプションの横にあるドット アイコンを選択し、[ 使用されていない UI 要素を削除する] を選択します。

UI 要素の名前を変更または削除するには、該当する項目を右クリックして、適切な機能を選択します。

フローで特定の UI 要素が使用されている場所を見つけるには、それを右クリックして [ 使用状況の検索] を選択します。 結果には、この UI 要素を使用するすべてのアクションが表示されます。 結果をダブルクリックして、ワークスペース上のアクションを強調表示します。

UI 要素の型

デスクトップ フローは、ソースに基づいて、デスクトップ UI 要素と Web UI 要素の 2 種類の UI 要素をサポートします。

アドレス バーなどのブラウザーの Web ページ以外のコンポーネントを含め、任意のWindows アプリケーションからデスクトップ UI 要素をキャプチャできます。 デスクトップ UI 要素内では、次の 3 種類のセレクターがサポートされています。

• UI オートメーション (UIA) セレクター

  UIA は、MSAA を置き換えるために Microsoft によって導入された最新のアクセシビリティ フレームワークです。 これは、ほとんどの Windows アプリケーション、特に WPF、WinForms、ユニバーサル Windows プラットフォーム (UWP) などの新しい UI フレームワークで構築されたアプリケーションを自動化するために推奨されるテクノロジです。 UIA は、自動化シナリオにおいて、より堅牢で詳細な要素情報、改善された階層構造、およびより高い信頼性を提供します。

  可能な限り UIA セレクターを使用して、最新のデスクトップ アプリケーション全体のパフォーマンス、保守性、およびサポートを向上させます。

• Microsoft Active Accessibility (MSAA) セレクター

  MSAA は、UIA より前の古いアクセシビリティ テクノロジです。 これは主に、VB6 や従来の Win32 などのテクノロジで構築された古い Windows アプリケーションなど、UIA 要素を公開しないレガシ アプリケーションに使用されます。 MSAA は UIA ほど詳細と構造を提供しませんが、UIA を使用できない環境で自動化を有効にするために不可欠です。

  UIA を介して UI コンポーネントを公開しないレガシ アプリケーションまたはカスタムビルド アプリケーションをターゲットにする場合は、MSAA セレクターを使用します。

• UIA3 Raw セレクター

  UIA3 Raw は、UIA3 フレームワークを使用して未加工のフィルター処理されていない UI 要素ツリーにアクセスする、高度なUI オートメーションベースのキャプチャ モードです。 アプリケーションの洗練されたコントロール ビューに依存する標準の UIA セレクターとは異なり、UIA3 Raw では、中間コンポーネント、非対話型コンポーネント、フレームワーク レベルのコンポーネントなど、UI 階層内のすべての要素が公開されます。

  このモードは、カスタム レンダリング コントロール、電子ベースのアプリ、標準 UIA セレクターを介して要素にアクセスできない場合など、複雑または非標準の UI 構造を持つアプリケーションを自動化する場合に特に便利です。 UIA3 Raw では、それ以外の方法では使用できない追加の階層レイヤーとプロパティを表示できるため、困難なシナリオでより正確なターゲット設定が可能になります。

  UIA セレクターが要素を確実にキャプチャまたは識別できない場合、またはアプリケーションの UI 構造へのより深いアクセスが必要な場合は、UIA3 Raw セレクターを使用します。

UI オートメーション アクションの UI 要素ピッカーを使用すると、デスクトップ UI 要素のみをキャプチャできます。 ピッカーの右上隅にあるキャプチャ モード メニューでは、UIA、UIA3 Raw、MSAA モードを選択できます。 既定では、ピッカーでは UIA が使用されますが、高度なシナリオでは UIA3 Raw に、レガシ アプリケーションを自動化する場合は MSAA に切り替えることができます。 ピッカーに表示されるメッセージは、既定以外のモードがアクティブな場合を示します。

UI 要素ペインには、キャプチャされた要素が表示され、UIA、UIA3 Raw、または MSAA を使用して要素がキャプチャされたかどうかを示すインジケーターが表示されます。 このインジケーターは、フロー内の各要素に使用されるセレクターの種類を識別するのに役立ちます。

Web ページから Web UI 要素をキャプチャし、ブラウザーのオートメーション アクションでのみ使用できます。

ブラウザー自動化アクションは、Web ページからキャプチャされた UI 要素のみを受け付けます。 そのため、これらのアクションの UI 要素ピッカーには、デスクトップ アプリケーションからキャプチャされた既存の UI 要素は表示されません。

デスクトップと Web の自動化の詳細については、「 デスクトップ フローの自動化 」および 「Web フローの自動化」を参照してください。

Web ページの UI 要素

Web ページから UI 要素を取得するには、適切なブラウザー拡張機能をインストールする必要があります。 サポートされているブラウザーと必要な拡張機能の詳細については、「ブラウザーの 使用と拡張機能の管理」を参照してください。

デスクトップと Web UI 要素を区別する

[UI 要素] ウィンドウには、デスクトップと Web の UI 要素の違いをすばやく認識するのに役立つ、独特の視覚的な表示が表示されます。

デスクトップ要素をキャプチャすると、デスクトップ アイコンが表示されます。 Web 要素をキャプチャすると、Web アイコンが表示されます。 この方法では、保存する前に要素タイプを確認します。

UI 要素のタイプを確認する別の方法は、そのセレクターを確認することです。 デスクトップ UI 要素は通常、デスクトップを親要素として持ち、Web UI 要素は Web ページをルート要素として持ちます。

ブラウザー ウィンドウの UI 要素

デスクトップ UI 要素を使用して、ブラウザー (1) のアプリケーション部分を自動化します。 たとえば、UI オートメーション アクションを使用してアドレス バーまたはタブを操作します。

一方、Web UI 要素とブラウザー自動化アクションを使用して、ブラウザー内で読み込まれた Web ページを自動化します (2)。

記録中、レコーダーはブラウザー アプリケーション領域を Web ページと自動的に区別し、適切な UI 要素とアクションを生成します。

ドラッグ＆ドロップの Web UI 要素とのインタラクションは、その固有の制限により期待通りに機能しない場合があります。 回避策として、UI オートメーション グループのアクションで UI エレメント ピッカーを開き、 パラメータ内で UI element を選択して、Web ページでデスクトップ UI エレメントをキャプチャします。 キャプチャされた UI 要素はデスクトップ タイプであり、Drag and drop UI element in window アクションで使用できます。 デスクトップ UI 要素は、デスクトップ用の Power Automate の UI オートメーション アクション グループのアクションでのみ使用できることに注意してください。 Web ページのデスクトップ UI 要素は、Web の対応する要素ほど信頼性が低く、ブラウザのバージョンなどのブラウザ アプリケーションの詳細に影響されることに注意することが重要です。

UI 要素プロパティ

Power Automate と相互作用する UI または Web コンポーネントを特定する 1 つ以上のセレクターで構成されたすべての UI 要素。

UI 要素のセレクターを管理するには、要素を右クリックして、編集 を選択します。 このオプションはセレクター ビルダーを表示し、ビジュアル エディターまたはテキスト エディターを使用して編集できます。

各セレクターは、アプリケーションまたは Web ページの UI 要素の階層構造を表す複数の要素で構成されます。 各要素の属性はそれを一意に記述し、他の要素と区別します。

すべてのセレクターは、簡単にアクセスできるように既定のフレンドリ名で表示されます。 セレクターの名前を変更するには、セレクターの名前を右クリックして、名前を変更 を選択します。

複数のセレクターを使用して UI 要素を編集する場合は、セレクターを右クリックして [無効] を選択することで、セレクターを 無効にすることができます。 この機能は、テスト中に役立ちます。

セレクターを編集したら、[ 保存] を選択して変更を適用します。 保存すると、すべてのセレクターの変更が 1 つの手順で適用されます。

セレクターと手動でビルドする方法の詳細については、「 カスタム セレクターのビルド」を参照してください。

テキストベースのセレクターを持つ UI 要素

UI 要素のセレクターを生成するための既定のメソッドに加えて、Power Automateでは要素のテキスト値に基づくセレクターの作成がサポートされています。

この機能は、常に特定のテキストがが付属するデスクトップ アプリケーションまたは Web ページの要素を処理する自動化シナリオに役立ちます。 これらのテキストに基づくセレクターは、より信頼性が高く、将来のアプリケーションまたは Web ページ構造変更に対して対応できます。

テキスト ベースのセレクターは、UI 要素ピッカー (UI 要素ウィンドウまたはブラウザー/UI オートメーション アクション) を使用して UI 要素をキャプチャする場合にのみ生成できます。 記録中に生成することはできません。

テキスト ベースのセレクターを使用して UI 要素をキャプチャするには、UI 要素ピッカーを開き、目的の要素を右クリックして、[ テキストに基づいてキャプチャ] を選択します。

次に、2 つのフィールドを含む新しいウィンドウが画面に表示されます。

• テキスト値フィールドには、要素のテキストが提案値として保持されます。 この値は、ハードコードされた値または変数に変更できます。
• 演算子フィールドをさまざまな演算子に設定して、セレクターの機能を調整できます。

[キャプチャ] を選択すると、UI 要素リポジトリに適切なテキストベースのセレクターを持つ UI 要素が追加されます。

テキストベースのセレクターは、デスクトップ オートメーションにはキャプチャ要素の名前属性を使用し、ブラウザー自動化にはテキスト属性を使用します。 テキスト値自体を含む UI 要素でのみ使用できます。

言い換えれば、Name 属性または Text 属性に値が含まれる UI 要素で利用できます。 このようなテキスト値を保持しない要素は、構造にテキストを含む子要素がある場合でも使用できません。

既知の問題と制限事項

• [ UI 要素の追加] を選択し、ウィンドウの上にマウス ポインターを置き、UI 要素をテキストでキャプチャすることを選択すると、プロセスによって既定のセレクターが生成されます。 このセレクターには、 名前 と共に Process 属性が含 まれています。

• 等しい以外の演算子で変数を使用すると、カスタム テキスト エディターにビジュアル ビルダーの代わりにセレクターが表示されます。 この機能により、ビジュアル ビルダーで上記の組み合わせが機能しなくなるという制限が回避されます。