Copilotを使用してデスクトップ フローを作成する

完了済み

Power Automate for Desktop (PAD) は、Windows PC でデスクトップ フローをビルド、実行、管理するために使用されるアプリケーションです。 Power Automate for Desktop のCopilotは、デスクトップの自動化に自然言語機能を提供します。これにより、説明からデスクトップ フローを構築し、会話を通じて調整できます。

Power Automate for Desktop のCopilot機能

Power Automate for Desktop のCopilotには、PAD アプリケーションのCopilot Chat パネルからアクセスできます。 次のことが可能です。

  • 自然言語の説明から意図を理解し、記述されたプロセスを実装する一連のデスクトップ フロー アクションを生成します。
  • 会話型プロンプトに基づいてアクションを追加、削除、または再構成することで、既存のフローを強化します。
  • デスクトップ フローに関する製品の質問に回答します。たとえば、特定のアクションの実行内容や PAD でタスクを実行する方法について説明します。
  • デスクトップ フロー アクティビティを分析して、フローが何をしているかを理解しましょう。

Note

Power Automate for Desktop のCopilotは、Azure OpenAI Serviceを利用し、サポートされているリージョンの職場または学校アカウントを持つユーザーが利用できます。 現在のリージョンの可用性については、Power Automateドキュメントを参照してください。

Copilotを使用したデスクトップ フローの作成

Copilotを使用してデスクトップ フローを作成するには、Power Automate for Desktop を開き、新しいフローを作成します。 デザイナーで、右上隅にある Copilot ボタンを選択して、Copilot Chat パネルを開きます。

構築したい自動化プロセスを説明してください。 たとえば、毎日の価格更新を担当する Contoso の従業員は、次のように説明するかもしれません。

"Excelを開き、Price Updates という名前のシートから価格データを読み取る。 各行について、価格ポータル Web サイトを開き、ログインし、製品コードを入力して製品に移動し、価格フィールドを Excel の値で更新して、変更を保存します。 すべての行を処理した後、Excelとブラウザーを閉じます。

Copilot Chat パネルに自然言語の説明と生成されたアクション シーケンスが表示されている Power Automate for Desktop のスクリーンショット。

Copilotは説明を解釈し、一連のデスクトップ フロー アクションを生成します。 生成されたアクションのシーケンスを確認し、Copilot パネルで引き続き調整します:

  • "製品コードが見つからない場合は、Excel ファイルのエラー タブに行がログに記録され、ループが次の行に続くエラー処理を追加します。"
  • "すべての行が処理されたら、更新されたレコードの数と失敗したレコードの数の概要を示す電子メールをOutlook経由で送信します。"

Copilot で記録 (AI レコーダー)

プロセスを説明するよりも実演する方が簡単だと感じる作成者のために、デスクトップ用 Power Automate には、AI レコーダーとも呼ばれる Copilot で記録機能が用意されています。 この機能を使用すると、新しい従業員にプロセスを説明しているかのように、画面を共有し、実行する手順をナレーションすることで、デスクトップ フローを構築できます。

AI レコーダーは次のように動作します。

  1. 画面共有を有効にして、記録セッションを開始します。
  2. コンピューターで自動化の手順を実行しながら、何をしているかを声に出して説明します。例: "Now I'm clicking the New Invoice button to open the invoice entry form" (今から [新しい請求書] ボタンをクリックして、請求書の入力フォームを開きます) または "I'm entering the supplier code from the email into this field." (メールに記載された仕入先コードをこのフィールドに入力しています)
  3. レコーダーは、デモ全体を通してあなたの音声ナレーション、マウス クリック、キーボード入力をキャプチャします。
  4. 記録が終了したら、Copilot がその記録を処理し、示した手順に対応する名前付きアクションを持つデスクトップ フローに変換します。
  5. 生成されたフローを保存して実行する前に、確認して編集します。

Copilotを使用した記録は、テキストで正確な UI 要素を記述するのは困難でも、手順を視覚的に簡単に示せるレガシ アプリケーション環境におけるプロセスの自動化に特に価値があります。

Note

Copilot で記録はプレビュー機能で、現在は英語に対応しています。 この機能には、画面共有のアクセス許可とアクティブなマイクが必要です。 デスクトップのPower Automateのドキュメントで、現在の可用性と機能の更新情報を確認してください。

Copilot でデスクトップ フローを変更する

Copilot説明アプローチ、AI レコーダー、手動アクション作成のいずれを使用して、デスクトップ フローを作成した後でも、Copilotは変更と拡張に役立ちます。 PAD デザイナーでフローを開き、Copilot パネルを開いて、変更内容を説明してください。

  • "[保存] ボタンをクリックする前にスクリーンショットを撮る手順を追加します。"
  • "処理された行数を追跡し、最後にメッセージ ボックスに合計を表示する変数を追加します。"
  • "ハードコーディングされたログイン資格情報をデスクトップ フロー変数に置き換えて、資格情報を安全に格納できるようにします。"

Copilotアクション シーケンスに変更を適用し、すぐに確認してテストできます。

Tip

非アテンド型デスクトップ フローをデプロイしてスケジュールに従って実行する前に、必ず最初にアテンド型モードでテストしてください。画面を見ながら実行し、各アクションが正しく実行されることを確認します。 無人実行フローはバックグラウンドで実行され、問題が発生した場合の診断は困難です。