ทำงานอัตโนมัติโดยใช้องค์ประกอบ UI

โฟลว์เดสก์ท็อปใช้องค์ประกอบ UI เพื่อโต้ตอบกับแอปพลิเคชันและเว็บเพจ ดังนั้นจึงไม่จําเป็นต้องใช้การจดจํารูปภาพหรือพิกัดแบบสัมบูรณ์ การดําเนินการอัตโนมัติของ UI และการดําเนินการอัตโนมัติของเบราว์เซอร์ส่วนใหญ่ใช้องค์ประกอบ UI เป็นข้อมูลป้อนเข้าเพื่อระบุองค์ประกอบเฉพาะบนหน้าต่างและเว็บเพจ

องค์ประกอบ UI

เมื่อคุณปรับใช้การทํางานอัตโนมัติของ UI หรือการดําเนินการอัตโนมัติของเบราว์เซอร์ คุณอาจจําเป็นต้องระบุองค์ประกอบ UI เป็นข้อมูลป้อนเข้า หากต้องการเพิ่มองค์ประกอบ UI ใหม่ คุณสามารถเพิ่มได้โดยตรงจากคุณสมบัติการดําเนินการหรือผ่านบานหน้าต่างองค์ประกอบ UI ของตัวออกแบบโฟลว์

กลุ่มการดำเนินการแต่ละกลุ่มยอมรับชนิดขององค์ประกอบ UI ที่แตกต่างกัน การดำเนินการอัตโนมัติของ UI ยอมรับองค์ประกอบ UI ของเดสก์ท็อป ในขณะที่การทำงานอัตโนมัติของเบราว์เซอร์ยอมรับองค์ประกอบ UI ของเว็บ

ในการเพิ่มองค์ประกอบ UI ใหม่ให้กับโฟลว์ของคุณ เพิ่มองค์ประกอบ UI ใหม่ ผ่านการดำเนินการหรือบานหน้าต่างองค์ประกอบ UI ไฮไลท์องค์ประกอบที่เกี่ยวข้อง แล้วกด Ctrl + คลิกซ้าย เมื่อเลือกเสร็จแล้ว ให้เลือก เสร็จสิ้น

องค์ประกอบ UI ที่จับภาพไว้ใด ๆ จะถูกเพิ่มไปยังบานหน้าต่างองค์ประกอบ UI ในการเข้าถึงบานหน้าต่างองค์ประกอบ UI ให้เลือกแท็บ องค์ประกอบ UI ทางด้านขวามือของตัวออกแบบโฟลว์:

คุณสามารถเรียงลําดับองค์ประกอบตามลําดับตัวอักษรผ่านตัวเลือก เรียงลําดับ ของแท็บ องค์ประกอบ UI หากต้องการลบองค์ประกอบ UI ทั้งหมดที่ไม่ได้ใช้ในการดําเนินการใด ๆ ให้เลือกไอคอนจุดที่อยู่ถัดจากตัวเลือก เรียงลําดับ จากนั้น ลบองค์ประกอบ UI ที่ไม่ได้ใช้

หากต้องการเปลี่ยนชื่อหรือลบองค์ประกอบ UI ให้คลิกขวาที่รายการที่เกี่ยวข้อง และเลือกฟังก์ชันที่เหมาะสม

หากต้องการค้นหาตําแหน่งที่ใช้องค์ประกอบ UI เฉพาะในโฟลว์ ให้คลิกขวาและเลือก ค้นหาการใช้งาน ผลลัพธ์จะแสดงการดําเนินการทั้งหมดที่ใช้องค์ประกอบ UI นี้ ดับเบิลคลิกที่ผลลัพธ์เพื่อเน้นการทำงานในพื้นที่ทำงาน

ชนิดองค์ประกอบ UI

โฟลว์เดสก์ท็อปรองรับองค์ประกอบ UI สองชนิด ตามแหล่งที่มา: องค์ประกอบ UI ของเดสก์ท็อป และองค์ประกอบ UI ของเว็บ

คุณสามารถจับภาพองค์ประกอบ UI ของเดสก์ท็อปจากแอปพลิเคชัน Windows รวมถึงคอมโพเนนต์ที่ไม่ใช่เว็บเพจของเบราว์เซอร์ เช่น แถบที่อยู่ ภายในองค์ประกอบ UI ของเดสก์ท็อป ตัวเลือกสามประเภทจะได้รับการสนับสนุน:

• UI Automation (UIA) ตัวเลือก

  UIA คือเฟรมเวิร์กการเข้าถึงที่ทันสมัยซึ่งแนะนําโดย Microsoft เพื่อแทนที่ MSAA ซึ่งเป็นเทคโนโลยีที่แนะนําสําหรับการดําเนินการแอปพลิเคชัน Windows ส่วนใหญ่โดยอัตโนมัติ โดยเฉพาะอย่างยิ่งแอปพลิเคชันที่สร้างขึ้นด้วยเฟรมเวิร์ก UI ที่ใหม่กว่า เช่น WPF WinForms และ Universal Windows Platform (UWP) UIA มีข้อมูลองค์ประกอบที่แข็งแกร่งและมีรายละเอียดมากขึ้น โครงสร้างลําดับชั้นที่ปรับปรุงใหม่ และความน่าเชื่อถือมากขึ้นในสถานการณ์การทํางานอัตโนมัติ

  ใช้ตัวเลือก UIA เมื่อใดก็ตามที่เป็นไปได้เพื่อประสิทธิภาพการทํางาน การบํารุงรักษา และการสนับสนุนที่ดีกว่าในแอปพลิเคชันเดสก์ท็อปที่ทันสมัย

• Microsoft Active Accessibility (MSAA) ตัวเลือก

  MSAA คือเทคโนโลยีการช่วยการเข้าถึงรุ่นเก่าที่มีมาก่อน UIA ซึ่งใช้สําหรับแอปพลิเคชันแบบดั้งเดิมที่ไม่แสดงองค์ประกอบของ UIA เช่น แอปพลิเคชัน Windows เก่ากว่าที่สร้างขึ้นด้วยเทคโนโลยีเช่น VB6 หรือ Win32 แบบคลาสสิก ในขณะที่ MSAA ให้รายละเอียดและโครงสร้างน้อยกว่า UIA แต่จําเป็นสําหรับการเปิดใช้งานระบบอัตโนมัติในสภาพแวดล้อมที่ UIA ไม่พร้อมใช้งาน

  ใช้ตัวเลือก MSAA เมื่อกําหนดเป้าหมายแอปพลิเคชันดั้งเดิมหรือแอปพลิเคชันที่สร้างขึ้นเองที่ไม่แสดงคอมโพเนนต์ UI ของพวกเขาผ่าน UIA

• ตัวเลือกดิบของ UIA3

  UIA3 Raw เป็นโหมดการจับข้อมูลแบบ UI Automation ขั้นสูงที่ใช้เฟรมเวิร์ก UIA3 เพื่อเข้าถึงแผนภูมิองค์ประกอบ UI ดิบที่ไม่ถูกกลั่น ซึ่งแตกต่างจากตัวเลือก UIA มาตรฐานซึ่งขึ้นอยู่กับมุมมองการควบคุมที่ปรับแต่งแล้วของแอปพลิเคชัน UIA3 Raw จะแสดงองค์ประกอบทั้งหมดในลําดับชั้น UI รวมถึงคอมโพเนนต์ระดับกลาง ไม่ใช่แบบโต้ตอบ และเฟรมเวิร์ก

  โหมดนี้มีประโยชน์อย่างยิ่งสําหรับการทําให้แอปพลิเคชันที่มีโครงสร้าง UI ที่ซับซ้อนหรือไม่เป็นมาตรฐาน เช่น ตัวควบคุมแบบกําหนดเอง แอปที่ใช้ Electron หรือกรณีที่องค์ประกอบไม่สามารถเข้าถึงได้ผ่านตัวเลือก UIA มาตรฐาน UIA3 Raw สามารถเปิดเผยเลเยอร์ลําดับชั้นและคุณสมบัติเพิ่มเติมที่ไม่พร้อมใช้งาน เพื่อให้สามารถกําหนดเป้าหมายได้แม่นยํายิ่งขึ้นในสถานการณ์ที่ท้าทาย

  ใช้ตัวเลือกดิบของ UIA3 เมื่อตัวเลือก UIA ไม่สามารถจับภาพหรือระบุองค์ประกอบได้อย่างน่าเชื่อถือหรือเมื่อจําเป็นต้องมีการเข้าถึงโครงสร้าง UI ของแอปพลิเคชันอย่างลึกซึ้ง

ตัวเลือกองค์ประกอบ UI ในการดําเนินการอัตโนมัติของ UI ช่วยให้คุณสามารถจับภาพได้เฉพาะองค์ประกอบ UI ของเดสก์ท็อปเท่านั้น เมนูโหมดการจับภาพที่มุมบนขวาของตัวเลือกช่วยให้คุณเลือกระหว่างโหมด UIA, UIA3 Raw และ MSAA ตามค่าเริ่มต้น ตัวเลือกจะใช้ UIA แต่คุณสามารถสลับเป็น UIA3 Raw สําหรับสถานการณ์ขั้นสูงหรือ MSAA เมื่อดําเนินการแอปพลิเคชันแบบดั้งเดิมโดยอัตโนมัติ ข้อความที่มองเห็นได้ในตัวเลือกจะระบุเมื่อโหมดที่ไม่ใช่ค่าเริ่มต้นทํางานอยู่

บานหน้าต่างองค์ประกอบ UI แสดงองค์ประกอบที่จับภาพไว้ โดยมีตัวบ่งชี้ที่แสดงว่าองค์ประกอบถูกจับภาพโดยใช้ UIA, UIA3 Raw หรือ MSAA ตัวบ่งชี้นี้ช่วยให้คุณระบุชนิดของตัวเลือกที่ใช้สําหรับแต่ละองค์ประกอบในโฟลว์ของคุณ

คุณสามารถจับภาพองค์ประกอบ UI ของเว็บจากเว็บเพจ และใช้ได้เฉพาะในการดําเนินการอัตโนมัติของเบราว์เซอร์เท่านั้น

การดำเนินการอัตโนมัติของเบราว์เซอร์ยอมรับเฉพาะองค์ประกอบ UI ที่บันทึกจากเว็บเพจ ดังนั้น ตัวเลือกองค์ประกอบ UI ของการดําเนินการเหล่านี้จะไม่แสดงองค์ประกอบ UI ที่มีอยู่ที่รวบรวมจากแอปพลิเคชันเดสก์ท็อป

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับเดสก์ท็อปและเว็บอัตโนมัติ ดูโฟลว์เดสก์ท็อปอัตโนมัติและโฟลว์เว็บอัตโนมัติ

องค์ประกอบ UI สำหรับเว็บเพจ

ในการจับภาพองค์ประกอบ UI จากหน้าเว็บ คุณต้องติดตั้งส่วนขยายเบราว์เซอร์ที่เหมาะสม สําหรับข้อมูลเพิ่มเติมเกี่ยวกับเบราว์เซอร์ที่สนับสนุนและส่วนขยายที่จําเป็น ดูใช้เบราว์เซอร์และจัดการส่วนขยาย

แยกแยะเดสก์ท็อปจากองค์ประกอบ UI ของเว็บ

บานหน้าต่างองค์ประกอบ UI แสดงตัวบ่งชี้ภาพที่โดดเด่นเพื่อช่วยให้คุณรับรู้ความแตกต่างระหว่างองค์ประกอบ UI ของเดสก์ท็อปและเว็บได้อย่างรวดเร็ว

เมื่อคุณจับภาพองค์ประกอบของเดสก์ท็อป ไอคอนเดสก์ท็อปจะปรากฏขึ้น เมื่อคุณจับภาพองค์ประกอบเว็บ ไอคอนเว็บจะปรากฏขึ้น ด้วยวิธีนี้ คุณยืนยันชนิดขององค์ประกอบก่อนที่จะบันทึก

อีกวิธีในการตรวจสอบชนิดขององค์ประกอบ UI คือการตรวจสอบตัวเลือก องค์ประกอบ UI ของเดสก์ท็อปมักจะมีเดสก์ท็อปเป็นองค์ประกอบหลัก ในขณะที่องค์ประกอบ UI ของเว็บ จะมีเว็บเพจเป็นรากขององค์ประกอบ

องค์ประกอบ UI ในหน้าต่างเบราว์เซอร์

ทําให้ส่วนแอปพลิเคชันของเบราว์เซอร์ (1) เป็นแบบอัตโนมัติโดยใช้องค์ประกอบ UI ของเดสก์ท็อป ตัวอย่างเช่น ใช้การดําเนินการอัตโนมัติของ UI เพื่อโต้ตอบกับแถบที่อยู่หรือแท็บ

ในทางกลับกัน ทําให้เว็บเพจที่โหลดภายในเบราว์เซอร์ (2) โดยอัตโนมัติโดยใช้องค์ประกอบ UI ของเว็บและการดําเนินการอัตโนมัติของเบราว์เซอร์

ในระหว่างการบันทึก ตัวบันทึกจะแยกความแตกต่างของพื้นที่แอปพลิเคชันเบราว์เซอร์จากเว็บเพจโดยอัตโนมัติ และสร้างองค์ประกอบและการดําเนินการ UI ที่เหมาะสม

การโต้ตอบกับองค์ประกอบ UI ของเว็บแบบลากและวางอาจไม่ทำงานตามที่คาดไว้ เนื่องจากข้อจำกัดโดยธรรมชาติ วิธีแก้ปัญหาชั่วคราว ให้บันทึกองค์ประกอบ UI ของเดสก์ท็อปในหน้าเว็บโดยการเปิดตัวเลือกองค์ประกอบ UI ผ่านการดำเนินการของกลุ่มการทำงานอัตโนมัติของ UI โดยเลือก เพิ่มองค์ประกอบ UI ภายในพารามิเตอร์ UI element องค์ประกอบ UI ที่บันทึกไว้นั้นเป็นประเภทเดสก์ท็อปและใช้ในการดำเนินการ Drag and drop UI element in window ได้ โปรดทราบว่าคุณสามารถใช้องค์ประกอบ UI ของเดสก์ท็อปในการดําเนินการของกลุ่มการดําเนินการอัตโนมัติ UI ของ Power Automate สําหรับเดสก์ท็อปเท่านั้น สิ่งสำคัญที่ควรทราบคือ องค์ประกอบ UI ของเดสก์ท็อปในหน้าเว็บนั้นไม่น่าเชื่อถือเท่ากับองค์ประกอบบนเว็บ และขึ้นอยู่กับรายละเอียดแอปพลิเคชันของเบราว์เซอร์ เช่น เวอร์ชันของเบราว์เซอร์

คุณลักษณะขององค์ประกอบ UI

องค์ประกอบ UI ทั้งหมดประกอบด้วยตัวเลือกอย่างน้อยหนึ่งตัวที่ระบุ UI หรือส่วนประกอบเว็บที่ Power Automate โต้ตอบด้วย

ในการจัดการตัวเลือกขององค์ประกอบ UI ให้คลิกขวาที่องค์ประกอบ และเลือก แก้ไข ตัวเลือกนี้จะแสดงตัวสร้างตัวเลือก ซึ่งคุณสามารถแก้ไขตัวเลือกได้ด้วยโปรแกรมแก้ไขภาพหรือข้อความ

ตัวเลือกแต่ละตัวประกอบด้วยองค์ประกอบหลายอย่างที่แสดงโครงสร้างลำดับชั้นขององค์ประกอบ UI ในแอปพลิเคชันหรือเว็บเพจ แอตทริบิวต์ขององค์ประกอบแต่ละตัวจะอธิบายโดยไม่ซ้ำกัน และแยกความแตกต่างจากองค์ประกอบอื่นๆ

ตัวเลือกทั้งหมดจะแสดงด้วยชื่อที่เรียกง่ายตามค่าเริ่มต้น ซึ่งทำให้สามารถเข้าถึงได้ง่าย ในการเปลี่ยนชื่อตัวเลือก ให้คลิกขวาที่ชื่อ และเลือก เปลี่ยนชื่อ

เมื่อคุณแก้ไของค์ประกอบ UI ด้วยตัวเลือกหลายรายการ คุณสามารถปิดใช้งานตัวเลือกได้ โดยการคลิกขวาแล้วเลือกปิดใช้งาน ฟังก์ชันนี้จะมีประโยชน์ในระหว่างการทดสอบ

หลังจากแก้ไขตัวเลือก แล้ว ให้เลือก บันทึก เพื่อนําการเปลี่ยนแปลงไปใช้ การบันทึกจะใช้การเปลี่ยนแปลงในตัวเลือกทั้งหมดในขั้นตอนเดียว

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกและวิธีการสร้างด้วยตนเอง ดูสร้างตัวเลือกแบบกําหนดเอง

องค์ประกอบ UI พร้อมตัวเลือกข้อความ

นอกเหนือจากวิธีการเริ่มต้นสําหรับการสร้างตัวเลือกสําหรับองค์ประกอบ UI แล้ว Power Automate รองรับการสร้างตัวเลือกที่ยึดตามค่าข้อความขององค์ประกอบ

คุณลักษณะนี้มีประโยชน์สำหรับสถานการณ์การทำงานอัตโนมัติที่จัดการองค์ประกอบในแอปพลิเคชันเดสก์ท็อป หรือเว็บเพจที่มาพร้อมกับข้อความเฉพาะเสมอ ตัวเลือกตามข้อความเหล่านี้มีความน่าเชื่อถือ และยืดหยุ่นต่อการเปลี่ยนแปลงในอนาคตที่อาจเกิดขึ้นในแอปพลิเคชันหรือโครงสร้างเว็บเพจ

คุณสามารถสร้างตัวเลือกแบบยึดข้อความได้เฉพาะเมื่อจับองค์ประกอบ UI โดยใช้ตัวเลือกองค์ประกอบ UI (บานหน้าต่างองค์ประกอบ UI หรือการดําเนินการอัตโนมัติของเบราว์เซอร์/UI) คุณไม่สามารถสร้างขึ้นในระหว่างการ บันทึกได้

เมื่อต้องการจับภาพองค์ประกอบ UI ด้วยตัวเลือกแบบยึดข้อความ ให้เปิดตัวเลือกองค์ประกอบ UI คลิกขวาที่องค์ประกอบที่ต้องการ แล้วเลือก จับภาพ ตามข้อความ

จากนั้น หน้าต่างใหม่ที่มีสองเขตข้อมูลจะปรากฏขึ้นบนหน้าจอของคุณ:

• ฟิลด์ ค่าข้อความ เก็บข้อความขององค์ประกอบเป็นค่าที่เสนอ คุณสามารถเปลี่ยนค่านี้เป็นค่าฮาร์ดโค้ดหรือตัวแปรได้
• คุณสามารถตั้งค่าฟิลด์ ตัวดำเนินการ เป็นตัวดำเนินการต่างๆ เพื่อปรับการทำงานของตัวเลือก

การเลือก Capture จะเพิ่มองค์ประกอบ UI ด้วยตัวเลือกแบบยึดข้อความที่เหมาะสมในที่เก็บองค์ประกอบ UI

ตัวเลือกตามข้อความใช้แอตทริบิวต์ ชื่อ ขององค์ประกอบที่จับภาพสำหรับระบบอัตโนมัติบนเดสก์ท็อป และแอตทริบิวต์ ข้อความ สำหรับระบบอัตโนมัติของเบราว์เซอร์ ใช้ได้เฉพาะกับองค์ประกอบ UI ที่มีค่าข้อความเท่านั้น

กล่าวอีกนัยหนึ่ง สามารถใช้งานได้กับองค์ประกอบ UI ที่มีแอตทริบิวต์ ชื่อ หรือ ข้อความ ที่มีค่า ซึ่งไม่พร้อมใช้งานสําหรับองค์ประกอบที่ไม่มีค่าข้อความดังกล่าว แม้ว่าจะมีองค์ประกอบย่อยพร้อมข้อความในโครงสร้างก็ตาม

ปัญหาและข้อจำกัดที่ทราบ

• ถ้าคุณเลือก เพิ่มองค์ประกอบ UI ให้โฮเวอร์เหนือหน้าต่าง และเลือกที่จะจับภาพองค์ประกอบ UI ตามข้อความ กระบวนการจะสร้างตัวเลือกเริ่มต้น ตัวเลือกนี้มีแอตทริบิวต์กระบวนการพร้อมกับชื่อ

• เมื่อคุณใช้ตัวแปรที่มีตัวดําเนินการอื่นนอกเหนือจาก เท่ากับ ตัวแก้ไขข้อความแบบกําหนดเองจะแสดงตัวเลือกแทนตัวสร้างวิชวล ฟังก์ชันนี้หลีกเลี่ยงข้อจํากัดที่ทําให้การรวมข้างต้นไม่ทํางานในตัวสร้างวิชวล