หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]
แท็บ ประเมิน ในประสบการณ์เอเจนต์ใหม่ให้การทดสอบที่มีโครงสร้างและสามารถทดสอบซ้ำได้สำหรับเอเจนต์ของคุณ ใช้การประเมินเพื่อวัดคุณภาพของเอเจนต์ในแต่ละกรณีทดสอบ ติดตามการปรับปรุงตามเวลา และตรวจสอบพฤติกรรมของเอเจนต์ก่อนเผยแพร่
Important
- คุณลักษณะพรีวิวความพร้อมในการใช้งานจริง
- คุณลักษณะพรีวิวความพร้อมใช้งานจริงอยู่ภายใต้ ข้อกำหนดการใช้งานเสริม
การประเมินตัวแทนคืออะไร?
การประเมินเอเจนต์ช่วยให้คุณทดสอบการตอบของเอเจนต์ของคุณอย่างเป็นระบบตามมาตรฐานคุณภาพ แทนที่จะทดสอบแต่ละสถานการณ์ด้วยตนเองในแท็บ Preview ให้สร้างการประเมินผลพร้อมบทสนทนาทดสอบ กําหนดวิธีวัดผลตอบรับ และรันการประเมินผลเพื่อให้ได้ผลลัพธ์เชิงปริมาณ
การประเมินช่วยให้คุณตอบคําถามเหล่านี้ได้:
- เอเจนต์ตอบถูกต้องในหลากหลายสถานการณ์ที่คาดไว้หรือไม่
- การเปลี่ยนแปลงการกำหนดค่าทำให้คุณภาพการตอบดีขึ้นหรือแย่ลงหรือไม่
- เอเจนต์เรียกใช้เครื่องมือเมื่อจำเป็นหรือไม่?
แนวคิดหลัก
แนวคิดต่อไปนี้มีความสำคัญเมื่อทำการประเมินใน Copilot Studio:
การสนทนา
การสนทนาเป็นกรณีทดสอบที่แสดงถึงสถานการณ์ที่คุณต้องการให้เอเจนต์ของคุณจัดการ แต่ละการสนทนาประกอบด้วยข้อความของผู้ใช้ และอาจจะมีการตอบของเอเจนต์ที่คาดหวัง จัดกลุ่มการสนทนาเป็นการประเมิน สร้างบทสนทนาด้วยตนเอง สร้างด้วย AI หรืออัปโหลดจากไฟล์ CSV
การประเมินผล
ชุดการประเมินที่มีชื่อคือชุดการทดสอบที่ผสานการสนทนากับวิธีการทดสอบ คุณสามารถสร้างการประเมินจากแท็บ ประเมิน เพิ่มบทสนทนาเข้าไป และเรียกใช้งานเพื่อให้ได้ผลลัพธ์ที่ได้รับคะแนน
วิธีการทดสอบ
วิธีการทดสอบจะกำหนดหลักเกณฑ์การให้คะแนนการตอบของเอเจนต์ ปัจจุบัน วิธีทดสอบที่มีอยู่มีเพียงวิธีเดียวคือ General quality ซึ่งเป็นการประเมินด้วย AI ว่าคําตอบนั้นตรงตามมาตรฐานคุณภาพหรือไม่ เช่น ความเกี่ยวข้องและความสมบูรณ์
Note
วิธีการทดสอบคุณภาพทั่วไปจะไม่ทำการเปรียบเทียบการตอบกับคำตอบที่คาดหวังไว้
โปรไฟล์ผู้ใช้
การประเมินและการเชื่อมต่อที่ใช้โดยเครื่องมือซึ่งทำงานด้วยโปรไฟล์ผู้ใช้ที่ลงชื่อเข้าใช้อยู่ในขณะนี้ คุณไม่สามารถเชื่อมต่อกับผู้ใช้อื่นขณะที่คุณลงชื่อเข้าใช้อยู่ หากต้องการรันการประเมินในฐานะผู้ใช้อื่น ให้ออกจากระบบ ลงชื่อเข้าใช้ด้วยบัญชีของผู้ใช้นั้น แล้วเริ่มการประเมิน
การใช้เครดิต
Evaluate จะแสดงการใช้ Copilot Credit โดยประมาณตลอดกระบวนการทดสอบ เพื่อให้คุณเข้าใจต้นทุนของการทดสอบคุณภาพก่อนที่คุณจะรันชุดทดสอบขนาดใหญ่ขึ้น คุณสามารถดูได้ว่าประสบการณ์ใดใช้เครดิต จํานวนรวมโดยประมาณสําหรับแต่ละรอบประเมิน การแยกแยะระหว่างการสร้างและการให้คะแนน และการใช้เครดิตในระดับกรณีทดสอบแต่ละกรณี เรียนรู้เพิ่มเติมได้ในหัวข้อ ทําความเข้าใจการใช้เครดิตโดยประมาณ
ขั้นตอนการประเมิน
ทําตามขั้นตอนเหล่านี้เพื่อประเมินเอเจนต์:
- สร้างการประเมิน: บนแท็บ ประเมิน เริ่มต้นการประเมินใหม่ เรียนรู้เพิ่มเติมในส่วน สร้างชุดทดสอบสําหรับเอเจนต์
- เพิ่มการสนทนา: เพิ่มการสนทนาทดสอบโดยการเขียนด้วยตนเอง สร้างโดย AI หรืออัปโหลดไฟล์ CSV
- กําหนดค่า: ตั้งชื่อการประเมิน เลือกวิธีทดสอบ และเลือกเวอร์ชันของเอเจนต์
- รันการประเมินผล: เลือก ประเมิน ผล เพื่อรันการทดสอบและรอผลลัพธ์ ดูข้อมูลเพิ่มเติมได้ที่ ดําเนินการประเมินผลสําหรับตัวแทน
- ตรวจสอบผลลัพธ์: วิเคราะห์คะแนนและระบุจุดที่ต้องปรับปรุง ดูข้อมูลเพิ่มเติมได้ที่ ดูผลการประเมินสําหรับเอเจนต์
- ทําซ้ํา: ปรับคําแนะนํา ความรู้ หรือเครื่องมือของตัวแทน แล้วรันการประเมินอีกครั้งเพื่อวัดผลกระทบ
Limitations
การประเมินผลรองรับเฉพาะเอเจนต์ที่ตั้งให้ใช้ No Authentication หรือ Authenticate กับ Microsoft เท่านั้น ไม่รองรับเอเจนต์ที่ตั้งค่าเป็น รับรองความถูกต้องด้วยตนเอง