สร้างชุดการทดสอบสำหรับเอเจนต์ (พรีวิว)

[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]

ชุดทดสอบคือชุดของการสนทนาที่คุณใช้เพื่อประเมินประสิทธิภาพของตัวแทนของคุณ การสนทนาแต่ละครั้งแสดงถึงสถานการณ์ที่คุณต้องการให้เอเจนต์ของคุณรับมือ

สำคัญ

ข้อกำหนดเบื้องต้น

เอเจนต์ที่สร้างและบันทึกไว้โดยใช้เครื่องมือ GitHub Copilot Harness ดูข้อมูลเพิ่มเติมได้ที่ สร้างเอเจนต์ (พรีวิว).

เริ่มต้นการประเมินใหม่

เพื่อเริ่มการประเมินใหม่:

  1. เปิดเอเจนต์ของคุณใน Copilot Studio
  2. เลือกแท็บ ประเมิน
  3. เลือก การประเมินใหม่

Note

ประสบการณ์ที่ใช้เครดิต Copilot จะแสดงตรา Uses Copilot Credits เพื่อให้คุณรู้ว่าการกระทําใดใช้เครดิตก่อนจะรัน เรียนรู้เพิ่มเติมได้ในหัวข้อ ทําความเข้าใจการใช้เครดิตโดยประมาณ

เลือกหนึ่งในตัวเลือกเหล่านี้:

ตัวเลือกที่ 1: อัปโหลดการสนทนาจากไฟล์ CSV:

  1. บนแท็บ ประเมิน ในส่วน แหล่งข้อมูล ให้ลากไฟล์ CSV ไปยังพื้นที่อัปโหลด หรือเลือกเพื่อค้นหาไฟล์

    Tip

    เลือกลิงก์ CSV เพื่อดาวน์โหลดเทมเพลตที่แสดงรูปแบบไฟล์ที่ถูกต้อง ขนาดไฟล์สูงสุดคือ 5 MB

  2. ตรวจสอบบทสนทนาที่นําเข้าและปรับเปลี่ยนตามความจําเป็น

  3. ในแผง กำหนดค่าชุดการทดสอบ ทางด้านขวา ให้ป้อน ชื่อ สำหรับการประเมิน

  4. เลือก ประเมิน ผล เพื่อรันการประเมินผล หรือเลือก บันทึก เพื่อบันทึกโดยไม่รัน

ตัวเลือกที่ 2: สร้างการสนทนาด้วย AI:

  1. ในแท็บ ประเมิน ในส่วน วิธีเริ่มต้นเพิ่มเติม ให้เลือก ชุดการสนทนาด่วน
  2. รอขณะที่ระบบสร้างบทสนทนา 10 รายการตามคําอธิบาย คําแนะนํา และหัวข้อของเอเจนต์
  3. ตรวจสอบการสนทนาที่สร้างขึ้นในรายการ ตรวจสอบกรณีทดสอบของคุณ
  4. ในแผงกําหนดค่าชุดทดสอบ ให้ป้อนชื่อ แล้วเลือก ประเมิน หรือ บันทึก

คุณยังสามารถสร้างบทสนทนาเพิ่มเติมจากมุมมองการประเมินผลได้ด้วย เลือก เพิ่มการสนทนา>สร้าง 10 การสนทนา หลังจากที่คุณรันการประเมินเบื้องต้นแล้ว ให้เลือก เพิ่มการสนทนา>สร้าง 25 การสนทนา หรือ สร้าง 50 การสนทนา เพื่อสร้างเพิ่มเติม

ตัวเลือกที่ 3: เขียนบทสนทนาเอง:

  1. ที่แท็บ ประเมิน ในส่วน วิธีเริ่มต้นเพิ่มเติม ให้เลือก หรือเขียนคำถามเอง
  2. ในรายการ ตรวจสอบกรณีทดสอบของคุณ ให้เลือก เพิ่มบทสนทนา>เขียน เพื่อสร้าง กรณีทดสอบด้วยตนเอง
  3. เพิ่มคำถามของผู้ใช้สำหรับแต่ละการสนทนา หากต้องการ เพิ่มการตอบสนองที่คาดหวังจากตัวแทน
  4. ในแผง กำหนดค่าชุดการทดสอบ ให้ป้อน ชื่อ แล้วเลือก ประเมิน หรือ บันทึก

กำหนดค่าชุดการทดสอบ

เมื่อคุณสร้างหรือแก้ไขการประเมินผล แผง กําหนดค่าชุดทดสอบ จะมีตัวเลือกดังนี้:

  • ชื่อ: ชื่อที่จำเป็นสำหรับการประเมิน
  • วิธีทดสอบ: วิธีการให้คะแนนคําตอบ ตรวจสอบคุณภาพทั่วไปว่าคําตอบตรงตามมาตรฐานคุณภาพ เช่น ความเกี่ยวข้องและความครบถ้วน
  • โปรไฟล์ผู้ใช้: โปรไฟล์ที่ผ่านการตรวจสอบสิทธิ์ซึ่งรันการประเมินผลและเชื่อมต่อกับเครื่องมือ การประเมินผลจะใช้โปรไฟล์ของผู้ใช้ที่ลงชื่อเข้าใช้ คุณไม่สามารถเชื่อมต่อกับผู้ใช้อื่นขณะที่คุณลงชื่อเข้าใช้อยู่ หากต้องการรันการประเมินในฐานะผู้ใช้อื่น ให้ออกจากระบบ ลงชื่อเข้าใช้ด้วยบัญชีของผู้ใช้นั้น แล้วเริ่มการประเมิน

แก้ไขการสนทนาในชุดการทดสอบ

วิธีแก้ไขบทสนทนาในชุดทดสอบ:

  1. ที่แท็บ ประเมิน ให้เปิดชุดการทดสอบที่มีอยู่จากเมนูแบบดรอปดาวน์ การประเมิน
  2. เลือกการสนทนาเพื่อแก้ไขข้อความ
  3. ใช้ ดรอปดาวน์เพิ่มการสนทนา เพื่อเพิ่มการสนทนาอีก
  4. เลือก บันทึก เมื่อเสร็จแล้ว

ขีดจำกัดของชุดทดสอบ

ข้อจํากัดต่อไปนี้จะใช้กับแท็บ Evaluate เมื่อคุณสร้างหรือแก้ไขชุดทดสอบ หรือรันการประเมินผล

ขีดจำกัด มูลค่า จะเกิดอะไรขึ้นเมื่อคุณถึงขีดจํากัด
จํานวนการสนทนาต่อชุดทดสอบ 20 ข้อความจะบอกคุณเมื่อคุณถึงขีดจํากัด หากต้องการสร้างหรือเขียนบทสนทนาเพิ่มเติม ให้ลบบทสนทนาที่มีอยู่บางรายการก่อน ถ้าคุณสร้างบทสนทนามากกว่าที่ชุดทดสอบจะรองรับได้ ชุดทดสอบจะเพิ่มแค่พอให้ถึงขีดจํากัด
คู่ถาม-ตอบต่อการสนทนา 6 (12 ข้อความ) คุณไม่สามารถเพิ่มคําถามอื่นเข้าไปในบทสนทนาได้
ความยาวของคําถาม 1,000 ตัวอักษร รวมช่องว่าง คุณไม่สามารถใส่อักขระเพิ่มได้
ความยาวการตอบกลับที่คาดหวัง 1,000 ตัวอักษร รวมช่องว่าง คุณไม่สามารถใส่อักขระเพิ่มได้
ความยาวชื่อชุดทดสอบ 50 ตัวอักษร คุณไม่สามารถใส่อักขระเพิ่มได้
ขนาดไฟล์ CSV 5 MB คุณไม่สามารถอัปโหลดไฟล์ที่มีขนาดใหญ่กว่า 5 MB ได้
ความยาวข้อความตอบกลับของเอเจนต์ 10,000 ตัวอักษร การตอบกลับไม่ได้ถูกให้คะแนน ผลลัพธ์แสดงว่าคําตอบมีมากกว่า 10,000 ตัวอักษรและไม่สามารถประเมินได้

ข้อจํากัดเดียวกันนี้ใช้กับการอัปโหลดบทสนทนาจากไฟล์ CSV:

  • นําเข้าเพียง 20 บทสนทนาแรกเท่านั้น
  • จะนําเข้าเฉพาะคู่คําถาม-คําตอบ 6 คู่แรกของแต่ละบทสนทนาเท่านั้น
  • บทสนทนาที่มีคําถามหรือคําตอบที่คาดหวังยาวเกิน 1,000 ตัวอักษรจะไม่ถูกนําเข้า ข้อความแจ้งว่าการนําเข้าละเว้นบางบทสนทนา