ประเมินการเปลี่ยนแปลงของโมเดลด้วย Copilot Agent Kit (ตัวอย่าง)

[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]

การประเมินโมเดลใน Copilot Agent Kit ช่วยให้คุณเปรียบเทียบว่าเอเจนต์ทำงานได้อย่างไรก่อนและหลังมีการเปลี่ยนโมเดล เรียกใช้การทดสอบชุดเดิมกับโมเดลทั้งสองเวอร์ชัน ทบทวนการปรับปรุงและข้อถดถอย แล้วใช้ผลลัพธ์ในการตัดสินใจว่าจะเก็บโมเดลใดไว้

การประเมินโมเดลรองรับเครื่องมือทดสอบสองตัว:

เอนจินการทดสอบ การทดสอบที่ทำงาน
การประเมินผลของ Copilot Studio ชุดทดสอบการประเมินที่ใช้งานอยู่ที่มี MODELCHECK ในชื่อ
การทดสอบ Copilot Agent Kit ชุดทดสอบ Kit ที่ทำงานผ่านการกำหนดค่าของตัวแทนที่เปิดใช้งานไปป์ไลน์กับตัวแทนที่เผยแพร่แล้ว

คุณไม่สามารถเปรียบเทียบผลลัพธ์จากเอนจินทดสอบต่าง ๆ ได้ เนื่องจากเอนจินแต่ละตัวให้คะแนนคนละสิ่ง

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะใช้ฟีเจอร์การประเมินโมเดลใน Copilot Agent Kit โปรดตรวจสอบให้แน่ใจว่าคุณได้ดำเนินการดังต่อไปนี้:

  • ติดตั้ง Copilot Agent Kit และแชร์กับผู้ผลิตแล้ว
  • กำหนดบทบาทความปลอดภัย CSK - Maker หรือ CSK - Administrator ให้กับผู้ใช้แต่ละคนที่รันการประเมิน
  • เชื่อมต่อข้อมูลอ้างอิงการเชื่อมต่อ Copilot Studio Kit - Dataverse แล้ว
  • เพิ่มการเชื่อมต่อ Microsoft Copilot Studio ไปยังการอ้างอิงการเชื่อมต่อ Copilot Agent Kit - Automated Tests ผู้ใช้การเชื่อมต่อต้องสามารถเข้าถึงตัวแทนที่คุณต้องการประเมิน
  • เปิดใช้งานการไหลของคลาวด์ประเมินโมเดลดังต่อไปนี้:
    • การประเมินโมเดล | รันการประเมินผล Copilot Studio
    • การประเมินโมเดล | รันการทดสอบ Agent Kit ของ Copilot
  • เพิ่มชุดทดสอบที่รองรับอย่างน้อยหนึ่งชุดให้กับแต่ละเอเจนต์แล้ว ดูข้อมูลเพิ่มเติมที่ ทําให้ตัวแทนมีคุณสมบัติเหมาะสม.

การรันการประเมินใช้ความจุสําหรับการตอบสนองของตัวแทนและสรุป AI เรียนรู้เพิ่มเติมใน สิทธิ์การใช้งาน และ เครดิตของ Copilot

Note

การทดสอบ Copilot Agent Kit จะทำงานกับตัวแทนที่เผยแพร่ การประเมินของ Copilot Studio ไม่จำเป็นต้องให้มีการเผยแพร่เอเจนต์

ตั้งค่าการประเมินโมเดล

ส่วนต่อไปนี้จะอธิบายวิธีเปิดใช้งานการไหลของคลาวด์ ตั้งค่าการอ้างอิงการเชื่อมต่อ และทําให้เอเจนต์มีคุณสมบัติสําหรับการประเมิน

เปิด cloud flows

วิธีเปิดใช้งาน cloud flows:

  1. ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณติดตั้งเอเจนต์ Copilot Kit
  2. ที่แถบด้านข้าง ให้เลือก โซลูชัน แล้วเลือก Copilot Agent Kit จากรายการโซลูชัน หน้ารายละเอียดจะเปิดขึ้น
  3. ที่ท้ายรายการ รายการล่าสุด ให้เลือก ดูทั้งหมด เพื่อดูวัตถุทั้งหมด
  4. ในบานหน้าต่างวัตถุ ให้เลือก Cloud flows
  5. ค้นหาโฟลว์ระบบคลาวด์ต่อไปนี้:
    • การประเมินโมเดล | รันการทดสอบ Copilot Agent Kit
    • การประเมินโมเดล |รันการประเมิน Copilot Studio
  6. เลือกจุดสามจุด (⋮) ข้างแต่ละการไหลของเมฆแล้วเลือก เปิด

ตั้งค่าการอ้างอิงการเชื่อมต่อ

เพื่อตั้งค่าการอ้างอิงการเชื่อมต่อ:

  1. ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณติดตั้งเอเจนต์ Copilot Kit
  2. ที่แถบด้านข้าง ให้เลือก โซลูชัน แล้วเลือก Copilot Agent Kit จากรายการโซลูชัน หน้ารายละเอียดจะเปิดขึ้น
  3. ที่ท้ายรายการ รายการล่าสุด ให้เลือก ดูทั้งหมด เพื่อดูวัตถุทั้งหมด
  4. ในบานหน้าต่าง วัตถุ ให้เลือก ข้อมูลอ้างอิงการเชื่อมต่อ
  5. ค้นหา Copilot Studio Kit - Dataverse และตรวจสอบว่ามีการเชื่อมต่อ Dataverse
  6. ค้นหา Copilot Agent Kit - Automated Tests และตรวจสอบให้แน่ใจว่ามีการเชื่อมต่อ Microsoft Copilot Studio ผู้ใช้การเชื่อมต่อต้องสามารถเข้าถึงตัวแทนที่คุณต้องการประเมิน

ทำให้เอเจนต์มีสิทธิ์

เอเจนต์จะปรากฏในการประเมินโมเดลเมื่อมีการกําหนดค่าทดสอบอย่างน้อยหนึ่งรายการต่อไปนี้

ตัวเลือก A: การประเมิน Copilot Studio

  1. ใน Copilot Studio ให้เปิดเอเจนต์และเลือก Evaluate
  2. สร้างชุดทดสอบการประเมินที่มี MODELCHECK อยู่ในชื่อ เช่น MODELCHECK - HR policies.
  3. เพิ่มกรณีทดสอบและตัวให้คะแนน และรักษาชุดทดสอบให้ยังคงใช้งานอยู่ เฉพาะชุดทดสอบที่ใช้งาน MODELCHECK เท่านั้นที่จะทำงาน

เรียนรู้เพิ่มเติมในส่วน สร้างชุดทดสอบสําหรับเอเจนต์

ตัวเลือก B: การทดสอบ Copilot Agent Kit

  1. ใน Copilot Agent Kit ให้สร้างระเบียน Agent Configuration ใหม่สําหรับเอเจนต์และเลือก Configuration Type(s) เป็น Test Automation
  2. เลือกแท็บ General ของระเบียนการกำหนดค่าและเปิดใช้งาน เปิดใช้งานไปป์ไลน์ ในส่วน การทดสอบตามกำหนดเวลา
  3. สร้างชุดทดสอบที่มีการทดสอบสําหรับเอเจนต์

Note

การทำงานอัตโนมัติของการทดสอบแบบคิทสนับสนุนตัวแทนที่ใช้ฮาร์เนสมาตรฐาน คุณสามารถประเมินเอเจนต์ที่ขับเคลื่อนด้วยฮาร์เนส Microsoft Copilot ด้วยการประเมินของ Copilot Studio

ประเมินเอเจนต์

ส่วนต่อไปนี้จะอธิบายวิธีเปิด Model Assessment, รันการประเมินพื้นฐาน และเปรียบเทียบผลลัพธ์หลังจากเปลี่ยนโมเดลของตัวแทน

เลือกตัวแทนสําหรับการประเมินโมเดล

เพื่อเลือกเอเจนต์สําหรับการประเมินโมเดล:

  1. เปิดแอป Copilot Agent Kit
  2. ที่แถบด้านข้าง ให้เลือก การทดสอบขั้นสูง ในส่วน ประสิทธิภาพการทํางาน หน้า การทดสอบขั้นสูง จะเปิดขึ้น
  3. เลือก การประเมินโมเดล. รายการตัวแทนจะเปิดขึ้น
  4. เลือกตัวแทนที่มีคุณสมบัติเหมาะสมจากรายการ

รายการแสดงโมเดลก่อนหน้าและปัจจุบันของเอเจนต์แต่ละราย สถานะการถดถอย การรันล่าสุด และจำนวนครั้งล่าสุดที่ผ่าน ไม่ผ่าน และผิดพลาด ใช้ตัวกรองเพื่อค้นหาเอเจนต์ที่ต้องการความสนใจ หรือค้นหาตามชื่อเอเจนต์ เลือก รีเฟรชเอเจนต์ เพื่อโหลดรายการใหม่

ภาพหน้าจอของรายการตัวแทนการประเมินโมเดลที่แสดงโมเดล สถานะการถดถอย ผลลัพธ์ล่าสุด และตัวกรอง

รันการประเมินค่าอ้างอิง

การรันครั้งแรกจะบันทึกค่าพื้นฐานสำหรับโมเดลปัจจุบันของเอเจนต์ วิธีรันการประเมินพื้นฐาน:

  1. เลือกเอเจนต์จากรายการเอเจนต์การประเมินแบบจำลองเพื่อเปิดแผงรายละเอียด
  2. หากไม่มี baseline ให้เลือก Run
  3. รอให้การประเมินเสร็จสิ้น คุณสามารถปิดรายละเอียดขณะที่การรันยังดําเนินอยู่เบื้องหลัง

สามารถดําเนินการประเมินได้ทีละครั้งสําหรับเอเจนต์ เลือก ยกเลิกการประเมิน เพื่อหยุดการรัน;การรันที่ถูกยกเลิกจะไม่ถูกให้คะแนน

เปลี่ยนโมเดลและรันการประเมินอีกครั้ง

หลังจากที่คุณกำหนดค่าพื้นฐานแล้ว ให้เปลี่ยนโมเดลของตัวแทนและรันการประเมินอีกครั้ง

  1. ในแผงรายละเอียดเอเจนต์ ให้เลือกโมเดลจากตัวเลือกโมเดล หรือเปลี่ยนโมเดลใน Copilot Studio
  2. หากคุณเปลี่ยนโมเดลใน Copilot Studio ให้กลับไปที่ Model Assessment ใน Copilot Agent Kit และยืนยันว่าแอปตรวจพบการเปลี่ยนแปลงนั้น
  3. เลือก รัน

เมื่อคุณเลือกโมเดลใน Model Assessment แอปจะบันทึกโมเดลนั้นไปยังตัวแทน สําหรับการทดสอบ Kit แอปจะเผยแพร่เอเจนต์ด้วย เพราะการทดสอบจะทํางานกับเวอร์ชันที่เผยแพร่ หากโมเดลยังไม่เปลี่ยนแปลงตั้งแต่การรันครั้งล่าสุด ให้เปลี่ยนก่อนเลือก เรียกใช้ อีกครั้ง

ประวัติของโมเดลจะแสดงการเปลี่ยนแปลงโมเดลพื้นฐานและการเปลี่ยนแปลงในภายหลัง แอปจะบันทึกการเปลี่ยนแปลงโมเดลก็ต่อเมื่อการประเมินเสร็จสิ้นโดยไม่มีข้อผิดพลาด หากรันมีข้อผิดพลาด ให้แก้ไขและรันการประเมินอีกครั้ง

ภาพหน้าจอรายละเอียดเอเจนต์ที่แสดงตัวเลือกโมเดลและประวัติโมเดลสําหรับการกําหนดค่าทดสอบ Copilot Agent Kit

เลือกเครื่องมือทดสอบ

หากเอเจนต์มีทั้งการประเมิน Copilot Studio และการทดสอบ Copilot Agent Kit ให้เลือกเอนจินทดสอบที่ต้องการรัน สําหรับการทดสอบ Agent Kit ให้เลือกการกําหนดค่าตัวแทนและชุดทดสอบ ถ้ามีการตั้งค่าเพียงแบบเดียว แอปจะเลือกให้คุณ

ภาพหน้าจอรายละเอียดเอเจนต์ที่แสดงตัวเลือกการประเมินของ Copilot Agent Kit หรือ Copilot Studio

เปรียบเทียบการเรียกใช้และทบทวนผลลัพธ์

เพื่อเปรียบเทียบการวิ่งและทบทวนผลลัพธ์:

  1. ในประวัติโมเดลของเอเจนต์ ให้เลือกรันที่เสร็จสมบูรณ์เพื่อเปิดแผงเปรียบเทียบการรันโมเดล

  2. เลือกการรันที่เสร็จสมบูรณ์ได้สูงสุดสามครั้ง แอปจะแสดงข้อมูลจากเก่าที่สุดไปใหม่ล่าสุด

  3. ตรวจสอบแท็บสรุปสําหรับแต่ละโมเดล สถานะการทํางาน สถานะการถดถอย ผลการทดสอบ เครดิต Copilot เมื่อมี และการวิเคราะห์ AI

  4. ตรวจสอบแท็บ Test runs สําหรับแต่ละกรณีทดสอบและผลลัพธ์ในแต่ละรอบ เลือก ต้องได้รับความสนใจ เพื่อกรองรายการให้แสดงเฉพาะผลลัพธ์ที่ล้มเหลวหรือมีข้อผิดพลาด

  5. เลือก ส่งออกเป็น PDF เพื่อดาวน์โหลดการเปรียบเทียบ

    กล่องโต้ตอบเปรียบเทียบการรันโมเดลที่แสดงคําแนะนําโมเดล

ใช้ตัวเลือกรันโมเดลเพื่อเปลี่ยนว่ารันที่เสร็จสมบูรณ์ใดจะแสดงในการเปรียบเทียบ:

ภาพหน้าจอของตัวเลือกรันโมเดลสําหรับเลือกรันการประเมินโมเดลที่เสร็จสมบูรณ์เพื่อเปรียบเทียบ

สรุปประกอบด้วยการ์ดสําหรับแต่ละการรัน ตามด้วยสรุป AI และคําแนะนําโมเดล:

ภาพหน้าจอสรุปการเปรียบเทียบที่แสดงการ์ดรันโมเดลและสรุป AI

แอปจะเปรียบเทียบรันก็ต่อเมื่อใช้เอนจินทดสอบเดียวกันเท่านั้น ถ้าการรันครั้งก่อนใช้เอนจิ้นอื่น ให้เลือกการรันประเภทเดียวกันเพื่อเปรียบเทียบ

ภาพหน้าจอของประกาศเปรียบเทียบที่อธิบายว่าการรันจากเอนจินทดสอบต่างกันไม่สามารถเปรียบเทียบกันได้

บัตร แนะนําโมเดล จะปรากฏเมื่อคุณเลือกสองรอบที่ใช้เครื่องมือทดสอบเดียวกัน ประกอบด้วยข้อสรุป ระดับความมั่นใจ เหตุผล ข้อแลกเปลี่ยน และข้อควรระวัง ใช้คําแนะนําเป็นแนวทาง ไม่ใช่การรับประกัน ตรวจสอบผลการทดสอบแต่ละรายการก่อนตัดสินใจว่าจะเก็บรุ่นใดไว้

ในภาพหน้าจอต่อไปนี้ คําแนะนําระบุว่าไม่แนะนําทั้งสองรุ่น:

ภาพหน้าจอของคำแนะนำโมเดลที่ระบุว่าไม่มีโมเดลใดที่ได้รับการแนะนำ

ในภาพหน้าจอต่อไปนี้ คําแนะนําระบุว่ายังไม่มีผู้ชนะที่ชัดเจน:

ภาพหน้าจอของคําแนะนําโมเดลที่แสดงว่าไม่มีผู้ชนะที่ชัดเจน

สําหรับการทดสอบ Kit คําแนะนําแสดงความมั่นใจต่ําเมื่อการเปรียบเทียบมีการตรวจสอบร่วมกันน้อย:

ภาพหน้าจอการเปรียบเทียบการทดสอบ Copilot Agent Kit กับคําแนะนําโมเดลที่มีความมั่นใจต่ํา

แท็บ Test runs แสดงแต่ละกรณีทดสอบการประเมินผลและผลลัพธ์ในรันที่เลือก:

ภาพหน้าจอการเปรียบเทียบการทดสอบที่แสดงกรณีทดสอบและผลลัพธ์จากการทดสอบในแต่ละรอบ

เลือก ต้องได้รับการดูแล เพื่อกรองรายการให้แสดงเฉพาะผลลัพธ์ที่ล้มเหลวหรือมีข้อผิดพลาด:

ภาพหน้าจอการเปรียบเทียบการทดสอบที่กรองไปยังผลลัพธ์ที่ต้องใส่ใจ

สำหรับการทดสอบ Kit แท็บจะแสดงการทดสอบ Kit แต่ละรายการและผลลัพธ์ในการรันที่เลือกแต่ละรายการ:

ภาพหน้าจอการเปรียบเทียบการทดสอบ Copilot Agent Kit ที่แสดงผลการทดสอบในแต่ละรอบ

ทำความเข้าใจสถานะรีเกรสชัน

สถานะรีเกรสชันสรุปผลการให้คะแนนของการรันปัจจุบัน

สถานะรีเกรสชัน ความหมาย
สุขภาพดี ไม่มีการตรวจสอบที่ให้คะแนนล้มเหลว
Warning การตรวจสอบที่ให้คะแนนล้มเหลวไม่เกิน 20 เปอร์เซ็นต์หลังจากปัดเศษลง
วิกฤต มากกว่า 20 เปอร์เซ็นต์ของการตรวจสอบที่ให้คะแนนล้มเหลวหลังจากปัดเศษลง
ยังไม่ได้รับการประเมิน ไม่มีเช็กใด ๆ

เช็กคือผลลัพธ์หนึ่ง ในการประเมินของ Copilot Studio แต่ละตัวชี้วัดสำหรับกรณีทดสอบคือเช็ก ในการทดสอบชุดคิท แต่ละการทดสอบคือการตรวจสอบ เฉพาะเช็คที่มีผล ผ่าน หรือ ไม่ผ่าน เท่านั้นที่จะถูกให้คะแนน; ข้อผิดพลาด เช็คที่ถูกตัดออก และเช็คที่รอดำเนินการจะไม่ถูกนับรวมในเปอร์เซ็นต์ เปอร์เซ็นต์จะถูกปัดเศษลงเป็นจํานวนเต็มก่อนกําหนดสถานะ

รีเกรสชันคือการตรวจสอบที่ผ่านในค่าพื้นฐานและล้มเหลวในรอบปัจจุบัน การตรวจสอบที่ล้มเหลวทั้งสองครั้งถือเป็นความล้มเหลวถาวร ไม่ใช่รีเกรสชัน สถานะนี้พิจารณาทั้งอัตราการตรวจสอบที่ล้มเหลวในรันปัจจุบันและอัตราการถดถอยเมื่อเทียบกับค่าพื้นฐาน เนื่องจากรีเกรสชันเป็นส่วนหนึ่งของความล้มเหลว อัตรารีเกรสชันจึงไม่สามารถเกินอัตราการตรวจสอบไม่ผ่านได้ ตรวจสอบจำนวนรีเกรสชันเพื่อดูว่ามีอะไรเปลี่ยนแปลงจากค่าพื้นฐานบ้าง

ทําความเข้าใจเกี่ยวกับการรายงานเครดิตของ Copilot

Note

การประเมินแบบจําลองแต่ละครั้งมีค่าใช้จ่ายประมาณ 150 เครดิต Copilot

  • สําหรับการประเมิน Copilot Studio, Model Assessment จะบันทึกเครดิต Copilot เมื่อ Copilot Studio รายงานเครดิตเหล่านั้นสําหรับเอเจนต์บนฮาร์เนส Microsoft Copilot การใช้งานนี้อาจรวมถึงเครดิตสําหรับการตอบกลับของตัวแทนและการประเมินผล
  • การทดสอบ Copilot Agent Kit จะไม่รายงานเครดิต Copilot ในการประเมินโมเดล
  • สรุปและคําแนะนําจาก AI สามารถใช้ทรัพยากรได้แม้เมื่อรันนั้นไม่รายงานยอดเครดิต

อย่าใช้ยอดเครดิตเพื่อเปรียบเทียบการรันจากเครื่องมือทดสอบต่าง ๆ

การแก้ไขปัญหา

ปัญหา สิ่งที่ต้องตรวจสอบ
เอเจนต์ไม่ได้ถูกระบุไว้ ยืนยันว่าเอเจนต์มีการประเมินผลที่ใช้งาน MODELCHECK อยู่หรือมีการตั้งค่าเอเจนต์ที่เปิดใช้งานในท่อส่งพร้อมชุดทดสอบ จากนั้นเลือก รีเฟรชเอเจนต์
การประเมินไม่สามารถเริ่มได้เนื่องจากโฟลว์ถูกปิด เปิดใช้งานการไหลของคลาวด์ Model Assessment ที่เกี่ยวข้องในโซลูชัน Copilot Agent Kit
การรันหนึ่งรายการรายงานข้อผิดพลาดของตัวเชื่อมต่อ ตรวจสอบว่าการอ้างอิงการเชื่อมต่อทั้งสองเชื่อมต่อกัน และผู้ใช้ในการเชื่อมต่อ Copilot Studio สามารถเข้าถึงเอเจนต์ได้
ไม่มีการรันชุดทดสอบการประเมินผล ยืนยันว่าชื่อชุดทดสอบประกอบด้วย MODELCHECK และชุดทดสอบนั้นกําลังใช้งานอยู่
การทดสอบชุดอุปกรณ์ล้มเหลวหรือหมดเวลา ยืนยันว่าการกำหนดค่าเอเจนต์ได้เปิดใช้งาน Pipeline Enabled อยู่ ชุดทดสอบที่เลือกมีการทดสอบ และเอเจนต์ถูกเผยแพร่แล้ว
การเปลี่ยนแปลงรุ่นไม่ได้ถูกบันทึก แก้ไขข้อผิดพลาดในการรันและรันการประเมินอีกครั้ง ประวัติของโมเดลจะอัปเดตก็ต่อเมื่อรันเสร็จสมบูรณ์โดยไม่มีข้อผิดพลาด
แอปรายงานว่าโมเดลยังไม่เปลี่ยนแปลง เปลี่ยนโมเดลใน Model Assessment หรือ Copilot Studio จากนั้นรันการประเมิน