หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]
การประเมินโมเดลใน Copilot Agent Kit ช่วยให้คุณเปรียบเทียบว่าเอเจนต์ทำงานได้อย่างไรก่อนและหลังมีการเปลี่ยนโมเดล เรียกใช้การทดสอบชุดเดิมกับโมเดลทั้งสองเวอร์ชัน ทบทวนการปรับปรุงและข้อถดถอย แล้วใช้ผลลัพธ์ในการตัดสินใจว่าจะเก็บโมเดลใดไว้
การประเมินโมเดลรองรับเครื่องมือทดสอบสองตัว:
| เอนจินการทดสอบ | การทดสอบที่ทำงาน |
|---|---|
| การประเมินผลของ Copilot Studio | ชุดทดสอบการประเมินที่ใช้งานอยู่ที่มี MODELCHECK ในชื่อ |
| การทดสอบ Copilot Agent Kit | ชุดทดสอบ Kit ที่ทำงานผ่านการกำหนดค่าของตัวแทนที่เปิดใช้งานไปป์ไลน์กับตัวแทนที่เผยแพร่แล้ว |
คุณไม่สามารถเปรียบเทียบผลลัพธ์จากเอนจินทดสอบต่าง ๆ ได้ เนื่องจากเอนจินแต่ละตัวให้คะแนนคนละสิ่ง
ข้อกำหนดเบื้องต้น
ก่อนที่คุณจะใช้ฟีเจอร์การประเมินโมเดลใน Copilot Agent Kit โปรดตรวจสอบให้แน่ใจว่าคุณได้ดำเนินการดังต่อไปนี้:
- ติดตั้ง Copilot Agent Kit และแชร์กับผู้ผลิตแล้ว
- กำหนดบทบาทความปลอดภัย CSK - Maker หรือ CSK - Administrator ให้กับผู้ใช้แต่ละคนที่รันการประเมิน
- เชื่อมต่อข้อมูลอ้างอิงการเชื่อมต่อ Copilot Studio Kit - Dataverse แล้ว
- เพิ่มการเชื่อมต่อ Microsoft Copilot Studio ไปยังการอ้างอิงการเชื่อมต่อ Copilot Agent Kit - Automated Tests ผู้ใช้การเชื่อมต่อต้องสามารถเข้าถึงตัวแทนที่คุณต้องการประเมิน
- เปิดใช้งานการไหลของคลาวด์ประเมินโมเดลดังต่อไปนี้:
- การประเมินโมเดล | รันการประเมินผล Copilot Studio
- การประเมินโมเดล | รันการทดสอบ Agent Kit ของ Copilot
- เพิ่มชุดทดสอบที่รองรับอย่างน้อยหนึ่งชุดให้กับแต่ละเอเจนต์แล้ว ดูข้อมูลเพิ่มเติมที่ ทําให้ตัวแทนมีคุณสมบัติเหมาะสม.
การรันการประเมินใช้ความจุสําหรับการตอบสนองของตัวแทนและสรุป AI เรียนรู้เพิ่มเติมใน สิทธิ์การใช้งาน และ เครดิตของ Copilot
Note
การทดสอบ Copilot Agent Kit จะทำงานกับตัวแทนที่เผยแพร่ การประเมินของ Copilot Studio ไม่จำเป็นต้องให้มีการเผยแพร่เอเจนต์
ตั้งค่าการประเมินโมเดล
ส่วนต่อไปนี้จะอธิบายวิธีเปิดใช้งานการไหลของคลาวด์ ตั้งค่าการอ้างอิงการเชื่อมต่อ และทําให้เอเจนต์มีคุณสมบัติสําหรับการประเมิน
เปิด cloud flows
วิธีเปิดใช้งาน cloud flows:
- ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณติดตั้งเอเจนต์ Copilot Kit
- ที่แถบด้านข้าง ให้เลือก โซลูชัน แล้วเลือก Copilot Agent Kit จากรายการโซลูชัน หน้ารายละเอียดจะเปิดขึ้น
- ที่ท้ายรายการ รายการล่าสุด ให้เลือก ดูทั้งหมด เพื่อดูวัตถุทั้งหมด
- ในบานหน้าต่างวัตถุ ให้เลือก Cloud flows
- ค้นหาโฟลว์ระบบคลาวด์ต่อไปนี้:
- การประเมินโมเดล | รันการทดสอบ Copilot Agent Kit
- การประเมินโมเดล |รันการประเมิน Copilot Studio
- เลือกจุดสามจุด (⋮) ข้างแต่ละการไหลของเมฆแล้วเลือก เปิด
ตั้งค่าการอ้างอิงการเชื่อมต่อ
เพื่อตั้งค่าการอ้างอิงการเชื่อมต่อ:
- ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณติดตั้งเอเจนต์ Copilot Kit
- ที่แถบด้านข้าง ให้เลือก โซลูชัน แล้วเลือก Copilot Agent Kit จากรายการโซลูชัน หน้ารายละเอียดจะเปิดขึ้น
- ที่ท้ายรายการ รายการล่าสุด ให้เลือก ดูทั้งหมด เพื่อดูวัตถุทั้งหมด
- ในบานหน้าต่าง วัตถุ ให้เลือก ข้อมูลอ้างอิงการเชื่อมต่อ
- ค้นหา Copilot Studio Kit - Dataverse และตรวจสอบว่ามีการเชื่อมต่อ Dataverse
- ค้นหา Copilot Agent Kit - Automated Tests และตรวจสอบให้แน่ใจว่ามีการเชื่อมต่อ Microsoft Copilot Studio ผู้ใช้การเชื่อมต่อต้องสามารถเข้าถึงตัวแทนที่คุณต้องการประเมิน
ทำให้เอเจนต์มีสิทธิ์
เอเจนต์จะปรากฏในการประเมินโมเดลเมื่อมีการกําหนดค่าทดสอบอย่างน้อยหนึ่งรายการต่อไปนี้
ตัวเลือก A: การประเมิน Copilot Studio
- ใน Copilot Studio ให้เปิดเอเจนต์และเลือก Evaluate
- สร้างชุดทดสอบการประเมินที่มี
MODELCHECKอยู่ในชื่อ เช่นMODELCHECK - HR policies. - เพิ่มกรณีทดสอบและตัวให้คะแนน และรักษาชุดทดสอบให้ยังคงใช้งานอยู่ เฉพาะชุดทดสอบที่ใช้งาน
MODELCHECKเท่านั้นที่จะทำงาน
เรียนรู้เพิ่มเติมในส่วน สร้างชุดทดสอบสําหรับเอเจนต์
ตัวเลือก B: การทดสอบ Copilot Agent Kit
- ใน Copilot Agent Kit ให้สร้างระเบียน Agent Configuration ใหม่สําหรับเอเจนต์และเลือก Configuration Type(s) เป็น Test Automation
- เลือกแท็บ General ของระเบียนการกำหนดค่าและเปิดใช้งาน เปิดใช้งานไปป์ไลน์ ในส่วน การทดสอบตามกำหนดเวลา
- สร้างชุดทดสอบที่มีการทดสอบสําหรับเอเจนต์
Note
การทำงานอัตโนมัติของการทดสอบแบบคิทสนับสนุนตัวแทนที่ใช้ฮาร์เนสมาตรฐาน คุณสามารถประเมินเอเจนต์ที่ขับเคลื่อนด้วยฮาร์เนส Microsoft Copilot ด้วยการประเมินของ Copilot Studio
ประเมินเอเจนต์
ส่วนต่อไปนี้จะอธิบายวิธีเปิด Model Assessment, รันการประเมินพื้นฐาน และเปรียบเทียบผลลัพธ์หลังจากเปลี่ยนโมเดลของตัวแทน
เลือกตัวแทนสําหรับการประเมินโมเดล
เพื่อเลือกเอเจนต์สําหรับการประเมินโมเดล:
- เปิดแอป Copilot Agent Kit
- ที่แถบด้านข้าง ให้เลือก การทดสอบขั้นสูง ในส่วน ประสิทธิภาพการทํางาน หน้า การทดสอบขั้นสูง จะเปิดขึ้น
- เลือก การประเมินโมเดล. รายการตัวแทนจะเปิดขึ้น
- เลือกตัวแทนที่มีคุณสมบัติเหมาะสมจากรายการ
รายการแสดงโมเดลก่อนหน้าและปัจจุบันของเอเจนต์แต่ละราย สถานะการถดถอย การรันล่าสุด และจำนวนครั้งล่าสุดที่ผ่าน ไม่ผ่าน และผิดพลาด ใช้ตัวกรองเพื่อค้นหาเอเจนต์ที่ต้องการความสนใจ หรือค้นหาตามชื่อเอเจนต์ เลือก รีเฟรชเอเจนต์ เพื่อโหลดรายการใหม่
รันการประเมินค่าอ้างอิง
การรันครั้งแรกจะบันทึกค่าพื้นฐานสำหรับโมเดลปัจจุบันของเอเจนต์ วิธีรันการประเมินพื้นฐาน:
- เลือกเอเจนต์จากรายการเอเจนต์การประเมินแบบจำลองเพื่อเปิดแผงรายละเอียด
- หากไม่มี baseline ให้เลือก Run
- รอให้การประเมินเสร็จสิ้น คุณสามารถปิดรายละเอียดขณะที่การรันยังดําเนินอยู่เบื้องหลัง
สามารถดําเนินการประเมินได้ทีละครั้งสําหรับเอเจนต์ เลือก ยกเลิกการประเมิน เพื่อหยุดการรัน;การรันที่ถูกยกเลิกจะไม่ถูกให้คะแนน
เปลี่ยนโมเดลและรันการประเมินอีกครั้ง
หลังจากที่คุณกำหนดค่าพื้นฐานแล้ว ให้เปลี่ยนโมเดลของตัวแทนและรันการประเมินอีกครั้ง
- ในแผงรายละเอียดเอเจนต์ ให้เลือกโมเดลจากตัวเลือกโมเดล หรือเปลี่ยนโมเดลใน Copilot Studio
- หากคุณเปลี่ยนโมเดลใน Copilot Studio ให้กลับไปที่ Model Assessment ใน Copilot Agent Kit และยืนยันว่าแอปตรวจพบการเปลี่ยนแปลงนั้น
- เลือก รัน
เมื่อคุณเลือกโมเดลใน Model Assessment แอปจะบันทึกโมเดลนั้นไปยังตัวแทน สําหรับการทดสอบ Kit แอปจะเผยแพร่เอเจนต์ด้วย เพราะการทดสอบจะทํางานกับเวอร์ชันที่เผยแพร่ หากโมเดลยังไม่เปลี่ยนแปลงตั้งแต่การรันครั้งล่าสุด ให้เปลี่ยนก่อนเลือก เรียกใช้ อีกครั้ง
ประวัติของโมเดลจะแสดงการเปลี่ยนแปลงโมเดลพื้นฐานและการเปลี่ยนแปลงในภายหลัง แอปจะบันทึกการเปลี่ยนแปลงโมเดลก็ต่อเมื่อการประเมินเสร็จสิ้นโดยไม่มีข้อผิดพลาด หากรันมีข้อผิดพลาด ให้แก้ไขและรันการประเมินอีกครั้ง
เลือกเครื่องมือทดสอบ
หากเอเจนต์มีทั้งการประเมิน Copilot Studio และการทดสอบ Copilot Agent Kit ให้เลือกเอนจินทดสอบที่ต้องการรัน สําหรับการทดสอบ Agent Kit ให้เลือกการกําหนดค่าตัวแทนและชุดทดสอบ ถ้ามีการตั้งค่าเพียงแบบเดียว แอปจะเลือกให้คุณ
เปรียบเทียบการเรียกใช้และทบทวนผลลัพธ์
เพื่อเปรียบเทียบการวิ่งและทบทวนผลลัพธ์:
ในประวัติโมเดลของเอเจนต์ ให้เลือกรันที่เสร็จสมบูรณ์เพื่อเปิดแผงเปรียบเทียบการรันโมเดล
เลือกการรันที่เสร็จสมบูรณ์ได้สูงสุดสามครั้ง แอปจะแสดงข้อมูลจากเก่าที่สุดไปใหม่ล่าสุด
ตรวจสอบแท็บสรุปสําหรับแต่ละโมเดล สถานะการทํางาน สถานะการถดถอย ผลการทดสอบ เครดิต Copilot เมื่อมี และการวิเคราะห์ AI
ตรวจสอบแท็บ Test runs สําหรับแต่ละกรณีทดสอบและผลลัพธ์ในแต่ละรอบ เลือก ต้องได้รับความสนใจ เพื่อกรองรายการให้แสดงเฉพาะผลลัพธ์ที่ล้มเหลวหรือมีข้อผิดพลาด
เลือก ส่งออกเป็น PDF เพื่อดาวน์โหลดการเปรียบเทียบ
ใช้ตัวเลือกรันโมเดลเพื่อเปลี่ยนว่ารันที่เสร็จสมบูรณ์ใดจะแสดงในการเปรียบเทียบ:
สรุปประกอบด้วยการ์ดสําหรับแต่ละการรัน ตามด้วยสรุป AI และคําแนะนําโมเดล:
แอปจะเปรียบเทียบรันก็ต่อเมื่อใช้เอนจินทดสอบเดียวกันเท่านั้น ถ้าการรันครั้งก่อนใช้เอนจิ้นอื่น ให้เลือกการรันประเภทเดียวกันเพื่อเปรียบเทียบ
บัตร แนะนําโมเดล จะปรากฏเมื่อคุณเลือกสองรอบที่ใช้เครื่องมือทดสอบเดียวกัน ประกอบด้วยข้อสรุป ระดับความมั่นใจ เหตุผล ข้อแลกเปลี่ยน และข้อควรระวัง ใช้คําแนะนําเป็นแนวทาง ไม่ใช่การรับประกัน ตรวจสอบผลการทดสอบแต่ละรายการก่อนตัดสินใจว่าจะเก็บรุ่นใดไว้
ในภาพหน้าจอต่อไปนี้ คําแนะนําระบุว่าไม่แนะนําทั้งสองรุ่น:
ในภาพหน้าจอต่อไปนี้ คําแนะนําระบุว่ายังไม่มีผู้ชนะที่ชัดเจน:
สําหรับการทดสอบ Kit คําแนะนําแสดงความมั่นใจต่ําเมื่อการเปรียบเทียบมีการตรวจสอบร่วมกันน้อย:
แท็บ Test runs แสดงแต่ละกรณีทดสอบการประเมินผลและผลลัพธ์ในรันที่เลือก:
เลือก ต้องได้รับการดูแล เพื่อกรองรายการให้แสดงเฉพาะผลลัพธ์ที่ล้มเหลวหรือมีข้อผิดพลาด:
สำหรับการทดสอบ Kit แท็บจะแสดงการทดสอบ Kit แต่ละรายการและผลลัพธ์ในการรันที่เลือกแต่ละรายการ:
ทำความเข้าใจสถานะรีเกรสชัน
สถานะรีเกรสชันสรุปผลการให้คะแนนของการรันปัจจุบัน
| สถานะรีเกรสชัน | ความหมาย |
|---|---|
| สุขภาพดี | ไม่มีการตรวจสอบที่ให้คะแนนล้มเหลว |
| Warning | การตรวจสอบที่ให้คะแนนล้มเหลวไม่เกิน 20 เปอร์เซ็นต์หลังจากปัดเศษลง |
| วิกฤต | มากกว่า 20 เปอร์เซ็นต์ของการตรวจสอบที่ให้คะแนนล้มเหลวหลังจากปัดเศษลง |
| ยังไม่ได้รับการประเมิน | ไม่มีเช็กใด ๆ |
เช็กคือผลลัพธ์หนึ่ง ในการประเมินของ Copilot Studio แต่ละตัวชี้วัดสำหรับกรณีทดสอบคือเช็ก ในการทดสอบชุดคิท แต่ละการทดสอบคือการตรวจสอบ เฉพาะเช็คที่มีผล ผ่าน หรือ ไม่ผ่าน เท่านั้นที่จะถูกให้คะแนน; ข้อผิดพลาด เช็คที่ถูกตัดออก และเช็คที่รอดำเนินการจะไม่ถูกนับรวมในเปอร์เซ็นต์ เปอร์เซ็นต์จะถูกปัดเศษลงเป็นจํานวนเต็มก่อนกําหนดสถานะ
รีเกรสชันคือการตรวจสอบที่ผ่านในค่าพื้นฐานและล้มเหลวในรอบปัจจุบัน การตรวจสอบที่ล้มเหลวทั้งสองครั้งถือเป็นความล้มเหลวถาวร ไม่ใช่รีเกรสชัน สถานะนี้พิจารณาทั้งอัตราการตรวจสอบที่ล้มเหลวในรันปัจจุบันและอัตราการถดถอยเมื่อเทียบกับค่าพื้นฐาน เนื่องจากรีเกรสชันเป็นส่วนหนึ่งของความล้มเหลว อัตรารีเกรสชันจึงไม่สามารถเกินอัตราการตรวจสอบไม่ผ่านได้ ตรวจสอบจำนวนรีเกรสชันเพื่อดูว่ามีอะไรเปลี่ยนแปลงจากค่าพื้นฐานบ้าง
ทําความเข้าใจเกี่ยวกับการรายงานเครดิตของ Copilot
Note
การประเมินแบบจําลองแต่ละครั้งมีค่าใช้จ่ายประมาณ 150 เครดิต Copilot
- สําหรับการประเมิน Copilot Studio, Model Assessment จะบันทึกเครดิต Copilot เมื่อ Copilot Studio รายงานเครดิตเหล่านั้นสําหรับเอเจนต์บนฮาร์เนส Microsoft Copilot การใช้งานนี้อาจรวมถึงเครดิตสําหรับการตอบกลับของตัวแทนและการประเมินผล
- การทดสอบ Copilot Agent Kit จะไม่รายงานเครดิต Copilot ในการประเมินโมเดล
- สรุปและคําแนะนําจาก AI สามารถใช้ทรัพยากรได้แม้เมื่อรันนั้นไม่รายงานยอดเครดิต
อย่าใช้ยอดเครดิตเพื่อเปรียบเทียบการรันจากเครื่องมือทดสอบต่าง ๆ
การแก้ไขปัญหา
| ปัญหา | สิ่งที่ต้องตรวจสอบ |
|---|---|
| เอเจนต์ไม่ได้ถูกระบุไว้ | ยืนยันว่าเอเจนต์มีการประเมินผลที่ใช้งาน MODELCHECK อยู่หรือมีการตั้งค่าเอเจนต์ที่เปิดใช้งานในท่อส่งพร้อมชุดทดสอบ จากนั้นเลือก รีเฟรชเอเจนต์ |
| การประเมินไม่สามารถเริ่มได้เนื่องจากโฟลว์ถูกปิด | เปิดใช้งานการไหลของคลาวด์ Model Assessment ที่เกี่ยวข้องในโซลูชัน Copilot Agent Kit |
| การรันหนึ่งรายการรายงานข้อผิดพลาดของตัวเชื่อมต่อ | ตรวจสอบว่าการอ้างอิงการเชื่อมต่อทั้งสองเชื่อมต่อกัน และผู้ใช้ในการเชื่อมต่อ Copilot Studio สามารถเข้าถึงเอเจนต์ได้ |
| ไม่มีการรันชุดทดสอบการประเมินผล | ยืนยันว่าชื่อชุดทดสอบประกอบด้วย MODELCHECK และชุดทดสอบนั้นกําลังใช้งานอยู่ |
| การทดสอบชุดอุปกรณ์ล้มเหลวหรือหมดเวลา | ยืนยันว่าการกำหนดค่าเอเจนต์ได้เปิดใช้งาน Pipeline Enabled อยู่ ชุดทดสอบที่เลือกมีการทดสอบ และเอเจนต์ถูกเผยแพร่แล้ว |
| การเปลี่ยนแปลงรุ่นไม่ได้ถูกบันทึก | แก้ไขข้อผิดพลาดในการรันและรันการประเมินอีกครั้ง ประวัติของโมเดลจะอัปเดตก็ต่อเมื่อรันเสร็จสมบูรณ์โดยไม่มีข้อผิดพลาด |
| แอปรายงานว่าโมเดลยังไม่เปลี่ยนแปลง | เปลี่ยนโมเดลใน Model Assessment หรือ Copilot Studio จากนั้นรันการประเมิน |