หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
ส่วนต่อไปนี้ใช้กับทุกการเปลี่ยนแปลงรุ่น ไม่ว่าจะเป็นการอัปเกรดเชิงรุกหรือการตอบสนองต่อการเกษียณ กำหนดเกณฑ์ก่อน บันทึกค่าพื้นฐานจากโมเดลปัจจุบัน แล้วค่อยดำเนินการไปตามแต่ละระยะ
กำหนดเกณฑ์การยอมรับการย้ายข้อมูล
กําหนดเกณฑ์การยอมรับก่อนประเมินโมเดลผู้สมัคร เพื่อให้ การประเมินตัวแทน ได้ผลการตัดสินใจ ไม่ใช่แค่ชุดคะแนนเท่านั้น รวม:
- อัตราการผ่านโดยรวมขั้นต่ํา
- อัตราการผ่านที่จําเป็นสําหรับสถานการณ์ที่สําคัญต่อธุรกิจ
- ความล้มเหลวร้ายแรงที่บล็อกการย้ายข้อมูลไม่ว่าจะมีคะแนนรวมเท่าใด
- ความแปรปรวนของความหน่วงและความน่าเชื่อถือที่อนุญาต
- ความปลอดภัย การปฏิบัติตามข้อกําหนด และการอนุมัติการประมวลผลในระดับภูมิภาค
- การใช้พลังงานหรือผลกระทบต่อต้นทุนที่ยอมรับได้
- การอนุมัติจากเจ้าของและผู้อนุมัติการรีลีสที่จําเป็น
เปรียบเทียบโมเดลปัจจุบันกับโมเดลตัวเลือกโดยใช้การกำหนดค่าเอเจนต์ ข้อมูลทดสอบ ชุดทดสอบ โปรไฟล์ผู้ใช้ และสมมติฐานเกี่ยวกับสภาพแวดล้อมชุดเดียวกัน ศึกษาการถดถอยแต่ละรายการแทนที่จะพึ่งพาคะแนนเฉลี่ยเพียงอย่างเดียว
ผลลัพธ์ของโมเดลเป็นแบบความน่าจะเป็น รันสถานการณ์สําคัญมากกว่าหนึ่งครั้งเมื่อความแปรปรวนส่งผลต่อการตัดสินใจ
กําหนดมาตรฐานการประเมินที่นํากลับมาใช้ใหม่ได้
ก่อนที่คุณจะเปลี่ยนโมเดล ให้สร้างชุดทดสอบที่ครอบคลุมสถานการณ์การทำงานของเอเจนต์ที่สำคัญต่อธุรกิจและที่เกิดขึ้นบ่อย รันชุดทดสอบกับโมเดลการผลิตปัจจุบันเพื่อสร้างค่าพื้นฐาน
ใช้ทั้งแชททดสอบและการประเมินเอเจนต์:
- ใช้แชททดสอบเพื่อสํารวจบทสนทนาทั้งหมดและตรวจสอบการประสานงานของกระบวนการด้วยแผนที่กิจกรรม
- ใช้ การประเมินตัวแทน เพื่อ รันชุดทดสอบที่ทําซ้ําได้ วัดผลลัพธ์ และเปรียบเทียบการรันตามเวลา
วิธีการทดสอบที่คุณมีขึ้นอยู่กับ สายรัดของตัวแทน ดังนั้นควรตรวจสอบให้แน่ใจก่อนออกแบบชุดทดสอบ ดูข้อมูลเพิ่มเติมในส่วน ยืนยันวิธีการทดสอบที่เอเจนต์ของคุณรองรับ
เลือกวิธีเปรียบเทียบโมเดล
หลังจากที่คุณกําหนดสิ่งที่จะทดสอบและกําหนดเกณฑ์การยอมรับแล้ว ให้เลือกวิธีเปรียบเทียบโมเดลปัจจุบันกับโมเดลที่สมัคร ใช้ชุดทดสอบเดียวกันและการกําหนดค่าตัวแทนที่เทียบเท่ากัน เพื่อให้การเปรียบเทียบเผยความแตกต่างที่เกี่ยวข้องกับโมเดล ไม่ใช่การเปลี่ยนแปลงที่ไม่เกี่ยวข้อง คุณสามารถทําการเปรียบเทียบด้วยตนเองโดยใช้สําเนาตัวแทน หรือใช้ฟังก์ชันการประเมินโมเดลของ Copilot Agent Kit เพื่อประสานงานการทดสอบและตรวจสอบผลลัพธ์
เปรียบเทียบด้วยตนเองโดยใช้สําเนาตัวแทน
สร้างสําเนาที่ไม่ใช่การผลิตของเอเจนต์เพื่อประเมินโมเดลโดยไม่ส่งผลกระทบต่อผู้ใช้ในระบบจริง
- เตรียมสําเนาตัวแทนที่เทียบเท่า รักษาคําแนะนํา หัวข้อ แหล่งความรู้ เครื่องมือ การเชื่อมต่อ การตั้งค่าความปลอดภัย และการกําหนดค่าอื่น ๆ ให้สอดคล้องกัน บันทึกความแตกต่างใด ๆ ที่อาจส่งผลต่อการเปรียบเทียบ
- เลือกโมเดลต่างๆ เก็บโมเดลปัจจุบันไว้ในสำเนาหนึ่งชุดเป็นฐาน และเลือกโมเดลตัวเลือกในแต่ละสำเนาเพิ่มเติม
- รันชุดทดสอบการประเมินเดียวกันกับแต่ละสําเนา ใช้กรณีทดสอบ วิธีการประเมิน และข้อมูลระบุตัวตนสำหรับการทดสอบที่เป็นตัวแทนเดียวกัน ทําซ้ําสถานการณ์สําคัญทางธุรกิจเมื่อความแปรปรวนอาจส่งผลต่อการตัดสินใจ
- เปรียบเทียบผลลัพธ์กับเกณฑ์การยอมรับของคุณ ทบทวนการปรับปรุงแต่ละจุด การถดถอย และความล้มเหลวที่เกิดขึ้นอย่างต่อเนื่อง แทนที่จะพึ่งพาแค่อัตราผ่านรวม ใช้แชททดสอบและแผนที่กิจกรรมเพื่อตรวจสอบการเปลี่ยนแปลงในการประสานงาน การเลือกเครื่องมือ และการปฏิบัติตามคําสั่ง
- วัดความหน่วงเวลาและการใช้ทรัพยากรแยกกัน บันทึกมาตรการเหล่านี้สําหรับสถานการณ์ที่เป็นตัวแทนในแต่ละโมเดล และส่งออกผลการประเมินเพื่อเก็บรักษาการเปรียบเทียบ
เก็บชุดทดสอบไว้เหมือนเดิมสําหรับการเปรียบเทียบครั้งแรก ถ้าคุณปรับแต่งคําสั่งหรืออาร์ติแฟกต์เอเจนต์อื่น ๆ เพื่อแก้ไขการถดถอย ให้รันการทดสอบใหม่และบันทึกการเปลี่ยนแปลงเหล่านั้นพร้อมกับผลลัพธ์
เปรียบเทียบโดยใช้ Model Assessment (ตัวอย่าง)
การประเมินโมเดลใน Copilot Agent Kit จะบันทึกข้อมูลพื้นฐาน รันการทดสอบซ้ําหลังจากมีการเปลี่ยนแปลงโมเดล และเน้นการปรับปรุง การถดถอย และความล้มเหลวที่เกิดขึ้นอย่างต่อเนื่อง แทนที่จะจัดการสําเนาเอเจนต์แยกสําหรับแต่ละโมเดล ให้ประเมินโมเดลรุ่นถัดๆ ไปบนสําเนาสําหรับสภาพแวดล้อมที่ไม่ใช้งานจริงและเปรียบเทียบการรันที่บันทึกไว้
การประเมินแบบจําลองรองรับตัวเลือกการทดสอบสองแบบ:
| ตัวเลือกการทดสอบ | เวลาที่ใช้ | ข้อกําหนด |
|---|---|---|
| การประเมินผลของ Copilot Studio | เปรียบเทียบผลลัพธ์จากชุดทดสอบประเมินที่สร้างใน Copilot Studio รองรับสําหรับเอเจนต์ฮาร์เนส Microsoft Copilot และเอเจนต์ฮาร์เนสมาตรฐาน โดยใช้วิธีการประเมินที่ฮาร์เนสแต่ละแบบรองรับ | สร้างชุดทดสอบการประเมินผลที่ใช้งานอยู่ซึ่งมี MODELCHECK อยู่ในชื่อ เอเจนต์ไม่จําเป็นต้องถูกเผยแพร่ |
| การทดสอบ Copilot Agent Kit | เปรียบเทียบผลลัพธ์จากการทดสอบอัตโนมัติของ Kit กับเอเจนต์ที่เผยแพร่แล้ว ใช้ได้เฉพาะกับเอเจนต์ harness มาตรฐานเท่านั้น | กำหนดค่า Agent Configuration ที่รองรับ pipeline และชุดทดสอบ Kit |
เพื่อเปรียบเทียบโมเดล:
- บันทึกค่าฐาน ให้ทำการประเมินกับโมเดลปัจจุบันก่อนเปลี่ยนโมเดลปัจจุบัน
- เลือกโมเดลตัวเลือก เปลี่ยนโมเดลผ่าน Model Assessment หรือใน Copilot Studio
- ทําการทดสอบเดิมซ้ํา คงการตั้งค่าเอนจินทดสอบ ชุดทดสอบ และการตั้งค่าเอเจนต์อื่น ๆ ไว้เหมือนเดิมสำหรับการเปรียบเทียบครั้งแรก ผลลัพธ์จากเครื่องมือทดสอบทั้งสองไม่สามารถเปรียบเทียบกันโดยตรงได้ เพราะให้คะแนนสิ่งที่ต่างกัน
- ทบทวนการเปรียบเทียบ ตรวจสอบผลการทดสอบแต่ละครั้ง สถานะการถดถอย และสรุปที่สร้างโดย AI คุณสามารถเปรียบเทียบการรันที่เสร็จสมบูรณ์ได้สูงสุดสามชุดแบบเคียงข้างกัน และส่งออกการเปรียบเทียบเป็น PDF
- ใช้เกณฑ์การยอมรับของคุณ เมื่อคุณเลือกสองรันจากเอนจินทดสอบเดียวกัน การประเมินแบบจําลองจะให้คําแนะนําและระดับความมั่นใจของโมเดล ให้ถือว่าคำแนะนำเป็นหลักฐานสนับสนุน ไม่ใช่สิ่งทดแทนเกณฑ์การยอมรับสำหรับการย้ายระบบของคุณ ตรวจสอบการใช้เครดิตของ Copilot ตามที่รายงาน และวัดความหน่วงแยกต่างหาก
Important
ประเมินโมเดลผู้สมัครบนสำเนาสำหรับการทดสอบของเอเจนต์ การเลือกโมเดลใน Model Assessment จะเปลี่ยนการกําหนดค่าของเอเจนต์ และสําหรับการทดสอบ Kit จะเผยแพร่เอเจนต์ด้วย
เรียนรู้เพิ่มเติมเกี่ยวกับข้อกําหนดการตั้งค่า ขั้นตอนการประเมิน และคําแนะนําในการตีความผลลัพธ์ใน Assess model changes ด้วย Copilot Agent Kit
ประเมินพฤติกรรมของเอเจนต์ทั้งหมด
อย่าอนุมัติรุ่นทดแทนเพียงเพราะอัตราการผ่านรวมใกล้เคียงกับรุ่นปัจจุบัน
ครอบคลุมหัวข้อต่อไปนี้ แต่ละอย่างเป็นพฤติกรรมที่มักจะเปลี่ยนแปลงเมื่อโมเดลเปลี่ยนแปลง ดังนั้นชุดทดสอบที่ละเว้นพื้นที่ใดพื้นที่หนึ่งจะไม่สามารถตรวจจับการถดถอยในนั้นได้
| พื้นที่ประเมินผล | สิ่งที่อาจใช้งานไม่ได้จากการเปลี่ยนแปลงโมเดล | วิธีตรวจสอบ |
|---|---|---|
| คุณภาพของคําตอบ | ความเกี่ยวข้อง ความครบถ้วน ความถูกต้อง ความชัดเจน และความสม่ำเสมอสำหรับคำถามที่เจ้าหน้าที่ได้รับบ่อยที่สุด | คุณภาพทั่วไป |
| ความยึดโยงกับแหล่งข้อมูลและความรู้ | โมเดลจะตอบจากข้อมูลฝึกสอนแทนแหล่งความรู้ที่กําหนดค่าไว้ ตัดการอ้างอิง หรือจัดการแหล่งข้อมูลที่ไม่สมบูรณ์หรือขัดแย้งกันแตกต่างออกไป | คุณภาพทั่วไป |
| การงดออกเสียง | โมเดลนี้ตอบคําถามที่อยู่นอกขอบเขตแทนที่จะปฏิเสธหรือยกระดับ | คุณภาพทั่วไป หรือกำหนดเองพร้อมป้ายกำกับตอบแล้วและปฏิเสธ |
| การปฏิบัติตามคำสั่ง | คําแนะนําที่โมเดลปฏิบัติตามอย่างน่าเชื่อถือจะถูกข้ามไป เช่น กฎการยกระดับ ขอบเขต พฤติกรรมต้องห้าม หรือข้อจํากัดความรับผิดชอบที่บังคับใช้ | จับคู่คีย์เวิร์ดในวลีที่ต้องการ หรือ Custom พร้อมป้ายกํากับเฉพาะคําสั่ง |
| ค่าคงที่และรูปแบบผลลัพธ์ | ค่าที่แม่นยํา เช่น หมายเลขโทรศัพท์ รหัส หรือ ID จะถูกนํามาปรับเปลี่ยนหรือประดิษฐ์ขึ้น หรือรูปร่างผลลัพธ์จะเปลี่ยนแปลงและทําให้ตัวแยกวิเคราะห์หรือการรวมช่องทางด้านล่างเสียหาย | ตรงกันเป๊ะ หรือ Keyword match ตามรูปแบบที่ต้องการ |
| การเลือกเครื่องมือและการยับยั้ง | โมเดลจะเลือกเครื่องมืออื่น ไม่เรียกใช้เครื่องมือใดเลย หรือเรียกใช้เครื่องมือเมื่อไม่ต้องการเครื่องมือ | การใช้เครื่องมือโดยกําหนดเครื่องมือหรือหัวข้อที่คาดหวัง พร้อมการตรวจสอบแผนที่กิจกรรม |
| อินพุตเครื่องมือและการจัดลําดับ | พารามิเตอร์จะถูกดึงออกมา จัดรูปแบบ หรือกำหนดค่าเริ่มต้นแตกต่างกัน หรือขั้นตอนในงานมัลติทูลถูกจัดเรียงใหม่ รวม หรือถูกตัดออก | การใช้เครื่องมือกับเครื่องมือที่คาดหวังทั้งหมด รวมถึงคุณภาพทั่วไป |
| การยืนยันและการจัดการความล้มเหลว | โมเดลจะหยุดถามยืนยันก่อนการดำเนินการที่มีผลกระทบสำคัญ หรือแสดงข้อผิดพลาดของเครื่องมือในรูปแบบที่ต่างออกไปแทนที่จะรายงาน | กําหนดเองพร้อมป้ายยืนยัน พร้อมการจับคู่คําสําคัญในภาษาข้อผิดพลาดที่คาดไว้ |
| พฤติกรรมแบบหลายเทิร์น | บริบทจากเทิร์นก่อนหน้าหายไปหรือถูกตีความใหม่ หรือการชี้แจง การเปลี่ยนหัวข้อ และการกู้คืนถูกจัดการแตกต่างกัน | คุณภาพโดยรวมของชุดทดสอบสนทนา |
| ข้อมูลที่ยุ่งเหยิงและเชิงโจมตี | การจัดการที่ด้อยกว่าต่อคําผิด ชิ้นส่วน และเจตนาที่ไม่ชัดเจน หรือการตอบสนองที่แตกต่างต่อการฉีดพรอมต์และการแทนที่บทบาท | คุณภาพโดยรวม รวมถึงกำหนดเองพร้อมป้ายกำกับ ปฏิเสธ และ ปฏิบัติตาม |
| ความปลอดภัยและการปฏิบัติตาม | การจัดการเนื้อหาที่เป็นอันตราย การเข้าถึงข้อมูล สิทธิ์ การประมวลผลระดับภูมิภาค และข้อกําหนด AI อย่างรับผิดชอบ | ป้ายกํากับแบบกําหนดเอง พร้อมการตรวจสอบ AI อย่างรับผิดชอบ |
| ความหน่วงและความน่าเชื่อถือ | เวลาตอบสนอง, การหมดเวลา, ความแปรปรวน, การเรียกใช้ที่ล้มเหลว และการลองใหม่ภายใต้เงื่อนไขที่เป็นตัวแทน | ไม่ได้รายงานโดยการประเมิน วัดผลในแชททดสอบและการมอนิเตอร์ในระบบใช้งานจริง |
| การใช้งานและต้นทุน | การใช้เครดิตของ Copilot หรือค่าใช้จ่ายอื่นๆ ที่เกี่ยวข้องกับโมเดลสำหรับสถานการณ์ตัวอย่าง | ไม่ได้รายงานโดยการประเมิน วัดในการรายงานความจุและการใช้ |
| ภาษาและช่องทาง | คุณภาพและพฤติกรรมในภาษาที่รองรับ โปรไฟล์ผู้ใช้ และช่องทางการปรับใช้ต่างๆ | รันชุดทดสอบสําหรับแต่ละภาษา โปรไฟล์ผู้ใช้ และช่องทางที่สําคัญ |
ให้ความสนใจเป็นพิเศษกับการปฏิบัติตามคําสั่งและความหน่วงเวลา โมเดลที่กำลังพิจารณาสามารถปรับปรุงคุณภาพคำตอบได้ แต่จะทำให้เกิดการตอบสนองที่ช้าลง พฤติกรรมการเลือกเครื่องมือที่แตกต่างกัน หรือความล้มเหลวในการทำตามคำแนะนำที่เคยเชื่อถือได้กับโมเดลก่อนหน้า
ยืนยันวิธีการทดสอบที่เอเจนต์ของคุณรองรับ
วิธีการทดสอบที่เอเจนต์ของคุณรองรับขึ้นอยู่กับฮาร์เนสของมัน
เรียนรู้เพิ่มเติมใน:
- ประเมินตัวแทนที่ขับเคลื่อนด้วยฮาร์เนสมาตรฐาน
- ประเมินเอเจนต์ที่ขับเคลื่อนด้วยฮาร์เนส Microsoft Copilot
สร้างและดูแลชุดทดสอบ
- ครอบคลุมกรณีใช้งานหลักที่มีความสําคัญต่อธุรกิจและคําขอที่มีปริมาณมากก่อน จากนั้นจึงเป็นกรณีที่ยาก เช่น กรณีขอบเขต อินพุตเชิงปฏิปักษ์ คําขอที่ควรถูกปฏิเสธหรือยกระดับ เครื่องมือล้มเหลว การสนทนาที่ยาวนาน และคําขอหลายภาษา
- เริ่มจากทราฟฟิกจริง ธีมการวิเคราะห์และการสนทนาที่บันทึกไว้สร้างกรณีทดสอบที่เป็นตัวแทนมากกว่ากรณีที่คิดขึ้นมา
- ให้ความสำคัญกับความครอบคลุมมากกว่าการขัดเกลา กรณีที่ไม่สมบูรณ์จํานวนมากจะตรวจพบข้อถดถอยได้มากกว่าชุดกรณีที่เขียนได้สมบูรณ์แบบจํานวนน้อย
- ให้คะแนนโมเดลปัจจุบันก่อน แล้วค่อยประเมินโมเดลตัวเลือก การเปรียบเทียบ ไม่ใช่ตัวเลขที่แน่นอน จะบอกคุณว่าการย้ายข้อมูลปลอดภัยหรือไม่
- เก็บชุดไว้กับ agent ในระบบควบคุมซอร์สโค้ด และรันซ้ําโดยไม่เปลี่ยนแปลงทุกครั้งที่เปลี่ยนโมเดล
- แบ่งชุดตามด้านความเสี่ยง ชุดทดสอบที่ใช้ฮาร์เนสมาตรฐานสามารถบรรจุกรณีทดสอบได้สูงสุด 100 กรณี ดังนั้นควรใช้ชุดแยกสําหรับความแม่นยําของความรู้ พฤติกรรมเครื่องมือ และสถานการณ์ที่คํานึงถึงความปลอดภัย
- ส่งออกผลลัพธ์ ผลการประเมินจะถูกเก็บไว้เป็นเวลา 89 วัน ดังนั้นส่งออกเป็น CSV เพื่อบันทึกคะแนนของแต่ละโมเดลในช่วงเวลาย้ายข้อมูล
- แปลงเหตุขัดข้องในระบบ production และข้อเสนอแนะจากผู้ใช้ให้เป็นการทดสอบถดถอยใหม่
เรียนรู้เพิ่มเติมเกี่ยวกับการออกแบบและการนำการประเมินเอเจนต์ไปใช้จริง
Note
การประเมินตัวแทนวัดความถูกต้องและประสิทธิภาพ ไม่ใช่จริยธรรมของ AI หรือปัญหาด้านความปลอดภัย เอเจนต์สามารถผ่านทุกกรณีทดสอบแล้วยังให้คำตอบที่ไม่เหมาะสมได้ ใช้ การตรวจสอบ AI อย่างรับผิดชอบ และตัวกรองความปลอดภัยของเนื้อหาควบคู่ไปกับการประเมิน
ทำให้การประเมินที่เกิดซ้ำเป็นอัตโนมัติ
Copilot Studio รองรับการรันการประเมินผลผ่าน Power Platform API เพื่อให้คุณสามารถผสานการตรวจสอบโมเดลเข้ากับเวิร์กโฟลว์การปล่อยและกระบวนการบูรณาการอย่างต่อเนื่อง สําหรับระบบเอเจนต์จำนวนมาก ระบบอัตโนมัติคือสิ่งที่ทําให้การทดสอบตัวเลือกที่เป็นไปได้ซ้ํา ๆ เป็นไปอย่างยั่งยืนแทนที่จะเป็นการทดสอบด้วยมือ เรียนรู้เพิ่มเติมได้ที่ ทำให้การประเมินเป็นแบบอัตโนมัติด้วย Power Platform API
อัปเดตอาร์ติแฟกต์ของเอเจนต์ที่ได้รับผลกระทบจากการเปลี่ยนแปลงโมเดล
การเปลี่ยนแปลงโมเดลแทบจะไม่ส่งผลเฉพาะกับการตั้งค่าโมเดลเท่านั้น แปลคําแนะนําของผู้ให้บริการที่เกี่ยวข้องเป็นอาร์ติแฟกต์ของเอเจนต์ที่คุณควบคุม จากนั้นตรวจสอบความถูกต้องของการเปลี่ยนแปลงทุกครั้งตามค่าพื้นฐานการประเมินของคุณ การแก้ไขที่ไม่ได้ทดสอบซ้ำเป็นแค่การคาดเดา
| Artifact | การเปลี่ยนแปลงทั่วไป |
|---|---|
| คำสั่งสำหรับเอเจนต์ | ทําให้ความคาดหวังโดยนัยชัดเจน ลบวิธีแก้ไขที่เขียนไว้สําหรับโมเดลก่อนหน้า ย้ําขอบเขตและกฎการยกระดับและพฤติกรรมต้องห้ามอย่างชัดเจน แก้ไขคําสั่งที่ขัดแย้งกัน และปรับเทียบว่าเจ้าหน้าที่ควรดําเนินการอย่างอิสระมากน้อยเพียงใด |
| คำแนะนำสำหรับหัวข้อและโหนด | ใช้แนวทางเดียวกันในระดับหัวข้อด้วย และตรวจสอบว่าโหนดคำตอบเชิงสร้างยังคงทำงานตามที่คาดหวัง |
| คําอธิบายเครื่องมือและการดําเนินการ | เขียนใหม่เพื่อความชัดเจน คําอธิบายนี้คือสิ่งที่โมเดลอ่านเพื่อตัดสินใจว่าจะเรียกใช้เครื่องมือเมื่อใดและหรือไม่ และคําอธิบายที่คลุมเครือจะทําให้เกิดการเรียกเกินและเรียกน้อยเกินไป |
| คําอธิบายพารามิเตอร์อินพุตและเอาต์พุต | ปรับรูปแบบ หน่วย ตัวอย่าง และความหมายที่จําเป็นหรือทางเลือกให้แน่นขึ้น เพื่อให้การสร้างพารามิเตอร์ยังคงถูกต้อง |
| การกําหนดค่าแหล่งความรู้ | ตรวจสอบคำแนะนำการเลือกแหล่งที่มา ขอบเขต และการยึดโยงอีกครั้ง และตรวจสอบพฤติกรรมการอ้างอิง |
| คําแนะนําการจัดรูปแบบการตอบกลับ | กรุณาระบุโครงสร้าง ความยาว ข้อความปฏิเสธความรับผิด และค่าที่แน่นอนอย่างชัดเจน เพราะรุ่นใหม่จะเปลี่ยนระดับความยืดยาวเริ่มต้น |
| ขั้นตอนการยืนยันและความปลอดภัย | ยืนยันข้อกำหนดการยืนยันอย่างชัดเจนก่อนดำเนินการที่มีผลกระทบสำคัญ |
| ผู้ใช้ปลายทางที่นำผลลัพธ์ไปใช้ต่อ | อัปเดตโฟลว์ Power Automate, การ์ดแบบปรับเปลี่ยน, การผสานรวมช่องทาง และตัววิเคราะห์ใด ๆ ที่อ่านผลลัพธ์ของเอเจนต์ |
| ตัวชุดทดสอบเอง | เพิ่มรูปแบบความล้มเหลวใหม่ที่ค้นพบระหว่างการย้ายข้อมูล |
ระยะการย้ายถิ่น
ขั้นตอนต่อไปนี้จะจัดลําดับการดําเนินการในส่วนก่อนหน้า ใช้เป็นแผนการทํางานสําหรับการเปลี่ยนแปลงโมเดลของตัวแทนคนเดียว ไม่ว่าจะเป็นการเปลี่ยนแปลงเชิงรุกหรือขับเคลื่อนด้วยการเกษียณ
ขั้นตอนที่ 0: เตรียมการ
- ยืนยันว่าโมเดลที่พิจารณาใช้ได้ กับ เงื่อนไขเบื้องต้น: พร้อมใช้งานทั่วไปหรือค่าเริ่มต้น, พร้อมใช้งานในภูมิภาค, สถานะข้ามภูมิภาคที่ยอมรับได้, เปิดใช้งานโดยผู้ดูแลระบบ และหมวดหมู่การใช้งานที่เหมาะสมสําหรับวัตถุประสงค์ของเอเจนต์
- อ่านคําแนะนําการอัปเกรดของผู้ให้บริการโมเดล และจดบันทึกคําแนะนําและการเปลี่ยนแปลงเครื่องมือที่ตามมา
- ระบุตัวแทนที่ได้รับผลกระทบ จากรายการสินทรัพย์ โดยบันทึกสภาพแวดล้อม เจ้าของ และระดับความสำคัญ
- ยืนยันว่าวิธีการทดสอบเพื่อการประเมินใดบ้างที่ชุดทดสอบของเอเจนต์รองรับ
- กำหนดและอนุมัติเกณฑ์การยอมรับการย้ายข้อมูล
ขั้นตอนที่ 1: จัดทำค่าพื้นฐานของโมเดลปัจจุบัน
- สร้างหรือปรับปรุงชุดทดสอบถดถอย ให้ครอบคลุมสถานการณ์ที่สําคัญต่อธุรกิจและสถานการณ์ที่มีความถี่สูง
- รันชุดทดสอบกับโมเดลการผลิตปัจจุบัน เพื่อกําหนดค่าพื้นฐาน ทําเช่นนี้ในขณะที่โมเดลปัจจุบันยังอยู่ เพราะหลังจากโมเดลเปลี่ยน baseline จะไม่สามารถสร้างใหม่ได้
- บันทึกความหน่วงและการใช้เครดิต Copilot แยกกัน การประเมินผลไม่ได้รายงานข้อมูลดังกล่าว
- ส่งออกผลลัพธ์เป็น CSV เพื่อเก็บบันทึกไว้เกินช่วงเวลาการเก็บรักษา
ขั้นตอนที่ 2: ประเมินรายการที่พิจารณาในสภาพแวดล้อมที่ไม่ใช่การผลิต
เตรียมสําเนาเอเจนต์ที่ไม่ใช่การผลิต ตามคําแนะนําของ Copilot Studio สําหรับการจัดการวงจรชีวิตแอปพลิเคชันและการทดสอบเอเจนต์ กําหนดค่าสภาพแวดล้อมให้สอดคล้องกับสภาพแวดล้อมการใช้งานจริง:
- ใช้คําแนะนําเอเจนต์ หัวข้อ การตั้งค่าความรู้ เครื่องมือ โฟลว์ ตัวเชื่อมต่อ ภาษา และสมมติฐานความปลอดภัยเดียวกัน
- ใช้ตัวตนและการเชื่อมต่อที่เป็นตัวแทนของการทดสอบ
- ใช้นโยบายข้อมูลเดียวกันและการควบคุมผู้ดูแลระบบที่เกี่ยวข้อง
- ยืนยันความพร้อมใช้งานในแต่ละภูมิภาคและตรวจสอบว่าจําเป็นต้องย้ายข้อมูลข้ามภูมิภาคหรือไม่
- บันทึกความแตกต่างระหว่างการทดสอบและการผลิตที่อาจส่งผลต่อผลลัพธ์
เปลี่ยนโมเดล. ไปที่หน้าภาพรวมของเอเจนต์และเลือกโมเดลหลักที่ได้รับการเสนอชื่อในส่วนโมเดล มีการตั้งค่าแยกต่างหากสําหรับการให้เหตุผลเชิงลึก การตอบสนองเชิงสร้างสรรค์ และตัวสร้างพรอมต์ ดังนั้นตรวจสอบว่าเอเจนต์ใช้ความสามารถเหล่านั้นหรือไม่ และจําเป็นต้องเปลี่ยนแปลงด้วย
รันชุดทดสอบเดียวกันใหม่โดยไม่เปลี่ยนแปลงกับโมเดลผู้สมัคร
เปรียบเทียบการรันทั้งสองครั้ง นี้กับเกณฑ์การยอมรับเพื่อระบุการปรับปรุงและการถดถอย
ตรวจสอบการจัดการเชิงคุณภาพ ในแชททดสอบ โดยใช้แผนที่กิจกรรมเพื่อยืนยันว่าเครื่องมือใดถูกเลือก ลําดับใด และด้วยพารามิเตอร์ใด
วัดความหน่วงและการใช้ทรัพยากร ของตัวเลือกที่พิจารณา แล้วเปรียบเทียบกับค่าพื้นฐาน
ขั้นตอนที่ 3: แก้ไข
- อัปเดตอาร์ติแฟกต์ของเอเจนต์ที่ได้รับผลกระทบจากการเปลี่ยนแปลงของโมเดล จากนั้นรันชุดทดสอบใหม่กับเอเจนต์ที่แก้ไขแล้ว เรียนรู้เพิ่มเติมได้ที่ ปรับปรุงเอเจนต์โดยใช้การคัดกรองและแก้ไขที่ขับเคลื่อนด้วยการประเมินผล.
- ทําซ้ําจนกว่าจะถึงเกณฑ์การยอมรับ หรือสรุปว่าโมเดลที่พิจารณาไม่เหมาะสมและบันทึกเหตุผล การตัดสินใจไม่อัปเกรดเป็นผลลัพธ์ที่ถูกต้องและมีหลักฐานรองรับ
หากการโยกย้ายของคุณส่งผลกระทบต่อปลั๊กอิน Microsoft 365 Copilot ด้วย ให้ปฏิบัติตามคำแนะนำใน ตรวจสอบ อัปเดต และเลิกใช้ปลั๊กอินหรือเอเจนต์ของคุณ เพื่อทดสอบ จัดแพ็กเกจ และเผยแพร่การอัปเดต
ขั้นตอนที่ 4: อนุมัติและปรับใช้
- ขออนุมัติ เกณฑ์การยอมรับจากเจ้าของตัวแทนและผู้อนุมัติการเผยแพร่ รวมถึงการอนุมัติด้านความปลอดภัยและการปฏิบัติตามข้อกําหนดเมื่อมีการใช้โมเดลข้ามภูมิภาคหรือภายนอก
- ติดตั้งใช้งานผ่านกระบวนการ ALM ที่กําหนดไว้ โดยเลื่อนระดับ โซลูชัน จากการทดสอบไปสู่การใช้งานจริง อย่าแก้ไขเอเจนต์ในระบบใช้งานจริงด้วยตนเอง
- ทยอยเปิดตัว เมื่อช่องทางอนุญาต เผยแพร่ไปยังกลุ่มเป้าหมายนําร่องหรือช่องทางเดียวก่อน สังเกตผลลัพธ์ แล้วขยายขอบเขต
ขั้นตอนที่ 5: ตรวจสอบและปิด
- ตรวจสอบพฤติกรรมการทำงานในระบบจริง ตามเกณฑ์การยอมรับ
- เพิ่มรูปแบบความล้มเหลวที่ค้นพบใหม่ลงในชุดทดสอบถดถอย
- ปิดการย้ายข้อมูลก็ต่อเมื่อเกณฑ์การยอมรับยังคงเป็นไปตามเกณฑ์ ในระบบ production
- เก็บรักษาหลักฐานการประเมินและบันทึกการตัดสินใจเกี่ยวกับการย้าย เพื่อการตรวจสอบและสำหรับเหตุการณ์ในวงจรชีวิตถัดไป
Important
เส้นทางย้อนกลับสําหรับการเปลี่ยนแปลงโมเดลคือการนําเวอร์ชันโซลูชันที่ผ่านการตรวจสอบก่อนหน้านี้มาปรับใช้ใหม่ ซึ่งช้ากว่าการสลับการตั้งค่า ความแตกต่างนี้ทําให้เกตประเมินผลในเฟส 2 มีความสําคัญ การจับ regression ก่อนการปรับใช้มีต้นทุนน้อยกว่าการย้อนกลับหลังจากนั้น
ตรวจสอบหลังการย้ายข้อมูล
งานวงจรชีวิตของโมเดลจะดําเนินต่อไปหลังจากการปรับใช้ ตรวจสอบ:
- ผลการประเมินตัวแทนและอัตราการผ่านสถานการณ์วิกฤต
- การวิเคราะห์การผลิต, บันทึกการสนทนา, กิจกรรม, ข้อผิดพลาด และข้อเสนอแนะจากผู้ใช้
- ความล้มเหลวในการปฏิบัติตามคําสั่งและการเลือกเครื่องมือ
- ความหน่วง, การหมดเวลา และความน่าเชื่อถือ
- การบริโภคมีการเปลี่ยนแปลง
- ความปลอดภัย การปฏิบัติตามข้อกําหนด และข้อกังวลเกี่ยวกับการประมวลผลในระดับภูมิภาค
เมื่อการตรวจสอบการผลิตพบรูปแบบความล้มเหลวใหม่ ให้เพิ่มกรณีตัวอย่างลงในชุดการทดสอบรีเกรสชัน แนวปฏิบัตินี้ช่วยปรับปรุงการประเมินโมเดลถัดไปและเปลี่ยนการเรียนรู้จากการผลิตให้เป็นมาตรฐานคุณภาพที่ยั่งยืน
เทเลเมทรีระดับสภาพแวดล้อม ส่ง OpenTelemetry GenAI spans ไปยัง Application Insights รวมถึงโมเดลที่ใช้สำหรับการเรียกใช้เอเจนต์แต่ละครั้ง ใช้เพื่อยืนยันว่าการใช้งานจริงของโมเดลใดทํางานอยู่ และเปรียบเทียบการเลือกเครื่องมือและความน่าเชื่อถือก่อนและหลังการย้ายข้อมูล