รันและตรวจสอบความถูกต้องของการย้ายโมเดล AI สําหรับเอเจนต์ Copilot Studio

ส่วนต่อไปนี้ใช้กับทุกการเปลี่ยนแปลงรุ่น ไม่ว่าจะเป็นการอัปเกรดเชิงรุกหรือการตอบสนองต่อการเกษียณ กำหนดเกณฑ์ก่อน บันทึกค่าพื้นฐานจากโมเดลปัจจุบัน แล้วค่อยดำเนินการไปตามแต่ละระยะ

กำหนดเกณฑ์การยอมรับการย้ายข้อมูล

กําหนดเกณฑ์การยอมรับก่อนประเมินโมเดลผู้สมัคร เพื่อให้ การประเมินตัวแทน ได้ผลการตัดสินใจ ไม่ใช่แค่ชุดคะแนนเท่านั้น รวม:

  • อัตราการผ่านโดยรวมขั้นต่ํา
  • อัตราการผ่านที่จําเป็นสําหรับสถานการณ์ที่สําคัญต่อธุรกิจ
  • ความล้มเหลวร้ายแรงที่บล็อกการย้ายข้อมูลไม่ว่าจะมีคะแนนรวมเท่าใด
  • ความแปรปรวนของความหน่วงและความน่าเชื่อถือที่อนุญาต
  • ความปลอดภัย การปฏิบัติตามข้อกําหนด และการอนุมัติการประมวลผลในระดับภูมิภาค
  • การใช้พลังงานหรือผลกระทบต่อต้นทุนที่ยอมรับได้
  • การอนุมัติจากเจ้าของและผู้อนุมัติการรีลีสที่จําเป็น

เปรียบเทียบโมเดลปัจจุบันกับโมเดลตัวเลือกโดยใช้การกำหนดค่าเอเจนต์ ข้อมูลทดสอบ ชุดทดสอบ โปรไฟล์ผู้ใช้ และสมมติฐานเกี่ยวกับสภาพแวดล้อมชุดเดียวกัน ศึกษาการถดถอยแต่ละรายการแทนที่จะพึ่งพาคะแนนเฉลี่ยเพียงอย่างเดียว

ผลลัพธ์ของโมเดลเป็นแบบความน่าจะเป็น รันสถานการณ์สําคัญมากกว่าหนึ่งครั้งเมื่อความแปรปรวนส่งผลต่อการตัดสินใจ

กําหนดมาตรฐานการประเมินที่นํากลับมาใช้ใหม่ได้

ก่อนที่คุณจะเปลี่ยนโมเดล ให้สร้างชุดทดสอบที่ครอบคลุมสถานการณ์การทำงานของเอเจนต์ที่สำคัญต่อธุรกิจและที่เกิดขึ้นบ่อย รันชุดทดสอบกับโมเดลการผลิตปัจจุบันเพื่อสร้างค่าพื้นฐาน

ใช้ทั้งแชททดสอบและการประเมินเอเจนต์:

วิธีการทดสอบที่คุณมีขึ้นอยู่กับ สายรัดของตัวแทน ดังนั้นควรตรวจสอบให้แน่ใจก่อนออกแบบชุดทดสอบ ดูข้อมูลเพิ่มเติมในส่วน ยืนยันวิธีการทดสอบที่เอเจนต์ของคุณรองรับ

เลือกวิธีเปรียบเทียบโมเดล

หลังจากที่คุณกําหนดสิ่งที่จะทดสอบและกําหนดเกณฑ์การยอมรับแล้ว ให้เลือกวิธีเปรียบเทียบโมเดลปัจจุบันกับโมเดลที่สมัคร ใช้ชุดทดสอบเดียวกันและการกําหนดค่าตัวแทนที่เทียบเท่ากัน เพื่อให้การเปรียบเทียบเผยความแตกต่างที่เกี่ยวข้องกับโมเดล ไม่ใช่การเปลี่ยนแปลงที่ไม่เกี่ยวข้อง คุณสามารถทําการเปรียบเทียบด้วยตนเองโดยใช้สําเนาตัวแทน หรือใช้ฟังก์ชันการประเมินโมเดลของ Copilot Agent Kit เพื่อประสานงานการทดสอบและตรวจสอบผลลัพธ์

เปรียบเทียบด้วยตนเองโดยใช้สําเนาตัวแทน

สร้างสําเนาที่ไม่ใช่การผลิตของเอเจนต์เพื่อประเมินโมเดลโดยไม่ส่งผลกระทบต่อผู้ใช้ในระบบจริง

  1. เตรียมสําเนาตัวแทนที่เทียบเท่า รักษาคําแนะนํา หัวข้อ แหล่งความรู้ เครื่องมือ การเชื่อมต่อ การตั้งค่าความปลอดภัย และการกําหนดค่าอื่น ๆ ให้สอดคล้องกัน บันทึกความแตกต่างใด ๆ ที่อาจส่งผลต่อการเปรียบเทียบ
  2. เลือกโมเดลต่างๆ เก็บโมเดลปัจจุบันไว้ในสำเนาหนึ่งชุดเป็นฐาน และเลือกโมเดลตัวเลือกในแต่ละสำเนาเพิ่มเติม
  3. รันชุดทดสอบการประเมินเดียวกันกับแต่ละสําเนา ใช้กรณีทดสอบ วิธีการประเมิน และข้อมูลระบุตัวตนสำหรับการทดสอบที่เป็นตัวแทนเดียวกัน ทําซ้ําสถานการณ์สําคัญทางธุรกิจเมื่อความแปรปรวนอาจส่งผลต่อการตัดสินใจ
  4. เปรียบเทียบผลลัพธ์กับเกณฑ์การยอมรับของคุณ ทบทวนการปรับปรุงแต่ละจุด การถดถอย และความล้มเหลวที่เกิดขึ้นอย่างต่อเนื่อง แทนที่จะพึ่งพาแค่อัตราผ่านรวม ใช้แชททดสอบและแผนที่กิจกรรมเพื่อตรวจสอบการเปลี่ยนแปลงในการประสานงาน การเลือกเครื่องมือ และการปฏิบัติตามคําสั่ง
  5. วัดความหน่วงเวลาและการใช้ทรัพยากรแยกกัน บันทึกมาตรการเหล่านี้สําหรับสถานการณ์ที่เป็นตัวแทนในแต่ละโมเดล และส่งออกผลการประเมินเพื่อเก็บรักษาการเปรียบเทียบ

เก็บชุดทดสอบไว้เหมือนเดิมสําหรับการเปรียบเทียบครั้งแรก ถ้าคุณปรับแต่งคําสั่งหรืออาร์ติแฟกต์เอเจนต์อื่น ๆ เพื่อแก้ไขการถดถอย ให้รันการทดสอบใหม่และบันทึกการเปลี่ยนแปลงเหล่านั้นพร้อมกับผลลัพธ์

เปรียบเทียบโดยใช้ Model Assessment (ตัวอย่าง)

การประเมินโมเดลใน Copilot Agent Kit จะบันทึกข้อมูลพื้นฐาน รันการทดสอบซ้ําหลังจากมีการเปลี่ยนแปลงโมเดล และเน้นการปรับปรุง การถดถอย และความล้มเหลวที่เกิดขึ้นอย่างต่อเนื่อง แทนที่จะจัดการสําเนาเอเจนต์แยกสําหรับแต่ละโมเดล ให้ประเมินโมเดลรุ่นถัดๆ ไปบนสําเนาสําหรับสภาพแวดล้อมที่ไม่ใช้งานจริงและเปรียบเทียบการรันที่บันทึกไว้

การประเมินแบบจําลองรองรับตัวเลือกการทดสอบสองแบบ:

ตัวเลือกการทดสอบ เวลาที่ใช้ ข้อกําหนด
การประเมินผลของ Copilot Studio เปรียบเทียบผลลัพธ์จากชุดทดสอบประเมินที่สร้างใน Copilot Studio รองรับสําหรับเอเจนต์ฮาร์เนส Microsoft Copilot และเอเจนต์ฮาร์เนสมาตรฐาน โดยใช้วิธีการประเมินที่ฮาร์เนสแต่ละแบบรองรับ สร้างชุดทดสอบการประเมินผลที่ใช้งานอยู่ซึ่งมี MODELCHECK อยู่ในชื่อ เอเจนต์ไม่จําเป็นต้องถูกเผยแพร่
การทดสอบ Copilot Agent Kit เปรียบเทียบผลลัพธ์จากการทดสอบอัตโนมัติของ Kit กับเอเจนต์ที่เผยแพร่แล้ว ใช้ได้เฉพาะกับเอเจนต์ harness มาตรฐานเท่านั้น กำหนดค่า Agent Configuration ที่รองรับ pipeline และชุดทดสอบ Kit

เพื่อเปรียบเทียบโมเดล:

  1. บันทึกค่าฐาน ให้ทำการประเมินกับโมเดลปัจจุบันก่อนเปลี่ยนโมเดลปัจจุบัน
  2. เลือกโมเดลตัวเลือก เปลี่ยนโมเดลผ่าน Model Assessment หรือใน Copilot Studio
  3. ทําการทดสอบเดิมซ้ํา คงการตั้งค่าเอนจินทดสอบ ชุดทดสอบ และการตั้งค่าเอเจนต์อื่น ๆ ไว้เหมือนเดิมสำหรับการเปรียบเทียบครั้งแรก ผลลัพธ์จากเครื่องมือทดสอบทั้งสองไม่สามารถเปรียบเทียบกันโดยตรงได้ เพราะให้คะแนนสิ่งที่ต่างกัน
  4. ทบทวนการเปรียบเทียบ ตรวจสอบผลการทดสอบแต่ละครั้ง สถานะการถดถอย และสรุปที่สร้างโดย AI คุณสามารถเปรียบเทียบการรันที่เสร็จสมบูรณ์ได้สูงสุดสามชุดแบบเคียงข้างกัน และส่งออกการเปรียบเทียบเป็น PDF
  5. ใช้เกณฑ์การยอมรับของคุณ เมื่อคุณเลือกสองรันจากเอนจินทดสอบเดียวกัน การประเมินแบบจําลองจะให้คําแนะนําและระดับความมั่นใจของโมเดล ให้ถือว่าคำแนะนำเป็นหลักฐานสนับสนุน ไม่ใช่สิ่งทดแทนเกณฑ์การยอมรับสำหรับการย้ายระบบของคุณ ตรวจสอบการใช้เครดิตของ Copilot ตามที่รายงาน และวัดความหน่วงแยกต่างหาก

Important

ประเมินโมเดลผู้สมัครบนสำเนาสำหรับการทดสอบของเอเจนต์ การเลือกโมเดลใน Model Assessment จะเปลี่ยนการกําหนดค่าของเอเจนต์ และสําหรับการทดสอบ Kit จะเผยแพร่เอเจนต์ด้วย

เรียนรู้เพิ่มเติมเกี่ยวกับข้อกําหนดการตั้งค่า ขั้นตอนการประเมิน และคําแนะนําในการตีความผลลัพธ์ใน Assess model changes ด้วย Copilot Agent Kit

ประเมินพฤติกรรมของเอเจนต์ทั้งหมด

อย่าอนุมัติรุ่นทดแทนเพียงเพราะอัตราการผ่านรวมใกล้เคียงกับรุ่นปัจจุบัน

ครอบคลุมหัวข้อต่อไปนี้ แต่ละอย่างเป็นพฤติกรรมที่มักจะเปลี่ยนแปลงเมื่อโมเดลเปลี่ยนแปลง ดังนั้นชุดทดสอบที่ละเว้นพื้นที่ใดพื้นที่หนึ่งจะไม่สามารถตรวจจับการถดถอยในนั้นได้

พื้นที่ประเมินผล สิ่งที่อาจใช้งานไม่ได้จากการเปลี่ยนแปลงโมเดล วิธีตรวจสอบ
คุณภาพของคําตอบ ความเกี่ยวข้อง ความครบถ้วน ความถูกต้อง ความชัดเจน และความสม่ำเสมอสำหรับคำถามที่เจ้าหน้าที่ได้รับบ่อยที่สุด คุณภาพทั่วไป
ความยึดโยงกับแหล่งข้อมูลและความรู้ โมเดลจะตอบจากข้อมูลฝึกสอนแทนแหล่งความรู้ที่กําหนดค่าไว้ ตัดการอ้างอิง หรือจัดการแหล่งข้อมูลที่ไม่สมบูรณ์หรือขัดแย้งกันแตกต่างออกไป คุณภาพทั่วไป
การงดออกเสียง โมเดลนี้ตอบคําถามที่อยู่นอกขอบเขตแทนที่จะปฏิเสธหรือยกระดับ คุณภาพทั่วไป หรือกำหนดเองพร้อมป้ายกำกับตอบแล้วและปฏิเสธ
การปฏิบัติตามคำสั่ง คําแนะนําที่โมเดลปฏิบัติตามอย่างน่าเชื่อถือจะถูกข้ามไป เช่น กฎการยกระดับ ขอบเขต พฤติกรรมต้องห้าม หรือข้อจํากัดความรับผิดชอบที่บังคับใช้ จับคู่คีย์เวิร์ดในวลีที่ต้องการ หรือ Custom พร้อมป้ายกํากับเฉพาะคําสั่ง
ค่าคงที่และรูปแบบผลลัพธ์ ค่าที่แม่นยํา เช่น หมายเลขโทรศัพท์ รหัส หรือ ID จะถูกนํามาปรับเปลี่ยนหรือประดิษฐ์ขึ้น หรือรูปร่างผลลัพธ์จะเปลี่ยนแปลงและทําให้ตัวแยกวิเคราะห์หรือการรวมช่องทางด้านล่างเสียหาย ตรงกันเป๊ะ หรือ Keyword match ตามรูปแบบที่ต้องการ
การเลือกเครื่องมือและการยับยั้ง โมเดลจะเลือกเครื่องมืออื่น ไม่เรียกใช้เครื่องมือใดเลย หรือเรียกใช้เครื่องมือเมื่อไม่ต้องการเครื่องมือ การใช้เครื่องมือโดยกําหนดเครื่องมือหรือหัวข้อที่คาดหวัง พร้อมการตรวจสอบแผนที่กิจกรรม
อินพุตเครื่องมือและการจัดลําดับ พารามิเตอร์จะถูกดึงออกมา จัดรูปแบบ หรือกำหนดค่าเริ่มต้นแตกต่างกัน หรือขั้นตอนในงานมัลติทูลถูกจัดเรียงใหม่ รวม หรือถูกตัดออก การใช้เครื่องมือกับเครื่องมือที่คาดหวังทั้งหมด รวมถึงคุณภาพทั่วไป
การยืนยันและการจัดการความล้มเหลว โมเดลจะหยุดถามยืนยันก่อนการดำเนินการที่มีผลกระทบสำคัญ หรือแสดงข้อผิดพลาดของเครื่องมือในรูปแบบที่ต่างออกไปแทนที่จะรายงาน กําหนดเองพร้อมป้ายยืนยัน พร้อมการจับคู่คําสําคัญในภาษาข้อผิดพลาดที่คาดไว้
พฤติกรรมแบบหลายเทิร์น บริบทจากเทิร์นก่อนหน้าหายไปหรือถูกตีความใหม่ หรือการชี้แจง การเปลี่ยนหัวข้อ และการกู้คืนถูกจัดการแตกต่างกัน คุณภาพโดยรวมของชุดทดสอบสนทนา
ข้อมูลที่ยุ่งเหยิงและเชิงโจมตี การจัดการที่ด้อยกว่าต่อคําผิด ชิ้นส่วน และเจตนาที่ไม่ชัดเจน หรือการตอบสนองที่แตกต่างต่อการฉีดพรอมต์และการแทนที่บทบาท คุณภาพโดยรวม รวมถึงกำหนดเองพร้อมป้ายกำกับ ปฏิเสธ และ ปฏิบัติตาม
ความปลอดภัยและการปฏิบัติตาม การจัดการเนื้อหาที่เป็นอันตราย การเข้าถึงข้อมูล สิทธิ์ การประมวลผลระดับภูมิภาค และข้อกําหนด AI อย่างรับผิดชอบ ป้ายกํากับแบบกําหนดเอง พร้อมการตรวจสอบ AI อย่างรับผิดชอบ
ความหน่วงและความน่าเชื่อถือ เวลาตอบสนอง, การหมดเวลา, ความแปรปรวน, การเรียกใช้ที่ล้มเหลว และการลองใหม่ภายใต้เงื่อนไขที่เป็นตัวแทน ไม่ได้รายงานโดยการประเมิน วัดผลในแชททดสอบและการมอนิเตอร์ในระบบใช้งานจริง
การใช้งานและต้นทุน การใช้เครดิตของ Copilot หรือค่าใช้จ่ายอื่นๆ ที่เกี่ยวข้องกับโมเดลสำหรับสถานการณ์ตัวอย่าง ไม่ได้รายงานโดยการประเมิน วัดในการรายงานความจุและการใช้
ภาษาและช่องทาง คุณภาพและพฤติกรรมในภาษาที่รองรับ โปรไฟล์ผู้ใช้ และช่องทางการปรับใช้ต่างๆ รันชุดทดสอบสําหรับแต่ละภาษา โปรไฟล์ผู้ใช้ และช่องทางที่สําคัญ

ให้ความสนใจเป็นพิเศษกับการปฏิบัติตามคําสั่งและความหน่วงเวลา โมเดลที่กำลังพิจารณาสามารถปรับปรุงคุณภาพคำตอบได้ แต่จะทำให้เกิดการตอบสนองที่ช้าลง พฤติกรรมการเลือกเครื่องมือที่แตกต่างกัน หรือความล้มเหลวในการทำตามคำแนะนำที่เคยเชื่อถือได้กับโมเดลก่อนหน้า

ยืนยันวิธีการทดสอบที่เอเจนต์ของคุณรองรับ

วิธีการทดสอบที่เอเจนต์ของคุณรองรับขึ้นอยู่กับฮาร์เนสของมัน

เรียนรู้เพิ่มเติมใน:

สร้างและดูแลชุดทดสอบ

  • ครอบคลุมกรณีใช้งานหลักที่มีความสําคัญต่อธุรกิจและคําขอที่มีปริมาณมากก่อน จากนั้นจึงเป็นกรณีที่ยาก เช่น กรณีขอบเขต อินพุตเชิงปฏิปักษ์ คําขอที่ควรถูกปฏิเสธหรือยกระดับ เครื่องมือล้มเหลว การสนทนาที่ยาวนาน และคําขอหลายภาษา
  • เริ่มจากทราฟฟิกจริง ธีมการวิเคราะห์และการสนทนาที่บันทึกไว้สร้างกรณีทดสอบที่เป็นตัวแทนมากกว่ากรณีที่คิดขึ้นมา
  • ให้ความสำคัญกับความครอบคลุมมากกว่าการขัดเกลา กรณีที่ไม่สมบูรณ์จํานวนมากจะตรวจพบข้อถดถอยได้มากกว่าชุดกรณีที่เขียนได้สมบูรณ์แบบจํานวนน้อย
  • ให้คะแนนโมเดลปัจจุบันก่อน แล้วค่อยประเมินโมเดลตัวเลือก การเปรียบเทียบ ไม่ใช่ตัวเลขที่แน่นอน จะบอกคุณว่าการย้ายข้อมูลปลอดภัยหรือไม่
  • เก็บชุดไว้กับ agent ในระบบควบคุมซอร์สโค้ด และรันซ้ําโดยไม่เปลี่ยนแปลงทุกครั้งที่เปลี่ยนโมเดล
  • แบ่งชุดตามด้านความเสี่ยง ชุดทดสอบที่ใช้ฮาร์เนสมาตรฐานสามารถบรรจุกรณีทดสอบได้สูงสุด 100 กรณี ดังนั้นควรใช้ชุดแยกสําหรับความแม่นยําของความรู้ พฤติกรรมเครื่องมือ และสถานการณ์ที่คํานึงถึงความปลอดภัย
  • ส่งออกผลลัพธ์ ผลการประเมินจะถูกเก็บไว้เป็นเวลา 89 วัน ดังนั้นส่งออกเป็น CSV เพื่อบันทึกคะแนนของแต่ละโมเดลในช่วงเวลาย้ายข้อมูล
  • แปลงเหตุขัดข้องในระบบ production และข้อเสนอแนะจากผู้ใช้ให้เป็นการทดสอบถดถอยใหม่

เรียนรู้เพิ่มเติมเกี่ยวกับการออกแบบและการนำการประเมินเอเจนต์ไปใช้จริง

Note

การประเมินตัวแทนวัดความถูกต้องและประสิทธิภาพ ไม่ใช่จริยธรรมของ AI หรือปัญหาด้านความปลอดภัย เอเจนต์สามารถผ่านทุกกรณีทดสอบแล้วยังให้คำตอบที่ไม่เหมาะสมได้ ใช้ การตรวจสอบ AI อย่างรับผิดชอบ และตัวกรองความปลอดภัยของเนื้อหาควบคู่ไปกับการประเมิน

ทำให้การประเมินที่เกิดซ้ำเป็นอัตโนมัติ

Copilot Studio รองรับการรันการประเมินผลผ่าน Power Platform API เพื่อให้คุณสามารถผสานการตรวจสอบโมเดลเข้ากับเวิร์กโฟลว์การปล่อยและกระบวนการบูรณาการอย่างต่อเนื่อง สําหรับระบบเอเจนต์จำนวนมาก ระบบอัตโนมัติคือสิ่งที่ทําให้การทดสอบตัวเลือกที่เป็นไปได้ซ้ํา ๆ เป็นไปอย่างยั่งยืนแทนที่จะเป็นการทดสอบด้วยมือ เรียนรู้เพิ่มเติมได้ที่ ทำให้การประเมินเป็นแบบอัตโนมัติด้วย Power Platform API

อัปเดตอาร์ติแฟกต์ของเอเจนต์ที่ได้รับผลกระทบจากการเปลี่ยนแปลงโมเดล

การเปลี่ยนแปลงโมเดลแทบจะไม่ส่งผลเฉพาะกับการตั้งค่าโมเดลเท่านั้น แปลคําแนะนําของผู้ให้บริการที่เกี่ยวข้องเป็นอาร์ติแฟกต์ของเอเจนต์ที่คุณควบคุม จากนั้นตรวจสอบความถูกต้องของการเปลี่ยนแปลงทุกครั้งตามค่าพื้นฐานการประเมินของคุณ การแก้ไขที่ไม่ได้ทดสอบซ้ำเป็นแค่การคาดเดา

Artifact การเปลี่ยนแปลงทั่วไป
คำสั่งสำหรับเอเจนต์ ทําให้ความคาดหวังโดยนัยชัดเจน ลบวิธีแก้ไขที่เขียนไว้สําหรับโมเดลก่อนหน้า ย้ําขอบเขตและกฎการยกระดับและพฤติกรรมต้องห้ามอย่างชัดเจน แก้ไขคําสั่งที่ขัดแย้งกัน และปรับเทียบว่าเจ้าหน้าที่ควรดําเนินการอย่างอิสระมากน้อยเพียงใด
คำแนะนำสำหรับหัวข้อและโหนด ใช้แนวทางเดียวกันในระดับหัวข้อด้วย และตรวจสอบว่าโหนดคำตอบเชิงสร้างยังคงทำงานตามที่คาดหวัง
คําอธิบายเครื่องมือและการดําเนินการ เขียนใหม่เพื่อความชัดเจน คําอธิบายนี้คือสิ่งที่โมเดลอ่านเพื่อตัดสินใจว่าจะเรียกใช้เครื่องมือเมื่อใดและหรือไม่ และคําอธิบายที่คลุมเครือจะทําให้เกิดการเรียกเกินและเรียกน้อยเกินไป
คําอธิบายพารามิเตอร์อินพุตและเอาต์พุต ปรับรูปแบบ หน่วย ตัวอย่าง และความหมายที่จําเป็นหรือทางเลือกให้แน่นขึ้น เพื่อให้การสร้างพารามิเตอร์ยังคงถูกต้อง
การกําหนดค่าแหล่งความรู้ ตรวจสอบคำแนะนำการเลือกแหล่งที่มา ขอบเขต และการยึดโยงอีกครั้ง และตรวจสอบพฤติกรรมการอ้างอิง
คําแนะนําการจัดรูปแบบการตอบกลับ กรุณาระบุโครงสร้าง ความยาว ข้อความปฏิเสธความรับผิด และค่าที่แน่นอนอย่างชัดเจน เพราะรุ่นใหม่จะเปลี่ยนระดับความยืดยาวเริ่มต้น
ขั้นตอนการยืนยันและความปลอดภัย ยืนยันข้อกำหนดการยืนยันอย่างชัดเจนก่อนดำเนินการที่มีผลกระทบสำคัญ
ผู้ใช้ปลายทางที่นำผลลัพธ์ไปใช้ต่อ อัปเดตโฟลว์ Power Automate, การ์ดแบบปรับเปลี่ยน, การผสานรวมช่องทาง และตัววิเคราะห์ใด ๆ ที่อ่านผลลัพธ์ของเอเจนต์
ตัวชุดทดสอบเอง เพิ่มรูปแบบความล้มเหลวใหม่ที่ค้นพบระหว่างการย้ายข้อมูล

ระยะการย้ายถิ่น

ขั้นตอนต่อไปนี้จะจัดลําดับการดําเนินการในส่วนก่อนหน้า ใช้เป็นแผนการทํางานสําหรับการเปลี่ยนแปลงโมเดลของตัวแทนคนเดียว ไม่ว่าจะเป็นการเปลี่ยนแปลงเชิงรุกหรือขับเคลื่อนด้วยการเกษียณ

ขั้นตอนที่ 0: เตรียมการ

  1. ยืนยันว่าโมเดลที่พิจารณาใช้ได้ กับ เงื่อนไขเบื้องต้น: พร้อมใช้งานทั่วไปหรือค่าเริ่มต้น, พร้อมใช้งานในภูมิภาค, สถานะข้ามภูมิภาคที่ยอมรับได้, เปิดใช้งานโดยผู้ดูแลระบบ และหมวดหมู่การใช้งานที่เหมาะสมสําหรับวัตถุประสงค์ของเอเจนต์
  2. อ่านคําแนะนําการอัปเกรดของผู้ให้บริการโมเดล และจดบันทึกคําแนะนําและการเปลี่ยนแปลงเครื่องมือที่ตามมา
  3. ระบุตัวแทนที่ได้รับผลกระทบ จากรายการสินทรัพย์ โดยบันทึกสภาพแวดล้อม เจ้าของ และระดับความสำคัญ
  4. ยืนยันว่าวิธีการทดสอบเพื่อการประเมินใดบ้างที่ชุดทดสอบของเอเจนต์รองรับ
  5. กำหนดและอนุมัติเกณฑ์การยอมรับการย้ายข้อมูล

ขั้นตอนที่ 1: จัดทำค่าพื้นฐานของโมเดลปัจจุบัน

  1. สร้างหรือปรับปรุงชุดทดสอบถดถอย ให้ครอบคลุมสถานการณ์ที่สําคัญต่อธุรกิจและสถานการณ์ที่มีความถี่สูง
  2. รันชุดทดสอบกับโมเดลการผลิตปัจจุบัน เพื่อกําหนดค่าพื้นฐาน ทําเช่นนี้ในขณะที่โมเดลปัจจุบันยังอยู่ เพราะหลังจากโมเดลเปลี่ยน baseline จะไม่สามารถสร้างใหม่ได้
  3. บันทึกความหน่วงและการใช้เครดิต Copilot แยกกัน การประเมินผลไม่ได้รายงานข้อมูลดังกล่าว
  4. ส่งออกผลลัพธ์เป็น CSV เพื่อเก็บบันทึกไว้เกินช่วงเวลาการเก็บรักษา

ขั้นตอนที่ 2: ประเมินรายการที่พิจารณาในสภาพแวดล้อมที่ไม่ใช่การผลิต

  1. เตรียมสําเนาเอเจนต์ที่ไม่ใช่การผลิต ตามคําแนะนําของ Copilot Studio สําหรับการจัดการวงจรชีวิตแอปพลิเคชันและการทดสอบเอเจนต์ กําหนดค่าสภาพแวดล้อมให้สอดคล้องกับสภาพแวดล้อมการใช้งานจริง:

    • ใช้คําแนะนําเอเจนต์ หัวข้อ การตั้งค่าความรู้ เครื่องมือ โฟลว์ ตัวเชื่อมต่อ ภาษา และสมมติฐานความปลอดภัยเดียวกัน
    • ใช้ตัวตนและการเชื่อมต่อที่เป็นตัวแทนของการทดสอบ
    • ใช้นโยบายข้อมูลเดียวกันและการควบคุมผู้ดูแลระบบที่เกี่ยวข้อง
    • ยืนยันความพร้อมใช้งานในแต่ละภูมิภาคและตรวจสอบว่าจําเป็นต้องย้ายข้อมูลข้ามภูมิภาคหรือไม่
    • บันทึกความแตกต่างระหว่างการทดสอบและการผลิตที่อาจส่งผลต่อผลลัพธ์
  2. เปลี่ยนโมเดล. ไปที่หน้าภาพรวมของเอเจนต์และเลือกโมเดลหลักที่ได้รับการเสนอชื่อในส่วนโมเดล มีการตั้งค่าแยกต่างหากสําหรับการให้เหตุผลเชิงลึก การตอบสนองเชิงสร้างสรรค์ และตัวสร้างพรอมต์ ดังนั้นตรวจสอบว่าเอเจนต์ใช้ความสามารถเหล่านั้นหรือไม่ และจําเป็นต้องเปลี่ยนแปลงด้วย

  3. รันชุดทดสอบเดียวกันใหม่โดยไม่เปลี่ยนแปลงกับโมเดลผู้สมัคร

  4. เปรียบเทียบการรันทั้งสองครั้ง นี้กับเกณฑ์การยอมรับเพื่อระบุการปรับปรุงและการถดถอย

  5. ตรวจสอบการจัดการเชิงคุณภาพ ในแชททดสอบ โดยใช้แผนที่กิจกรรมเพื่อยืนยันว่าเครื่องมือใดถูกเลือก ลําดับใด และด้วยพารามิเตอร์ใด

  6. วัดความหน่วงและการใช้ทรัพยากร ของตัวเลือกที่พิจารณา แล้วเปรียบเทียบกับค่าพื้นฐาน

ขั้นตอนที่ 3: แก้ไข

  1. อัปเดตอาร์ติแฟกต์ของเอเจนต์ที่ได้รับผลกระทบจากการเปลี่ยนแปลงของโมเดล จากนั้นรันชุดทดสอบใหม่กับเอเจนต์ที่แก้ไขแล้ว เรียนรู้เพิ่มเติมได้ที่ ปรับปรุงเอเจนต์โดยใช้การคัดกรองและแก้ไขที่ขับเคลื่อนด้วยการประเมินผล.
  2. ทําซ้ําจนกว่าจะถึงเกณฑ์การยอมรับ หรือสรุปว่าโมเดลที่พิจารณาไม่เหมาะสมและบันทึกเหตุผล การตัดสินใจไม่อัปเกรดเป็นผลลัพธ์ที่ถูกต้องและมีหลักฐานรองรับ

หากการโยกย้ายของคุณส่งผลกระทบต่อปลั๊กอิน Microsoft 365 Copilot ด้วย ให้ปฏิบัติตามคำแนะนำใน ตรวจสอบ อัปเดต และเลิกใช้ปลั๊กอินหรือเอเจนต์ของคุณ เพื่อทดสอบ จัดแพ็กเกจ และเผยแพร่การอัปเดต

ขั้นตอนที่ 4: อนุมัติและปรับใช้

  1. ขออนุมัติ เกณฑ์การยอมรับจากเจ้าของตัวแทนและผู้อนุมัติการเผยแพร่ รวมถึงการอนุมัติด้านความปลอดภัยและการปฏิบัติตามข้อกําหนดเมื่อมีการใช้โมเดลข้ามภูมิภาคหรือภายนอก
  2. ติดตั้งใช้งานผ่านกระบวนการ ALM ที่กําหนดไว้ โดยเลื่อนระดับ โซลูชัน จากการทดสอบไปสู่การใช้งานจริง อย่าแก้ไขเอเจนต์ในระบบใช้งานจริงด้วยตนเอง
  3. ทยอยเปิดตัว เมื่อช่องทางอนุญาต เผยแพร่ไปยังกลุ่มเป้าหมายนําร่องหรือช่องทางเดียวก่อน สังเกตผลลัพธ์ แล้วขยายขอบเขต

ขั้นตอนที่ 5: ตรวจสอบและปิด

  1. ตรวจสอบพฤติกรรมการทำงานในระบบจริง ตามเกณฑ์การยอมรับ
  2. เพิ่มรูปแบบความล้มเหลวที่ค้นพบใหม่ลงในชุดทดสอบถดถอย
  3. ปิดการย้ายข้อมูลก็ต่อเมื่อเกณฑ์การยอมรับยังคงเป็นไปตามเกณฑ์ ในระบบ production
  4. เก็บรักษาหลักฐานการประเมินและบันทึกการตัดสินใจเกี่ยวกับการย้าย เพื่อการตรวจสอบและสำหรับเหตุการณ์ในวงจรชีวิตถัดไป

Important

เส้นทางย้อนกลับสําหรับการเปลี่ยนแปลงโมเดลคือการนําเวอร์ชันโซลูชันที่ผ่านการตรวจสอบก่อนหน้านี้มาปรับใช้ใหม่ ซึ่งช้ากว่าการสลับการตั้งค่า ความแตกต่างนี้ทําให้เกตประเมินผลในเฟส 2 มีความสําคัญ การจับ regression ก่อนการปรับใช้มีต้นทุนน้อยกว่าการย้อนกลับหลังจากนั้น

ตรวจสอบหลังการย้ายข้อมูล

งานวงจรชีวิตของโมเดลจะดําเนินต่อไปหลังจากการปรับใช้ ตรวจสอบ:

  • ผลการประเมินตัวแทนและอัตราการผ่านสถานการณ์วิกฤต
  • การวิเคราะห์การผลิต, บันทึกการสนทนา, กิจกรรม, ข้อผิดพลาด และข้อเสนอแนะจากผู้ใช้
  • ความล้มเหลวในการปฏิบัติตามคําสั่งและการเลือกเครื่องมือ
  • ความหน่วง, การหมดเวลา และความน่าเชื่อถือ
  • การบริโภคมีการเปลี่ยนแปลง
  • ความปลอดภัย การปฏิบัติตามข้อกําหนด และข้อกังวลเกี่ยวกับการประมวลผลในระดับภูมิภาค

เมื่อการตรวจสอบการผลิตพบรูปแบบความล้มเหลวใหม่ ให้เพิ่มกรณีตัวอย่างลงในชุดการทดสอบรีเกรสชัน แนวปฏิบัตินี้ช่วยปรับปรุงการประเมินโมเดลถัดไปและเปลี่ยนการเรียนรู้จากการผลิตให้เป็นมาตรฐานคุณภาพที่ยั่งยืน

เทเลเมทรีระดับสภาพแวดล้อม ส่ง OpenTelemetry GenAI spans ไปยัง Application Insights รวมถึงโมเดลที่ใช้สำหรับการเรียกใช้เอเจนต์แต่ละครั้ง ใช้เพื่อยืนยันว่าการใช้งานจริงของโมเดลใดทํางานอยู่ และเปรียบเทียบการเลือกเครื่องมือและความน่าเชื่อถือก่อนและหลังการย้ายข้อมูล