ชั้นที่ 2: ความล้มเหลวของเอเจนต์คัดกรอง

หลังจากที่คุณตีความคะแนนการประเมินและระบุประเด็นโฟกัสแล้ว ให้พิจารณาว่าเหตุใดกรณีทดสอบแต่ละกรณีจึงล้มเหลวและใครต้องดำเนินการ

บทความนี้ให้แนวทางที่มีโครงสร้างสำหรับการวินิจฉัยความล้มเหลวในระดับกรณีทดสอบ ช่วยให้คุณจำแนกสาเหตุรากเหง้า แยกแยะระหว่างปัญหาเอเจนต์ การประเมิน และโครงสร้างพื้นฐาน และเลือกการดำเนินการถัดไปที่เหมาะสม

ก่อนที่คุณเริ่มต้น

ก่อนที่คุณจะเริ่มการวิเคราะห์และจัดลำดับความสำคัญของความล้มเหลว:

1. ทำการตีความคะแนนและการประเมินความพร้อม และระบุว่าชุดการประเมินใดที่ต้องให้ความสนใจ
2. มุ่งเน้นไปที่ความล้มเหลวที่มีลำดับความสำคัญสูงสุดโดยพิจารณาจากความพร้อมและความเสี่ยง

การตรวจสอบก่อนการคัดแยก: ตรวจสอบสุขภาพของโครงสร้างพื้นฐาน:

ก่อนจะวินิจฉัยความล้มเหลวแต่ละกรณี ให้ยืนยันว่าระบบหรือบริการที่ต้องพึ่งพาอยู่ในสภาพปกติระหว่างการประเมินผล ปัญหาโครงสร้างพื้นฐานอาจทำให้เกิดความล้มเหลวที่ดูเหมือนเป็นปัญหาของเอเจนต์หรือระบบประเมินผล ทั้งที่จริงแล้วไม่ได้เกี่ยวข้องกัน

ตรวจสอบเงื่อนไขต่อไปนี้:

• แหล่งความรู้ต้องเข้าถึงได้และผ่านการจัดทำดัชนีอย่างสมบูรณ์
• แบ็กเอนด์หรือตัวเชื่อมต่อ API ต้องไม่ส่งคืนข้อผิดพลาด การหมดเวลา หรือการตอบสนองแบบจำกัดอัตรา
• โทเค็นรับรองความถูกต้องต้องมีผลตลอดการรัน
• สภาพแวดล้อมการประเมินตรงกับการตั้งค่าคอนฟิกของเอเจนต์ที่กำหนดไว้

หากส่วนที่ต้องพึ่งพาขัดข้อง ให้แก้ไขปัญหาและเรียกใช้การประเมินอีกครั้งก่อนดำเนินการต่อ การคัดแยกผลลัพธ์จากการประเมินที่มีปัญหาอาจนำไปสู่ข้อสรุปที่ไม่ถูกต้อง

ขั้นตอนที่ 0: จัดลำดับความสำคัญของความล้มเหลว:

ก่อนที่คุณจะคัดแยกกรณีทดสอบ ให้ตัดสินใจว่าจะเน้นที่ใดก่อน

จัดลำดับความสำคัญของความล้มเหลวตามลำดับนี้:

หากคุณมีความล้มเหลวจำนวนมาก (เช่น มากกว่า 15 ครั้ง) อย่าตรวจสอบแต่ละกรณีทีละรายการ เริ่มต้นด้วยชุดการประเมินที่ให้คะแนนต่ำสุดและตรวจสอบความล้มเหลวด้วยตนเองสักสองสามรายการ หากปัญหาเหล่านั้นเกิดจากสาเหตุเดียวกัน การแก้ไขสาเหตุนั้นจะสามารถแก้ไขความล้มเหลวจำนวนมากได้ในคราวเดียว

ระบุสัญญาณคุณภาพสำหรับการทดสอบที่ล้มเหลว

หากผลการประเมินแสดงกรณีทดสอบที่ล้มเหลวแต่ไม่ชี้ชัดถึงสัญญาณคุณภาพ ให้ใช้ชุดการประเมินและวิธีการให้คะแนนเพื่ออนุมานสัญญาณคุณภาพนั้น

ตัวอย่างเช่น

• ชุดการประเมินจะระบุขอบเขตความสามารถ เช่น ความปลอดภัย การอ้างอิงข้อเท็จจริง หรือการใช้เครื่องมือ
• วิธีการให้คะแนน เช่น การจับคีย์เวิร์ดหรือการให้คะแนนตามรูบริก จะให้ข้อมูลบริบทเพิ่มเติม

การระบุสัญญาณคุณภาพที่ตั้งใจไว้ช่วยให้คุณเลือกคำถามสำหรับการวิเคราะห์ที่เกี่ยวข้องมากที่สุด

ขั้นตอนที่ 1: ตรวจสอบการตั้งค่าการประเมิน:

สำหรับความล้มเหลวแต่ละครั้ง ให้ตรวจสอบการตอบที่แท้จริงของเอเจนต์ด้วยตนเองควบคู่ไปกับค่าที่คาดหวังและวิธีการให้คะแนน

ทำตามคำถามต่อไปนี้ตามลำดับ หยุดเมื่อคุณได้ผลลัพธ์

1. การตอบของตัวแทนเป็นที่ยอมรับหรือไม่ ผู้ใช้จริงจะพอใจกับคำตอบนี้แม้ว่าจะไม่ผ่านการประเมินหรือไม่

   • ถ้าใช่ การตั้งค่าการประเมินมีปัญหา: เกรดเดอร์หรือค่าที่คาดไว้ไม่ถูกต้อง
   • ถ้าไม่ ให้ดำเนินการต่อในคำถามถัดไป

2. คำตอบที่คาดหวังเป็นปัจจุบันและถูกต้องตามแหล่งที่มาหรือไม่

   • ถ้าใช่ ให้ดำเนินการต่อในคำถามถัดไป
   • ถ้าไม่ การตั้งค่าการประเมินมีปัญหา: คำตอบที่คาดหวังเป็นข้อมูลเก่าหรือผิดพลาด

3. กรณีทดสอบสอดคล้องกับการป้อนข้อมูลของผู้ใช้ที่สมจริงหรือไม่

   • ถ้าใช่ ให้ดำเนินการต่อในคำถามถัดไป
   • ถ้าไม่ แสดงว่าการตั้งค่าการประเมินมีปัญหา: กรณีทดสอบไม่สมจริง

4. ทางเลือกในการตอบที่สมเหตุสมผลอาจถูกต้องได้หรือไม่ แต่เกรดเดอร์ไม่อนุญาต

   • ถ้าใช่ การตั้งค่าการประเมินมีปัญหา: เกรดเดอร์เข้มงวดเกินไปและไม่คำนึงถึงคำตอบที่หลากหลายที่ถูกต้อง
   • ถ้าไม่ ให้ดำเนินการต่อในคำถามถัดไป

5. วิธีการประเมินเหมาะสมกับสิ่งที่คุณกำลังทดสอบหรือไม่

   • ถ้าใช่ การประเมินถือว่าถูกต้อง ดำเนินการต่อไปยังขั้นตอนที่ 2: วินิจฉัยเอเจนต์
   • ถ้าไม่ แสดงว่าการตั้งค่าการประเมินมีปัญหา: วิธีการประเมินไม่เหมาะกับสัญญาณคุณภาพนี้

การพิจารณาความเหมาะสมของการตอบสนอง

ใช้สัญญาณต่อไปนี้เพื่อช่วยพิจารณาว่าการตอบสนองของเอเจนต์เป็นที่ยอมรับหรือไม่:

• ข้อเท็จจริงสำคัญเดียวกัน ถ้อยคำต่างกัน → มักเป็นที่ยอมรับ (เกรดเดอร์อาจเข้มงวดเกินไป)
• ขาดข้อมูลสำคัญที่พบในแหล่งที่มา → มักไม่เป็นที่ยอมรับ
• เกณฑ์ "ดีพอ" ที่คลุมเครือ → เกณฑ์การยอมรับอาจไม่ชัดเจน (ตั้งค่าสถานะสำหรับขั้นตอนที่ 4)

หากคุณไม่แน่ใจ ให้เปรียบเทียบเนื้อหากับแหล่งที่มาดั้งเดิม ไม่ใช่แค่คำตอบที่คาดหวัง

สัญญาณเหล่านี้ช่วยประกอบการตัดสินใจของคุณ แต่ไม่สามารถมาแทนที่การตัดสินใจของคุณได้

ประเภทความล้มเหลวที่พบได้บ่อยในการตั้งค่าการประเมิน

การตรวจสอบความน่าเชื่อถือของเกรดเดอร์

ความน่าเชื่อถือของเกรดเดอร์เป็นข้อกำหนดเบื้องต้นสำหรับการคัดแยกที่เชื่อถือได้ หากผู้ให้คะแนนเชื่อถือไม่ได้ คุณจะวินิจฉัยทุกความล้มเหลวที่เกี่ยวข้องผิดพลาด

เพื่อยืนยันความน่าเชื่อถือของเกรดเดอร์:

1. เลือกกรณีทดสอบ 5-10 กรณีที่คุณทราบผลลัพธ์การผ่าน/ไม่ผ่านที่ถูกต้องจากการตรวจสอบด้วยตนเอง
2. ดำเนินการประเมินและเปรียบเทียบผลลัพธ์ของเกรดเดอร์กับคำตัดสินจากการตรวจสอบด้วยตนเอง
3. หากผู้ให้คะแนนไม่เห็นด้วยกับกรณีมากกว่า 20% ให้ปรับเทียบผู้ให้คะแนนใหม่ก่อนที่จะดีบักเอเจนต์

สัญญาณที่ผู้ให้คะแนนต้องให้ความสนใจ:

• กรณีทดสอบเดียวกันให้คำตัดสินที่แตกต่างกันในแต่ละการรัน
• คลัสเตอร์ความล้มเหลวในชุดการประเมินที่ใช้การให้คะแนนตามโมเดลในขณะที่วิธีการกำหนดผ่าน
• ผู้ให้คะแนนแจ้งปัญหาที่คุณไม่สามารถทำซ้ำได้โดยการตรวจสอบการตอบของเอเจนต์

ตัวเลือกการปรับเทียบเกรดเดอร์:

• ใช้วิธีการแบบกำหนดแน่นอนเมื่อเป็นไปได้
• เพิ่มตัวอย่าง "ยอมรับได้" และ "ยอมรับไม่ได้" ที่ชัดเจนลงในเกณฑ์การให้คะแนน
• ขยายชุดคำสำคัญเพื่อรวมคำพ้องความหมายและถ้อยคำที่แตกต่างแต่ถูกต้อง
• ใช้ เปรียบเทียบความหมาย แทน การจับคู่คำสำคัญ (ALL) เพื่อการตรวจสอบความสมมูลทางความหมาย

ขั้นตอนที่ 2: วินิจฉัยเอเจนต์

ในขั้นตอนนี้ การประเมินผลถือว่าถูกต้อง และเอเจนต์ได้สร้างการตอบที่ไม่ถูกต้อง วินิจฉัยว่าเกิดมีอะไรผิดพลาดในการกำหนดค่าเอเจนต์

ตรวจสอบความถูกต้องตามข้อเท็จจริงและความล้มเหลวในการเชื่อมโยงกับแหล่งความรู้

ตรวจสอบความล้มเหลวในการเรียกใช้เครื่องมือ

ตรวจสอบความล้มเหลวในการกำหนดเส้นทางทริกเกอร์

ตรวจสอบข้อผิดพลาดด้านน้ำเสียงและคุณภาพการตอบ

ตรวจสอบปัญหาด้านความปลอดภัยและข้อผิดพลาดเกี่ยวกับขอบเขต

ตรวจสอบการเลื่อนระดับและความล้มเหลวแบบเหมาะสม

หลังจากวินิจฉัยแล้ว จับคู่รูปแบบข้อผิดพลาดกับกลยุทธ์การแก้ไขตามสาเหตุหลัก

ขั้นตอนที่ 3: ระบุข้อจำกัดของแพลตฟอร์ม:

หากการประเมินถูกต้องและการปรับเปลี่ยนการตั้งค่าที่สมเหตุสมผลไม่ช่วยปรับปรุงผลลัพธ์ ปัญหาอาจเกิดจากข้อจำกัดของแพลตฟอร์ม

ตัวบ่งชี้ข้อจำกัดของแพลตฟอร์ม

เส้นทางการดำเนินการสำหรับข้อจำกัดของแพลตฟอร์ม

1. จัดทำเอกสารข้อจำกัดอย่างชัดเจน (สิ่งที่ล้มเหลว, สิ่งที่คุณพยายาม, และหลักฐานว่าไม่เกี่ยวข้องกับการกำหนดค่า)
2. ใช้วิธีแก้ไขชั่วคราวเมื่อเป็นไปได้ (เช่น ปรับโครงสร้างเอกสารต้นฉบับเพื่อปรับปรุงการดึงข้อมูล)
3. ทำเครื่องหมายกรณีทดสอบเป็นข้อจำกัดที่ทราบ หรือปรับเกณฑ์เพื่อไม่ให้ขัดขวางการดำเนินการอื่น ๆ
4. เลื่อนระดับไปยังทีมแพลตฟอร์มพร้อมหลักฐาน
5. ติดตามรายการในบันทึกความล้มเหลวสำหรับการประเมินใหม่เมื่ออัปเดตความสามารถของแพลตฟอร์ม

หลังจากจัดประเภทแล้ว ให้ตรวจสอบวิธีแก้ปัญหาชั่วคราวและคำแนะนำในการยกระดับเพื่อตอบสนองต่อข้อจำกัดของแพลตฟอร์ม

เมื่อความล้มเหลวไม่ตรงกับกรอบการทำงาน

ความล้มเหลวบางอย่างไม่สามารถระบุสาเหตุหลักได้อย่างชัดเจนเพียงสาเหตุเดียว ตัวอย่างทั่วไปคือ:

• ปัญหาคุณภาพข้อมูลฝั่งแบ็กเอนด์: เนื้อหาของแหล่งความรู้ถูกต้องในเชิงเทคนิคแต่เขียนอย่างคลุมเครือ ทำให้ทั้งตัวเอเจนต์และการประเมินไม่ถือว่าผิด
• ปัญหาโครงสร้างพื้นฐานที่เกิดขึ้นเป็นระยะ ๆ: การหมดเวลาของเครือข่าย, การจำกัดอัตรา API, และปัญหาตัวเชื่อมต่อที่ไม่สามารถทำซ้ำได้อย่างสม่ำเสมอ
• การเปลี่ยนแปลงเวอร์ชันของโมเดล: ลักษณะการทำงานของเอเจนต์เปลี่ยนไปหลังจากการอัปเดตแบบจำลองแพลตฟอร์มที่คุณไม่ได้เริ่มต้น
• กรณีทดสอบที่คลุมเครือ: สถานการณ์มีความคลุมเครือ และผู้ประเมินที่มีเหตุผลอาจมีความเห็นต่างกันเกี่ยวกับคำตอบที่ถูกต้อง

แนวทางปฏิบัติที่แนะนำ: บันทึกสิ่งที่คุณสังเกตเห็น (ข้อผิดพลาด, การตอบของเอเจนต์, และสิ่งที่คุณตรวจสอบ) บันทึกรายการเป็น "ไม่ได้จัดประเภท" ในบันทึกความล้มเหลว หากความล้มเหลวเกิดขึ้นซ้ำ มักจะสามารถจัดประเภทได้โดยใช้หลักฐานเพิ่มเติม

การจัดการสาเหตุร่วม

ความล้มเหลวเพียงหนึ่งครั้งสามารถมีรากเหง้าสาเหตุหลายประการร่วมกันได้ ตัวอย่างเช่น

• ตัวอย่างความล้มเหลวด้านความถูกต้องตามข้อเท็จจริง โดยคำตอบที่คาดหวังล้าสมัยเล็กน้อย (การตั้งค่าการประเมิน) และแหล่งความรู้ก็ไม่สมบูรณ์ (การตั้งค่าเอเจนต์)
• ความล้มเหลวในการเรียกใช้เครื่องมือที่เกิดขึ้นเมื่อคำอธิบายเครื่องมือไม่ชัดเจน (การกำหนดค่าเอเจนต์) และระบบออร์เคสเตรชันไม่รองรับการเรียกใช้เครื่องมือแบบมีเงื่อนไข (ข้อจำกัดของแพลตฟอร์ม)

แนวทางที่แนะนำ: ดำเนินการคัดแยกอย่างครบถ้วนสำหรับความล้มเหลวแต่ละครั้ง หากมีสาเหตุหลักหลายประเภท ให้แก้ไขตามลำดับความสำคัญ:

1. แก้ไขการประเมินก่อน เพื่อรับข้อมูลที่ชัดเจนว่าการปรับเปลี่ยนเอเจนต์ช่วยได้จริงหรือไม่
2. แก้ไขการกำหนดค่าเอเจนต์เพื่อพิจารณาว่าความล้มเหลวที่เหลืออยู่เป็นปัญหาของแพลตฟอร์มจริงหรือไม่
3. จัดทำเอกสารข้อจำกัดของแพลตฟอร์มหลังจากแก้ไขข้อ 1 และ 2 แล้วเท่านั้น:

เรียกใช้กรณีทดสอบที่ได้รับผลกระทบอีกครั้งหลังจากการเปลี่ยนแปลงแต่ละครั้งก่อนดำเนินการต่อ

การจัดการความล้มเหลวในการสนทนาแบบหลายเทิร์น

สำหรับสถานการณ์แบบหลายเทิร์น ความล้มเหลวจะเกิดขึ้นเฉพาะระหว่างแต่ละเทิร์นเท่านั้น

เมื่อใดที่ควรสงสัยว่ามีปัญหาแบบหลายเทิร์น

• เอเจนต์ตอบถูกต้องในช่วงแรก ๆ แต่ขัดแย้งกับตัวเองในภายหลัง
• เอเจนต์สูญเสียบริบทจากการเรียกใช้เครื่องมือหรือการดึงข้อมูลความรู้ก่อนหน้าในเทิร์นถัดไป
• จังหวะเวลาการเลื่อนระดับจะสมเหตุสมผลก็ต่อเมื่อพิจารณาประวัติการสนทนาทั้งหมด
• น้ำเสียงของเอเจนต์แย่ลงเรื่อย ๆ เมื่อการสนทนายาวขึ้น
• เอเจนต์ขอข้อมูลที่ผู้ใช้ให้ไว้แล้ว

คำถามวินิจฉัยเพิ่มเติม

คำแนะนำการแก้ไขสำหรับปัญหาแบบหลายรอบ

• การสูญเสียบริบท: ตรวจสอบการกำหนดค่าสถานะการสนทนา ตรวจสอบให้แน่ใจว่าผลลัพธ์ของเครื่องมือและข้อเท็จจริงสำคัญถูกเก็บรักษาไว้ในแต่ละเทิร์นของการสนทนา
• ความขัดแย้ง: เพิ่มคำแนะนำที่สอดคล้องกัน เช่น "รักษาความสอดคล้องกับคำตอบก่อนหน้าของคุณในการสนทนานี้"
• ถามซ้ำ: ตรวจสอบการกำหนดค่าหน่วยความจำการสนทนาของแพลตฟอร์ม
• การเสื่อมสภาพของการสนทนาที่ยาวนาน: พิจารณาการสรุปการสนทนาหรือกลยุทธ์การตัดแต่งบริบท

การตรวจสอบความถูกต้องของกรณีทดสอบที่ผ่าน (การตรวจสอบผลลัพธ์ที่ผิด)

เฟรมเวิร์กนี้มุ่งเน้นกรณีทดสอบที่ล้มเหลว อย่างไรก็ตาม กรณีทดสอบที่ผ่านอย่างไม่ถูกต้องสามารถสร้างช่องว่างด้านคุณภาพที่ซ่อนอยู่ได้

แนวทางปฏิบัติที่แนะนำ: ตรวจสอบด้วยตนเอง 5-10% ของกรณีทดสอบที่ผ่านต่อการประเมิน โดยเฉพาะอย่างยิ่งสำหรับ:

• การให้คะแนนด้วยโมเดล (มีความเสี่ยงสูงต่อผลบวกปลอม)
• ตัวชี้วัดเชิงอัตนัย (น้ำเสียง, ความเป็นประโยชน์)
• กรณีทดสอบที่เคยล้มเหลวแต่ตอนนี้ผ่านหลังจากการเปลี่ยนแปลง

หากคุณพบผลบวกปลอม ให้ปรับเทียบเกรดเดอร์

ขั้นตอนถัดไป

หลังจากเสร็จสิ้นการคัดแยกความล้มเหลว:

• ใช้เลเยอร์ 3: จับคู่รูปแบบความล้มเหลวกับกลยุทธ์การแก้ไขปัญหา
• ใช้เลเยอร์ 4: วิเคราะห์รูปแบบ เพื่อระบุปัญหาเชิงระบบ
• ทบทวนตัวอย่างที่ใช้งานได้จริง ซึ่งแสดงให้เห็นว่าชั้นต่าง ๆ ของเฟรมเวิร์กทำงานร่วมกันอย่างไรในสถานการณ์จริง