ติดตามความล้มเหลวในการประเมินด้วยเทมเพลตการบันทึกแบบมีโครงสร้าง

การจัดทำเอกสารความล้มเหลวในการประเมินผลช่วยสร้างความรู้จากสถาบันที่ช่วยเร่งเวลาในการคัดกรองในอนาคต เมื่อคุณพบความล้มเหลวประเภทเดียวกันอีกครั้ง คุณจะทราบแล้วว่าควรตรวจสอบสิ่งใดก่อน แทนที่จะต้องค้นหาสาเหตุเดิมซ้ำอีกครั้ง

ใช้เทมเพลตที่มีโครงสร้างเหล่านี้เพื่อบันทึกการวิเคราะห์ความล้มเหลวจากเซสชันการวิเคราะห์ของคุณ เลือกเวอร์ชันที่ตรงกับความต้องการและเวิร์กโฟลว์ของทีมของคุณ

สำคัญ

ทำการคัดกรองความล้มเหลวก่อน บันทึกความล้มเหลวในขณะทำการวินิจฉัย

เลือกรูปแบบเทมเพลตที่เหมาะกับทีมของคุณ:

บันทึกความล้มเหลวขนาดเล็ก

บันทึกความล้มเหลวที่มีขนาดเล็กมีไว้สำหรับทีมขนาดเล็กหรือเซสชันการคัดกรองแบบรวดเร็ว

คัดลอกตารางนี้และกรอกข้อมูลในระหว่างเซสชันการคัดกรอง เพิ่มหนึ่งแถวต่อความล้มเหลว

กรณีทดสอบ ชนิดสาเหตุหลัก ปัญหาที่พบ การเปลี่ยนแปลงที่ดำเนินการ แก้ไขแล้ว
___ การตั้งค่าการประเมิน, การกำหนดค่าเอเจนต์, หรือข้อจำกัดของแพลตฟอร์ม ___ ___ ใช่ / ไม่ใช่ / บางส่วน
___ ___ ___ ___ ___
___ ___ ___ ___ ___

ตัวอย่าง (ที่กรอกแล้ว)

กรณีทดสอบ ชนิดสาเหตุหลัก ปัญหาที่พบ การเปลี่ยนแปลงที่ดำเนินการ แก้ไขแล้ว
KG-003 การตั้งค่าการประเมิน คำตอบที่คาดหวังล้าสมัย (นโยบายการคืนสินค้าแบบเดิม: 30 วัน; นโยบายปัจจุบัน: 15 วันทำการ) อัปเดตคำตอบที่คาดหวังเป็น "15 วันทำการ" ใช่
KG-005 การกำหนดค่าเอเจนต์ เอเจนต์ให้รายละเอียดการรับประกันที่ไม่ได้อยู่ในแหล่งความรู้ใด ๆ เพิ่มคำแนะนำการอ้างอิงกับแหล่งความรู้: "ตอบเฉพาะจากแหล่งความรู้เท่านั้น" ใช่
TI-002 ข้อจำกัดของแพลตฟอร์ม การจัดอันดับการค้นหาข้อมูลไม่คำนึงถึงชื่อเอกสารที่ตรงกัน; คำถามที่ถามบ่อยถูกเรียกใช้แทนคู่มือผลิตภัณฑ์เสมอ ปรับโครงสร้างหัวข้อเอกสารเป็นวิธีแก้ไขชั่วคราว และส่งเรื่องต่อไปยังทีมแพลตฟอร์ม บางส่วน
FA-019 ข้อจำกัดของแพลตฟอร์ม การสอบถามแบบคลุมเครือไม่สามารถดึงแหล่งข้อมูลที่ถูกต้องได้อย่างน่าเชื่อถือ บันทึกเป็นข้อจำกัดที่ทราบ การติดตามในการทำงานจริง ไม่มี (ช่องว่างที่ทราบแล้ว)

บันทึกความล้มเหลวโดยละเอียด

บันทึกความล้มเหลวโดยละเอียดนี้เหมาะสำหรับทีมที่ต้องการแบ่งปันผลการค้นพบ ติดตามสถานะในแต่ละรอบ หรือสร้างฐานความรู้ของสถาบันสำหรับเอเจนต์หลายตัว

หมายเหตุ

ดาวน์โหลดเวอร์ชัน CSV ของเทมเพลตนี้

เรกคอร์ดต่อความล้มเหลว

ฟิลด์ ค่า
ID กรณีทดสอบ (จากชุดการประเมิน เช่น KG-003)
ชุดการประเมิน (เรกคอร์ดนี้อยู่ในชุดการประเมินใด)
สัญญาณคุณภาพ (ความถูกต้องตามข้อเท็จจริง การอ้างอิงกับความรู้ การเรียกใช้เครื่องมือ ฯลฯ)
ประเภทสาเหตุหลัก (การตั้งค่าการประเมิน, การกำหนดค่าเอเจนต์, ข้อจำกัดของแพลตฟอร์ม, การรวมเครื่องมือ, ไม่จำแนกประเภท)
รายละเอียดสาเหตุหลัก (ประเภทย่อยที่เฉพาะเจาะจง เช่น "คำตอบที่คาดหวังที่ล้าสมัย", "ความคลุมเครือของคำอธิบายเครื่องมือ")
ปัญหาที่พบ: (สิ่งที่เอเจนต์ทำเทียบกับสิ่งที่ควรทำ)
เส้นทางการวินิจฉัย (คำถามคัดกรองใดที่ส่งผลให้เกิดการจำแนกประเภทนี้ เช่น "ขั้นตอนที่ 1, Q1.2—คำตอบที่คาดหวังล้าสมัย")
การดำเนินการแก้ไข (รายการที่เปลี่ยนแปลง พร้อมรายละเอียดที่เพียงพอในการทำซ้ำ)
สถานะ (เปิด, อยู่ระหว่างดำเนินการ, แก้ไขแล้ว, จะไม่แก้ไข)
เหตุผลที่ไม่แก้ไข: (ถ้าไม่แก้ไข: เหตุผล และมีการติดตามอะไรบ้าง)
การตรวจสอบ (ผลการทดสอบซ้ำ: ผ่านหรือไม่ผ่าน, วันที่, หมายเลขรอบการทำซ้ำ)
วันที่คัดกรอง ___
คัดกรองโดย ___

ตัวอย่าง (ที่กรอกแล้ว)

ฟิลด์ ค่า
ID กรณีทดสอบ KG-005
ชุดการประเมิน การเชื่อมโยงกับแหล่งความรู้
สัญญาณคุณภาพ การเชื่อมโยงกับแหล่งความรู้
ประเภทสาเหตุหลัก การกำหนดค่าเอเจนต์
รายละเอียดสาเหตุหลัก ข้อมูลที่ไม่ถูกต้อง เนื้อหาที่เอเจนต์สร้างขึ้นไม่ได้อยู่ในแหล่งความรู้ใด ๆ
ปัญหาที่พบ: เอเจนต์อ้างว่า "รับประกันแบบขยายเวลา 3 ปี ครอบคลุมทุกชิ้นส่วนและค่าแรง" ในขณะที่แหล่งข้อมูลระบุว่า "การรับประกันมาตรฐาน 2 ปี"
เส้นทางการวินิจฉัย ขั้นตอนที่ 1 ผ่าน (การประเมินถูกต้อง) → ขั้นตอนที่ 2, Q2.4 (ตอบโดยไม่มีแหล่งอ้างอิง) + Q2.5 (ขัดแย้งกับแหล่งอ้างอิง)
การดำเนินการแก้ไข เพิ่มในพร้อมท์ของระบบ: "ตอบตามข้อมูลที่พบในแหล่งความรู้ของคุณเท่านั้น หากไม่มีข้อมูล ให้พูดอย่างนั้น"
สถานะ แก้ไขแล้ว
เหตุผลที่ไม่แก้ไข: ไม่ระบุ
การตรวจสอบ ผ่าน (การทำซ้ำรอบที่ 2, 15 กุมภาพันธ์)
วันที่คัดกรอง 14 ก.พ.
คัดกรองโดย [ชื่อ]

บันทึกสรุปผลการทำซ้ำ

ติดตามคะแนนและการเปลี่ยนแปลงในการทำซ้ำสำหรับการวิเคราะห์แนวโน้ม

การทำซ้ำ วันที่ การเปลี่ยนแปลงที่ดำเนินการ ชุดการประเมินที่ได้รับผลกระทบ คะแนนก่อนหน้า คะแนนหลัง เดลตา หมายเหตุ
1 ___ พื้นฐาน (ไม่มีการเปลี่ยนแปลง) ทั้งหมด — ___% — การดำเนินการครั้งแรก
2 ___ ___ ___ ___% ___% ___ ___
3 ___ ___ ___ ___% ___% ___ ___

สรุปความเข้มข้น

หลังจากแต่ละเซสชันการคัดกรอง ให้รวบรวมประเภทของสาเหตุที่แท้จริงเพื่อค้นหารูปแบบการให้ความสนใจ

ชนิดสาเหตุหลัก จำนวน % ของผลรวม เป็นปัญหาเชิงระบบหรือไม่
การตั้งค่าการประเมิน ___ ___% (80%+ = หยุดการทำงานของเอเจนต์ชั่วคราว แก้ไขการประเมินก่อน)
การกำหนดค่าเอเจนต์ ___ ___% (80%+ ในพื้นที่เดียว = ปัญหาด้านสถาปัตยกรรม)
ข้อจำกัดของแพลตฟอร์ม ___ ___% (80%+ = ประเมินขอบเขตใหม่, เลื่อนระดับ)
เครื่องมือหรือการผนวกรวม ___ ___% (แก้ไขส่วนหลัง ไม่ใช่เอเจนต์)
ไม่ได้จัดประเภท ___ ___% (ติดตาม; อาจจำแนกได้เมื่อมีข้อมูลเพิ่มเติม)
ผลรวม ___ 100%

แนวทางปฏิบัติในการรักษาบันทึก

  • อัปเดตแบบเรียลไทม์ระหว่างการคัดกรอง อย่าอัปเดตเป็นชุดงานหลังจากเซสชัน
  • บันทึกผลลัพธ์ที่เป็นค่าลบด้วย เช่น "ลอง X แล้วไม่สำเร็จ" แนวทางปฏิบัตินี้ช่วยป้องกันการลองวิธีที่ล้มเหลวซ้ำ
  • ตรวจสอบก่อนการทำซ้ำแต่ละรอบ ตรวจสอบรูปแบบก่อนที่จะจัดการกับความล้มเหลวแต่ละรายการ
  • แชร์ทั่วทั้งทีม แชร์บันทึกกับทีมเพื่อให้ทุกคนเห็นการค้นพบก่อนหน้านี้
  • เก็บถาวร อย่าลบ เก็บรายการที่แก้ไขแล้วสำหรับการวิเคราะห์รูปแบบ ย้ายเรกคอร์ดไปยังส่วนที่เก็บถาวรหากบันทึกที่ใช้งานอยู่ยาวเกินไป

ขั้นตอนถัดไป

หลังจากการบันทึกความล้มเหลว:

  • Last updated on