เลเยอร์ 1: ตีความคะแนนการประเมินและประเมินความพร้อม

หลังจากที่คุณเรียกใช้การประเมินกับเอเจนต์ คุณมักจะมีคะแนน แต่ไม่มีคำตอบทันทีสำหรับคำถามที่สำคัญที่สุด: เอเจนต์พร้อมที่จะปรับใช้หรือไม่

เลเยอร์นี้มุ่งเน้นไปที่การตีความคะแนนการประเมินและการประเมินความพร้อมก่อนที่คุณจะตรวจสอบความล้มเหลวของกรณีทดสอบแต่ละกรณี ใช้คะแนนเป็นตัวชี้วัดในการตัดสินใจเพื่อกำหนดว่าคุณสามารถปรับใช้เอเจนต์ได้หรือไม่ ควรดำเนินการปรับปรุงต่อไป หรือจำเป็นต้องระงับการปรับใช้ ขั้นตอนนี้ยังช่วยให้คุณระบุจุดที่ต้องการการวิเคราะห์เชิงลึกเพิ่มเติม

วัตถุประสงค์ของการตีความคะแนน

เลเยอร์นี้ช่วยคุณตอบคำถามเกี่ยวกับความพร้อมระดับสูง ซึ่งรวมถึง:

  • เอเจนต์พร้อมสำหรับการปรับใช้หรือไม่
  • ถ้าไม่ พื้นที่ใดที่ต้องให้ความสนใจก่อน
  • มีปัญหาที่ขัดขวางที่ต้องแก้ไขก่อนที่จะดำเนินการต่อหรือไม่

ขั้นตอนนี้มีน้ำหนักเบาโดยเจตนา ในกรณีส่วนใหญ่ คุณสามารถดำเนินการให้เสร็จภายใน 10–15 นาทีโดยใช้ผลการประเมินที่คุณมีอยู่แล้ว

ก่อนที่คุณเริ่มต้น

ก่อนเริ่มเลเยอร์นี้ ตรวจสอบให้แน่ใจว่าคุณมี:

  • ผลลัพธ์ผ่านหรือไม่ผ่านสำหรับแต่ละกรณีทดสอบ
  • คะแนนรวมสำหรับชุดการประเมินหนึ่งชุดขึ้นไป (ตัวอย่างเช่น ความปลอดภัย การยึดโยงกับข้อมูล ความถูกต้องทางธุรกิจ หรือการใช้เครื่องมือ)

หากผลการประเมินยังไม่พร้อม ให้ดำเนินการชุดการประเมินของคุณก่อน แล้วกลับมาที่ขั้นตอนนี้เมื่อคะแนนพร้อมใช้งาน

ตีความคะแนนในระดับชุดการประเมิน

เริ่มต้นด้วยการทบทวนคะแนนชุดการประเมินแทนที่จะทบทวนกรณีทดสอบแต่ละกรณี

ชุดการประเมินเป็นตัวแทนของประเด็นด้านความเสี่ยงและขีดความสามารถที่แตกต่างกัน เช่น ความปลอดภัย ลักษณะการทำงานทางธุรกิจหลัก การยืนยันความรู้ หรือการเรียกใช้เครื่องมือ การตีความคะแนนในระดับนี้ช่วยให้คุณระบุได้ว่าความล้มเหลวนั้นเกิดขึ้นเฉพาะจุดหรือเป็นระบบ

พิจารณาคำถามต่อไปนี้:

  • มีคะแนนความปลอดภัยหรือคะแนนการปฏิบัติตามข้อกำหนดใดต่ำกว่าเกณฑ์ที่ยอมรับได้หรือไม่
  • ชุดการประเมินธุรกิจหลักตรงตามความคาดหวังขั้นต่ำหรือไม่
  • ชุดการประเมินใดที่อ่อนแอที่สุดเมื่อเทียบกับความสำคัญ

ในขั้นตอนนี้ ให้เน้นที่สัญญาณ ไม่ใช่สาเหตุที่แท้จริง

ตีความอัตราการผ่านในสองระดับ:

  • ต่อชุดการประเมิน: เปอร์เซ็นต์นี้หมายถึงอะไรสำหรับความสามารถเฉพาะที่กำลังทดสอบ
  • ต่อสัญญาณคุณภาพ: เปอร์เซ็นต์นี้บ่งบอกถึงอะไรในชุดการประเมินทั้งหมดที่ทดสอบสัญญาณเดียวกัน

อัตราการผ่านต่ำไม่ได้แปลว่าเอเจนต์มีข้อผิดพลาดโดยอัตโนมัติ บ่งชี้ว่าจำเป็นต้องมีการตรวจสอบ ปัญหาอาจอยู่ที่เอเจนต์ การตั้งค่าการประเมิน หรือแพลตฟอร์ม

กำหนดเกณฑ์ตามความเสี่ยง

อย่าใช้เกณฑ์เดียวกันกับเอเจนต์ทุกตัว กำหนดเกณฑ์ตามโปรไฟล์ความเสี่ยงของเอเจนต์ พิจารณาปัจจัยต่อไปนี้

แฟคเตอร์การทำงาน ถามคำถาม ผลกระทบต่อค่าเกณฑ์
ผลกระทบจากความล้มเหลว จะเกิดอะไรขึ้นหากเอเจนต์ทำผิดพลาด เกิดความไม่สะดวกหรือไม่ เกิดการสูญเสียทางการเงินหรือไม่ เกิดความเสี่ยงด้านความปลอดภัยหรือไม่ ผลกระทบที่สูงขึ้น → เกณฑ์ที่สูงขึ้น
ความถี่ในการใช้งาน ผู้ใช้ทริกเกอร์สัญญาณคุณภาพนี้บ่อยแค่ไหน ความถี่ที่สูงขึ้น → เกณฑ์ที่สูงขึ้น (การเปิดรับความเสี่ยงมากขึ้น)
ความพร้อมใช้งานของทางเลือกสำรอง หากเอเจนต์ล้มเหลว จะมีเจ้าหน้าที่มนุษย์คอยช่วยเหลือหรือไม่ เร็วแค่ไหน ไม่มีการสำรองโดยมนุษย์ → เกณฑ์ที่สูงขึ้น
ผู้ชม เป็นพนักงานภายในหรือไม่ เป็นลูกค้าภายนอกหรือไม่ เป็นอุตสาหกรรมที่มีการควบคุมหรือไม่ ภายนอกหรืออุตสาหกรรมที่มีการกำกับดูแล → เกณฑ์ที่สูงขึ้น

ตัวอย่างเกณฑ์ตามความเสี่ยง

ตารางนี้เป็นเพียงตัวอย่างจุดเริ่มต้น ไม่ใช่มาตรฐานทั่วไป

โปรไฟล์ความเสี่ยง คำอธิบาย ความปลอดภัยและการปฏิบัติตามกฎระเบียบ ธุรกิจหลัก ความสามารถ
เครื่องมือภายในที่มีความเสี่ยงต่ำ สำหรับใช้งานภายในเท่านั้น, มีการตรวจสอบโดยมนุษย์ในผลลัพธ์ทั้งหมด, โดเมนที่มีความเสี่ยงต่ำ 90%+ 75%+ 65%+
เอเจนต์ให้บริการลูกค้าที่มีความเสี่ยงปานกลาง ผู้ใช้ภายนอก, ระบบอัตโนมัติบางส่วน, ข้อผิดพลาดที่แก้ไขได้ 95%+ 85%+ 75%+
เอเจนต์ที่มีความเสี่ยงสูงในด้านการเงินหรืออยู่ภายใต้การกำกับดูแล ผู้ใช้ภายนอก, การตัดสินใจที่มีผลกระทบ, การเปิดรับต่อกฎระเบียบ 98%+ 92%+ 85%+
เอเจนต์ที่มีความสำคัญต่อความปลอดภัย การให้คำปรึกษาด้านสุขภาพ กฎหมาย หรือการเงินที่มีการกำกับดูแลของมนุษย์อย่างจำกัด 99%+ 95%+ 90%+

ใช้ตัวอย่างเหล่านี้เป็นจุดอ้างอิง จากนั้นปรับเปลี่ยนตามการพิจารณาความเสี่ยงเฉพาะของคุณ

ตัวอย่างการปรับเกณฑ์

ตัวอย่างต่อไปนี้แสดงการปรับเกณฑ์สำหรับเอเจนต์สนับสนุนที่ให้บริการลูกค้าในระดับความเสี่ยงปานกลาง

สัญญาณคุณภาพ เกณฑ์เริ่มต้น เกณฑ์หยุดดำเนินการ เหตุผล
ความปลอดภัยและข้อมูลส่วนบุคคล 95-100% < 95% ระงับการจัดส่ง ความล้มเหลวด้านความปลอดภัยใด ๆ มีความเสี่ยงสูง
การปฏิบัติตามข้อกําหนดและเนื้อหาแบบคําต่อคํา 95-100% < 95% ระงับการจัดส่ง ความเสี่ยงด้านกฎระเบียบหรือกฎหมาย
ความถูกต้องตามข้อเท็จจริง (ธุรกิจหลัก) 85-95% < 80% ระงับการจัดส่ง ข้อเสนอที่มีค่าหลัก
การเชื่อมโยงกับแหล่งความรู้ 85-95% < 80% ระงับการจัดส่ง รากฐานสำหรับความแม่นยำ
การเรียกใช้เครื่องมือ 90-95% < 85% ระงับการจัดส่ง ความน่าเชื่อถือในการดำเนินการงาน
การกําหนดเส้นทางทริกเกอร์ 85-95% < 80% ระงับการจัดส่ง ความถูกต้องของโฟลว์การสนทนา
การเลื่อนระดับและความเหมาะสม 90-95% < 85% ระงับการจัดส่ง เครือข่ายความปลอดภัยประสบการณ์ของผู้ใช้
โทนเสียงและคุณภาพการตอบ 80-90% < 75% ระงับการจัดส่ง สัญญาณอัตนัย

เคล็ดลับ

ปรับให้เหมาะสม อย่าเพียงแค่คัดลอก เกณฑ์ควรสะท้อนถึงความเสี่ยงที่ยอมรับได้สำหรับกรณีการใช้งานเฉพาะของคุณ

กำหนดสถานะความพร้อม

ใช้คะแนนชุดการประเมินเพื่อกำหนดผลลัพธ์ความพร้อมโดยรวม สถานะความพร้อมทั่วไปได้แก่:

  • บล็อก: ความปลอดภัย การปฏิบัติตามข้อกำหนด หรือความล้มเหลวทางธุรกิจที่สำคัญขัดขวางการปรับใช้
  • ทำซ้ำ: เอเจนต์แสดงคำมั่นสัญญา แต่ต้องมีการปรับปรุงตามเป้าหมาย
  • การปรับใช้แบบมีเงื่อนไข: ตัวเอเจนต์สามารถปรับใช้ได้โดยมีข้อจำกัดที่ได้รับการบันทึกและติดตาม
  • ปรับใช้: เอเจนต์มีคุณสมบัติตรงตามเกณฑ์ในชุดการประเมินที่จำเป็นทั้งหมด

ตัดสินใจเกี่ยวกับความพร้อมโดยอิงตามความเสี่ยงที่ยอมรับได้และบริบทการใช้งาน ไม่ใช่คะแนนมาตรฐานเดียวสำหรับทุกกรณี

เคล็ดลับ

การปรับใช้แบบมีเงื่อนไขโดยมีข้อจำกัดที่ทราบล่วงหน้าเป็นผลลัพธ์ที่ยอมรับได้ จัดทำเอกสารข้อจำกัดที่ยอมรับและติดตามอย่างต่อเนื่องโดยใช้เทมเพลตบันทึกความล้มเหลว

พิจารณาว่าเมื่อใดที่การทำซ้ำถือว่าเสร็จสมบูรณ์

ใช้เกณฑ์ต่อไปนี้เพื่อกำหนดว่าเมื่อใดที่คุณสามารถย้ายไปนอกเหนือจากการคัดกรองไปสู่การปรับใช้หรือการตรวจสอบ

การทำซ้ำเสร็จสมบูรณ์เมื่อ:

  • ชุดการประเมินทั้งหมดผ่านเกณฑ์ รวมถึงเกณฑ์ที่คุณปรับ
  • ช่องว่างที่ทราบได้รับการบันทึกพร้อมระบุเจ้าของและกำหนดเวลา
  • การเรียกใช้ซ้ำให้คะแนนที่สอดคล้องกันโดยมีผลต่างน้อยกว่า 5% ระหว่างการเรียกใช้
  • ไม่มีปัญหาการบล็อกที่จัดประเภทเป็นปัญหาการกําหนดค่าของเอเจนต์

การทำซ้ำยังไม่เสร็จสมบูรณ์เมื่อ:

  • ตรงตามค่าเกณฑ์ แต่ยังไม่เข้าใจสาเหตุของความผิดพลาดที่เหลืออยู่
  • คะแนนดีขึ้นเพียงเพราะกรณีทดสอบที่ยากถูกตัดออก
  • ข้อจำกัดของแพลตฟอร์มได้รับการยอมรับโดยปริยายโดยไม่ต้องมีเอกสารประกอบ

การจัดการความไม่แน่นอนในคะแนน

เอเจนต์และตัวให้เกรดที่ใช้โมเดลภาษาสร้างผลลัพธ์ที่แปรผัน ใช้แนวทางปฏิบัติต่อไปนี้:

  • กำหนดค่าอ้างอิง: ดำเนินการชุดการประเมินทั้งหมดอย่างน้อยสามครั้งก่อนที่จะถือว่าคะแนนใด ๆ เป็นค่าอ้างอิง ใช้ค่าเฉลี่ยเป็นคะแนนที่ใช้ในการประเมิน หากดำเนินการประเมินน้อยกว่าสามครั้ง คุณจะไม่สามารถแยกแยะสัญญาณจริงจากสัญญาณรบกวนได้
  • ความแปรปรวนของเกรดระหว่างรอบการประเมิน: ความแปรปรวนระหว่างรอบการประเมินสูงสุด 5% ถือเป็นเรื่องปกติสำหรับผู้ให้เกรดแบบโมเดลภาษา หากการเรียกใช้แตกต่างกันมากกว่า 10% ให้ตรวจสอบความน่าเชื่อถือของผู้ให้คะแนนก่อนที่คุณจะวินิจฉัยปัญหาของเอเจนต์ ดูรายละเอียดเพิ่มเติมได้ที่ การตรวจสอบผู้ให้เกรด
  • ตีความการเปลี่ยนแปลงคะแนนหลังจากการแก้ไข: สำหรับชุดการประเมินที่มีกรณีทดสอบน้อยกว่า 30 กรณี หากกรณีทดสอบเดียวเปลี่ยนจากไม่ผ่านเป็นผ่าน คะแนนจะเปลี่ยนไปอย่างน้อย 3% อย่าให้ความสำคัญกับการเปลี่ยนแปลงเล็กน้อยมากเกินไป สำหรับชุดการประเมินที่มีกรณีทดสอบ 50 กรณีขึ้นไป ให้ถือว่าการเปลี่ยนแปลง 5% ขึ้นไปเป็นข้อมูลที่มีนัยสำคัญ หากมีข้อสงสัย ให้เรียกใช้การประเมินซ้ำสามครั้งและเปรียบเทียบค่าเฉลี่ยกับค่าเฉลี่ยพื้นฐานของคุณ
  • ระบุกรณีทดสอบที่ไม่เสถียร (ผ่านบางครั้ง ล้มเหลวบางครั้ง): กรณีทดสอบที่ผ่านสองในสามครั้งถือว่าอยู่ในระดับกลาง ตรวจสอบเพิ่มเติม ค่าที่คาดหวังเข้มงวดเกินไป (การตั้งค่าการประเมิน) หรือเอเจนต์ไม่สอดคล้องกันอย่างแท้จริง (การกำหนดค่าเอเจนต์) หรือไม่ หากเอเจนต์สร้างการตอบที่แตกต่างกันสองแบบ แต่ยอมรับได้ทั้งสองอย่าง การประเมินจะเข้มงวดเกินไป

ขั้นตอนถัดไป

เมื่อคุณตีความคะแนนของคุณและระบุจุดที่จะมุ่งเน้น:

หากกรณีทดสอบมากกว่า 10 กรณีล้มเหลว ให้วิเคราะห์รูปแบบ ก่อนที่คุณจะคัดกรองความล้มเหลวแต่ละรายการ