หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
หลังจากที่คุณเรียกใช้การประเมินกับเอเจนต์ คุณมักจะมีคะแนน แต่ไม่มีคำตอบทันทีสำหรับคำถามที่สำคัญที่สุด: เอเจนต์พร้อมที่จะปรับใช้หรือไม่
เลเยอร์นี้มุ่งเน้นไปที่การตีความคะแนนการประเมินและการประเมินความพร้อมก่อนที่คุณจะตรวจสอบความล้มเหลวของกรณีทดสอบแต่ละกรณี ใช้คะแนนเป็นตัวชี้วัดในการตัดสินใจเพื่อกำหนดว่าคุณสามารถปรับใช้เอเจนต์ได้หรือไม่ ควรดำเนินการปรับปรุงต่อไป หรือจำเป็นต้องระงับการปรับใช้ ขั้นตอนนี้ยังช่วยให้คุณระบุจุดที่ต้องการการวิเคราะห์เชิงลึกเพิ่มเติม
วัตถุประสงค์ของการตีความคะแนน
เลเยอร์นี้ช่วยคุณตอบคำถามเกี่ยวกับความพร้อมระดับสูง ซึ่งรวมถึง:
- เอเจนต์พร้อมสำหรับการปรับใช้หรือไม่
- ถ้าไม่ พื้นที่ใดที่ต้องให้ความสนใจก่อน
- มีปัญหาที่ขัดขวางที่ต้องแก้ไขก่อนที่จะดำเนินการต่อหรือไม่
ขั้นตอนนี้มีน้ำหนักเบาโดยเจตนา ในกรณีส่วนใหญ่ คุณสามารถดำเนินการให้เสร็จภายใน 10–15 นาทีโดยใช้ผลการประเมินที่คุณมีอยู่แล้ว
ก่อนที่คุณเริ่มต้น
ก่อนเริ่มเลเยอร์นี้ ตรวจสอบให้แน่ใจว่าคุณมี:
- ผลลัพธ์ผ่านหรือไม่ผ่านสำหรับแต่ละกรณีทดสอบ
- คะแนนรวมสำหรับชุดการประเมินหนึ่งชุดขึ้นไป (ตัวอย่างเช่น ความปลอดภัย การยึดโยงกับข้อมูล ความถูกต้องทางธุรกิจ หรือการใช้เครื่องมือ)
หากผลการประเมินยังไม่พร้อม ให้ดำเนินการชุดการประเมินของคุณก่อน แล้วกลับมาที่ขั้นตอนนี้เมื่อคะแนนพร้อมใช้งาน
ตีความคะแนนในระดับชุดการประเมิน
เริ่มต้นด้วยการทบทวนคะแนนชุดการประเมินแทนที่จะทบทวนกรณีทดสอบแต่ละกรณี
ชุดการประเมินเป็นตัวแทนของประเด็นด้านความเสี่ยงและขีดความสามารถที่แตกต่างกัน เช่น ความปลอดภัย ลักษณะการทำงานทางธุรกิจหลัก การยืนยันความรู้ หรือการเรียกใช้เครื่องมือ การตีความคะแนนในระดับนี้ช่วยให้คุณระบุได้ว่าความล้มเหลวนั้นเกิดขึ้นเฉพาะจุดหรือเป็นระบบ
พิจารณาคำถามต่อไปนี้:
- มีคะแนนความปลอดภัยหรือคะแนนการปฏิบัติตามข้อกำหนดใดต่ำกว่าเกณฑ์ที่ยอมรับได้หรือไม่
- ชุดการประเมินธุรกิจหลักตรงตามความคาดหวังขั้นต่ำหรือไม่
- ชุดการประเมินใดที่อ่อนแอที่สุดเมื่อเทียบกับความสำคัญ
ในขั้นตอนนี้ ให้เน้นที่สัญญาณ ไม่ใช่สาเหตุที่แท้จริง
ตีความอัตราการผ่านในสองระดับ:
- ต่อชุดการประเมิน: เปอร์เซ็นต์นี้หมายถึงอะไรสำหรับความสามารถเฉพาะที่กำลังทดสอบ
- ต่อสัญญาณคุณภาพ: เปอร์เซ็นต์นี้บ่งบอกถึงอะไรในชุดการประเมินทั้งหมดที่ทดสอบสัญญาณเดียวกัน
อัตราการผ่านต่ำไม่ได้แปลว่าเอเจนต์มีข้อผิดพลาดโดยอัตโนมัติ บ่งชี้ว่าจำเป็นต้องมีการตรวจสอบ ปัญหาอาจอยู่ที่เอเจนต์ การตั้งค่าการประเมิน หรือแพลตฟอร์ม
กำหนดเกณฑ์ตามความเสี่ยง
อย่าใช้เกณฑ์เดียวกันกับเอเจนต์ทุกตัว กำหนดเกณฑ์ตามโปรไฟล์ความเสี่ยงของเอเจนต์ พิจารณาปัจจัยต่อไปนี้
| แฟคเตอร์การทำงาน | ถามคำถาม | ผลกระทบต่อค่าเกณฑ์ |
|---|---|---|
| ผลกระทบจากความล้มเหลว | จะเกิดอะไรขึ้นหากเอเจนต์ทำผิดพลาด เกิดความไม่สะดวกหรือไม่ เกิดการสูญเสียทางการเงินหรือไม่ เกิดความเสี่ยงด้านความปลอดภัยหรือไม่ | ผลกระทบที่สูงขึ้น → เกณฑ์ที่สูงขึ้น |
| ความถี่ในการใช้งาน | ผู้ใช้ทริกเกอร์สัญญาณคุณภาพนี้บ่อยแค่ไหน | ความถี่ที่สูงขึ้น → เกณฑ์ที่สูงขึ้น (การเปิดรับความเสี่ยงมากขึ้น) |
| ความพร้อมใช้งานของทางเลือกสำรอง | หากเอเจนต์ล้มเหลว จะมีเจ้าหน้าที่มนุษย์คอยช่วยเหลือหรือไม่ เร็วแค่ไหน | ไม่มีการสำรองโดยมนุษย์ → เกณฑ์ที่สูงขึ้น |
| ผู้ชม | เป็นพนักงานภายในหรือไม่ เป็นลูกค้าภายนอกหรือไม่ เป็นอุตสาหกรรมที่มีการควบคุมหรือไม่ | ภายนอกหรืออุตสาหกรรมที่มีการกำกับดูแล → เกณฑ์ที่สูงขึ้น |
ตัวอย่างเกณฑ์ตามความเสี่ยง
ตารางนี้เป็นเพียงตัวอย่างจุดเริ่มต้น ไม่ใช่มาตรฐานทั่วไป
| โปรไฟล์ความเสี่ยง | คำอธิบาย | ความปลอดภัยและการปฏิบัติตามกฎระเบียบ | ธุรกิจหลัก | ความสามารถ |
|---|---|---|---|---|
| เครื่องมือภายในที่มีความเสี่ยงต่ำ | สำหรับใช้งานภายในเท่านั้น, มีการตรวจสอบโดยมนุษย์ในผลลัพธ์ทั้งหมด, โดเมนที่มีความเสี่ยงต่ำ | 90%+ | 75%+ | 65%+ |
| เอเจนต์ให้บริการลูกค้าที่มีความเสี่ยงปานกลาง | ผู้ใช้ภายนอก, ระบบอัตโนมัติบางส่วน, ข้อผิดพลาดที่แก้ไขได้ | 95%+ | 85%+ | 75%+ |
| เอเจนต์ที่มีความเสี่ยงสูงในด้านการเงินหรืออยู่ภายใต้การกำกับดูแล | ผู้ใช้ภายนอก, การตัดสินใจที่มีผลกระทบ, การเปิดรับต่อกฎระเบียบ | 98%+ | 92%+ | 85%+ |
| เอเจนต์ที่มีความสำคัญต่อความปลอดภัย | การให้คำปรึกษาด้านสุขภาพ กฎหมาย หรือการเงินที่มีการกำกับดูแลของมนุษย์อย่างจำกัด | 99%+ | 95%+ | 90%+ |
ใช้ตัวอย่างเหล่านี้เป็นจุดอ้างอิง จากนั้นปรับเปลี่ยนตามการพิจารณาความเสี่ยงเฉพาะของคุณ
ตัวอย่างการปรับเกณฑ์
ตัวอย่างต่อไปนี้แสดงการปรับเกณฑ์สำหรับเอเจนต์สนับสนุนที่ให้บริการลูกค้าในระดับความเสี่ยงปานกลาง
| สัญญาณคุณภาพ | เกณฑ์เริ่มต้น | เกณฑ์หยุดดำเนินการ | เหตุผล |
|---|---|---|---|
| ความปลอดภัยและข้อมูลส่วนบุคคล | 95-100% | < 95% ระงับการจัดส่ง | ความล้มเหลวด้านความปลอดภัยใด ๆ มีความเสี่ยงสูง |
| การปฏิบัติตามข้อกําหนดและเนื้อหาแบบคําต่อคํา | 95-100% | < 95% ระงับการจัดส่ง | ความเสี่ยงด้านกฎระเบียบหรือกฎหมาย |
| ความถูกต้องตามข้อเท็จจริง (ธุรกิจหลัก) | 85-95% | < 80% ระงับการจัดส่ง | ข้อเสนอที่มีค่าหลัก |
| การเชื่อมโยงกับแหล่งความรู้ | 85-95% | < 80% ระงับการจัดส่ง | รากฐานสำหรับความแม่นยำ |
| การเรียกใช้เครื่องมือ | 90-95% | < 85% ระงับการจัดส่ง | ความน่าเชื่อถือในการดำเนินการงาน |
| การกําหนดเส้นทางทริกเกอร์ | 85-95% | < 80% ระงับการจัดส่ง | ความถูกต้องของโฟลว์การสนทนา |
| การเลื่อนระดับและความเหมาะสม | 90-95% | < 85% ระงับการจัดส่ง | เครือข่ายความปลอดภัยประสบการณ์ของผู้ใช้ |
| โทนเสียงและคุณภาพการตอบ | 80-90% | < 75% ระงับการจัดส่ง | สัญญาณอัตนัย |
เคล็ดลับ
ปรับให้เหมาะสม อย่าเพียงแค่คัดลอก เกณฑ์ควรสะท้อนถึงความเสี่ยงที่ยอมรับได้สำหรับกรณีการใช้งานเฉพาะของคุณ
กำหนดสถานะความพร้อม
ใช้คะแนนชุดการประเมินเพื่อกำหนดผลลัพธ์ความพร้อมโดยรวม สถานะความพร้อมทั่วไปได้แก่:
- บล็อก: ความปลอดภัย การปฏิบัติตามข้อกำหนด หรือความล้มเหลวทางธุรกิจที่สำคัญขัดขวางการปรับใช้
- ทำซ้ำ: เอเจนต์แสดงคำมั่นสัญญา แต่ต้องมีการปรับปรุงตามเป้าหมาย
- การปรับใช้แบบมีเงื่อนไข: ตัวเอเจนต์สามารถปรับใช้ได้โดยมีข้อจำกัดที่ได้รับการบันทึกและติดตาม
- ปรับใช้: เอเจนต์มีคุณสมบัติตรงตามเกณฑ์ในชุดการประเมินที่จำเป็นทั้งหมด
ตัดสินใจเกี่ยวกับความพร้อมโดยอิงตามความเสี่ยงที่ยอมรับได้และบริบทการใช้งาน ไม่ใช่คะแนนมาตรฐานเดียวสำหรับทุกกรณี
เคล็ดลับ
การปรับใช้แบบมีเงื่อนไขโดยมีข้อจำกัดที่ทราบล่วงหน้าเป็นผลลัพธ์ที่ยอมรับได้ จัดทำเอกสารข้อจำกัดที่ยอมรับและติดตามอย่างต่อเนื่องโดยใช้เทมเพลตบันทึกความล้มเหลว
พิจารณาว่าเมื่อใดที่การทำซ้ำถือว่าเสร็จสมบูรณ์
ใช้เกณฑ์ต่อไปนี้เพื่อกำหนดว่าเมื่อใดที่คุณสามารถย้ายไปนอกเหนือจากการคัดกรองไปสู่การปรับใช้หรือการตรวจสอบ
การทำซ้ำเสร็จสมบูรณ์เมื่อ:
- ชุดการประเมินทั้งหมดผ่านเกณฑ์ รวมถึงเกณฑ์ที่คุณปรับ
- ช่องว่างที่ทราบได้รับการบันทึกพร้อมระบุเจ้าของและกำหนดเวลา
- การเรียกใช้ซ้ำให้คะแนนที่สอดคล้องกันโดยมีผลต่างน้อยกว่า 5% ระหว่างการเรียกใช้
- ไม่มีปัญหาการบล็อกที่จัดประเภทเป็นปัญหาการกําหนดค่าของเอเจนต์
การทำซ้ำยังไม่เสร็จสมบูรณ์เมื่อ:
- ตรงตามค่าเกณฑ์ แต่ยังไม่เข้าใจสาเหตุของความผิดพลาดที่เหลืออยู่
- คะแนนดีขึ้นเพียงเพราะกรณีทดสอบที่ยากถูกตัดออก
- ข้อจำกัดของแพลตฟอร์มได้รับการยอมรับโดยปริยายโดยไม่ต้องมีเอกสารประกอบ
การจัดการความไม่แน่นอนในคะแนน
เอเจนต์และตัวให้เกรดที่ใช้โมเดลภาษาสร้างผลลัพธ์ที่แปรผัน ใช้แนวทางปฏิบัติต่อไปนี้:
- กำหนดค่าอ้างอิง: ดำเนินการชุดการประเมินทั้งหมดอย่างน้อยสามครั้งก่อนที่จะถือว่าคะแนนใด ๆ เป็นค่าอ้างอิง ใช้ค่าเฉลี่ยเป็นคะแนนที่ใช้ในการประเมิน หากดำเนินการประเมินน้อยกว่าสามครั้ง คุณจะไม่สามารถแยกแยะสัญญาณจริงจากสัญญาณรบกวนได้
- ความแปรปรวนของเกรดระหว่างรอบการประเมิน: ความแปรปรวนระหว่างรอบการประเมินสูงสุด 5% ถือเป็นเรื่องปกติสำหรับผู้ให้เกรดแบบโมเดลภาษา หากการเรียกใช้แตกต่างกันมากกว่า 10% ให้ตรวจสอบความน่าเชื่อถือของผู้ให้คะแนนก่อนที่คุณจะวินิจฉัยปัญหาของเอเจนต์ ดูรายละเอียดเพิ่มเติมได้ที่ การตรวจสอบผู้ให้เกรด
- ตีความการเปลี่ยนแปลงคะแนนหลังจากการแก้ไข: สำหรับชุดการประเมินที่มีกรณีทดสอบน้อยกว่า 30 กรณี หากกรณีทดสอบเดียวเปลี่ยนจากไม่ผ่านเป็นผ่าน คะแนนจะเปลี่ยนไปอย่างน้อย 3% อย่าให้ความสำคัญกับการเปลี่ยนแปลงเล็กน้อยมากเกินไป สำหรับชุดการประเมินที่มีกรณีทดสอบ 50 กรณีขึ้นไป ให้ถือว่าการเปลี่ยนแปลง 5% ขึ้นไปเป็นข้อมูลที่มีนัยสำคัญ หากมีข้อสงสัย ให้เรียกใช้การประเมินซ้ำสามครั้งและเปรียบเทียบค่าเฉลี่ยกับค่าเฉลี่ยพื้นฐานของคุณ
- ระบุกรณีทดสอบที่ไม่เสถียร (ผ่านบางครั้ง ล้มเหลวบางครั้ง): กรณีทดสอบที่ผ่านสองในสามครั้งถือว่าอยู่ในระดับกลาง ตรวจสอบเพิ่มเติม ค่าที่คาดหวังเข้มงวดเกินไป (การตั้งค่าการประเมิน) หรือเอเจนต์ไม่สอดคล้องกันอย่างแท้จริง (การกำหนดค่าเอเจนต์) หรือไม่ หากเอเจนต์สร้างการตอบที่แตกต่างกันสองแบบ แต่ยอมรับได้ทั้งสองอย่าง การประเมินจะเข้มงวดเกินไป
ขั้นตอนถัดไป
เมื่อคุณตีความคะแนนของคุณและระบุจุดที่จะมุ่งเน้น:
- ใช้ เลเยอร์ 2: คัดกรองความล้มเหลว เพื่อวินิจฉัยกรณีทดสอบที่ล้มเหลว
- ใช้ เลเยอร์ 3: แมปรูปแบบความล้มเหลวกับกลยุทธ์การแก้ไข เพื่อดำเนินการแก้ไขอย่างตรงเป้าหมาย
- ใช้เลเยอร์ 4: วิเคราะห์รูปแบบ เพื่อระบุปัญหาเชิงระบบ
- ทบทวนตัวอย่างที่ใช้งานได้จริง ซึ่งแสดงให้เห็นว่าชั้นต่าง ๆ ของเฟรมเวิร์กทำงานร่วมกันอย่างไรในสถานการณ์จริง
หากกรณีทดสอบมากกว่า 10 กรณีล้มเหลว ให้วิเคราะห์รูปแบบ ก่อนที่คุณจะคัดกรองความล้มเหลวแต่ละรายการ