ตรวจสอบรายการตรวจสอบการปรับปรุง

การปรับแต่งเอเจนต์ไม่ได้จบลงเมื่อเปิดตัวแล้ว Copilot Studio มีข้อมูลวิเคราะห์เชิงลึกที่ช่วยให้คุณเข้าใจว่าผู้ใช้โต้ตอบกับเอเจนต์ของคุณอย่างไร จุดที่การสนทนาประสบความสำเร็จหรือขาดตอน และประสิทธิภาพการใช้เครื่องมือและแหล่งความรู้ของเอเจนต์ บทความนี้นำเสนอรายการตรวจสอบที่มีโครงสร้างพร้อมแนวทางปฏิบัติที่ดีที่สุด เพื่อช่วยให้คุณประเมินและปรับปรุงเอเจนต์ของคุณอย่างต่อเนื่อง

ยืนยันความพร้อมในการปรับปรุงและการวิเคราะห์ของคุณ

ใช้คำถามเหล่านี้ในการตรวจสอบตามรอบ เช่น การประชุมสปรินต์ การเพิ่มประสิทธิภาพรายเดือน หรือการเตรียมความพร้อมก่อนการเผยแพร่

ธีมและรูปแบบจุดประสงค์ของผู้ใช้

เสร็จสมบูรณ์หรือไม่ งาน
คุณกำลังตรวจสอบธีมเพื่อระบุกลุ่มคำถามของผู้ใช้และจุดประสงค์ที่เกิดขึ้นใหม่ใช่หรือไม่
คุณกำลังเพิ่มธีมที่เกิดขึ้นบ่อยครั้งในงานค้างของคุณเพื่อการปรับปรุงในอนาคตใช่หรือไม่

ผลลัพธ์ของการสนทนา

เสร็จสมบูรณ์หรือไม่ งาน
คุณวิเคราะห์บทสนทนาที่ได้รับการแก้ไข ยกระดับ ถูกละทิ้ง และไม่มีส่วนร่วมเพื่อหาจุดปรับปรุงใช่หรือไม่
คุณได้ตรวจสอบให้แน่ใจหรือไม่ว่าการสนทนาแต่ละรายการสิ้นสุดด้วยหัวข้อ End of Conversation เพื่อให้สามารถบันทึกผลลัพธ์ได้อย่างถูกต้อง
คุณกำลังตรวจสอบยอดที่พุ่งขึ้นของเซสชันที่ถูกละทิ้งเพื่อระบุการตอบที่ไม่ชัดเจนหรือตรรกะที่ขาดหายไปใช่หรือไม่
คุณกำลังตรวจสอบว่าเส้นทางการเลื่อนระดับจะทริกเกอร์เฉพาะเมื่อเหมาะสมหรือไม่

อัตราและคุณภาพของคำตอบที่สร้างโดยอัตโนมัติ

เสร็จสมบูรณ์หรือไม่ งาน
คุณทบทวนอัตราคำตอบที่สร้างขึ้นเพื่อระบุช่องว่างในความรู้หรือความครอบคลุมที่ขาดหายไปหรือไม่
คุณตรวจสอบตัวชี้วัดคุณภาพของคำตอบ เช่น ความสมบูรณ์ ความอิงกับข้อมูลจริง และความเกี่ยวข้องหรือไม่
คุณตรวจสอบคำตอบที่มีคุณภาพต่ำและดำเนินการแก้ไขสาเหตุที่ถูกแจ้งไว้ในการวิเคราะห์หรือไม่

การใช้เครื่องมือและการดำเนินการ

เสร็จสมบูรณ์หรือไม่ งาน
คุณตรวจสอบความถี่ในการเรียกใช้เครื่องมือและการดำเนินการหรือไม่ และตรวจสอบว่าสำเร็จหรือล้มเหลวหรือไม่
คุณระบุเครื่องมือที่ไม่ได้ใช้งานหรือเกิดข้อผิดพลาดได้ง่าย และกำหนดว่าจะปรับให้เหมาะสมหรือลบออกหรือไม่
คุณตรวจสอบความถูกต้องว่าเครื่องมือที่ใช้ในการประสานการทำงานที่สร้างโดยอัตโนมัติทำงานได้อย่างน่าเชื่อถือหรือไม่

ประสิทธิภาพของแหล่งความรู้

เสร็จสมบูรณ์หรือไม่ งาน
คุณตรวจสอบการใช้งานและอัตราข้อผิดพลาดของแหล่งความรู้ทั้งหมดหรือไม่
คุณจัดลำดับความสำคัญของการอัปเดตสำหรับแหล่งความรู้ที่มีอัตราข้อผิดพลาดสูงหรือผลลัพธ์ที่ไม่สอดคล้องกันหรือไม่
คุณตรวจสอบว่าแหล่งความรู้ที่ถูกต้องสนับสนุนสถานการณ์ที่ตั้งใจไว้หรือไม่

ความพึงพอใจและข้อคิดเห็นของผู้ใช้

เสร็จสมบูรณ์หรือไม่ งาน
คุณกำลังรวบรวมความคิดเห็นของผู้ใช้ผ่านการให้คะแนนนิ้วโป้งขึ้น/ลงและแบบสอบถาม CSAT หรือไม่
คุณกำลังวิเคราะห์แนวโน้มของข้อคิดเห็นเพื่อค้นหาการตอบที่ไม่ชัดเจนหรือการสนทนาที่ไม่ราบรื่นหรือไม่
คุณได้เพิ่มรูปแบบการโต้ตอบที่มีความพึงพอใจต่ำเข้าไปในงานค้างสำหรับการออกแบบใหม่ใช่หรือไม่

คำบรรยายแนวทางปฏิบัติ

  • ถือว่าการวิเคราะห์เป็นลูปการปรับปรุงอย่างต่อเนื่อง: ใช้การวิเคราะห์เพื่อขับเคลื่อนการเปลี่ยนแปลงแบบค่อยเป็นค่อยไป ใช้ธีม คำตอบที่ไม่สมบูรณ์ และรูปแบบความล้มเหลวเพื่อแจ้งการวางแผนสปรินต์และจัดลำดับความสำคัญของรายการงานค้าง
  • ให้ความสำคัญกับคุณภาพของผลลัพธ์มากกว่าปริมาณ: ระบบที่มีประสิทธิภาพจะเพิ่มจำนวนการสนทนาที่ได้รับการแก้ไขให้สูงสุดและลดการยกระดับหรือการละทิ้งให้เหลือน้อยที่สุด ใช้สัดส่วนผลลัพธ์เป็นตัวชี้วัดหลักของความชัดเจนและประสิทธิผล
  • เสริมสร้างแหล่งความรู้ในเชิงรุก: อัตราข้อผิดพลาดสูงหรือคำตอบที่มีคุณภาพต่ำมักชี้ให้เห็นถึงแหล่งความรู้ที่ไม่ชัดเจน ไม่มีการอัปเดตข้อมูล หรือไม่ตรงกัน อัปเดตและปรับโครงสร้างแหล่งข้อมูลเหล่านี้บ่อย ๆ เพื่อความน่าเชื่อถือที่ดีขึ้น
  • ปรับเครื่องมือให้เหมาะสมเพื่อความเสถียรและความสำเร็จ: การเรียกใช้เครื่องมือที่ไม่น่าเชื่อถือทำให้ความน่าเชื่อถือลดลง ติดตามอัตราความสำเร็จและปรับปรุงการดำเนินการที่มักล้มเหลวหรือส่งคืนข้อมูลที่ไม่สอดคล้องกัน
  • ใช้ธีมในการระบุโอกาสใหม่: ธีมชี้ให้เห็นจุดประสงค์ใหม่ที่เกิดขึ้น ใช้ธีมเพื่อช่วยกำหนดหัวข้อ แหล่งความรู้ หรือความต้องการด้านการผสานรวมใหม่ ๆ
  • ให้แน่ใจว่าการสนทนาสิ้นสุดอย่างสมบูรณ์: ใช้หัวข้อ End of Conversation เสมอเพื่อบันทึกการแก้ไขและคะแนนความพึงพอใจของผู้ใช้ (CSAT) หากไม่มีหัวข้อนี้ การวิเคราะห์จะไม่ครบถ้วนและอาจนำไปสู่ความเข้าใจผิด
  • แยกการประเมินระหว่างเอเจนต์อิสระและเอเจนต์ที่เริ่มต้นโดยผู้ใช้: เอเจนต์อิสระพึ่งพาทริกเกอร์และชุดเครื่องมือเป็นหลัก ตรวจสอบผลลัพธ์การเรียกใช้และทริกเกอร์แยกต่างหากจากโฟลว์ที่เริ่มต้นโดยผู้ใช้
  • ติดตามความรู้สึกของผู้ใช้ตามช่วงเวลา: ข้อคิดเห็นที่แยกออกมาเป็นประโยชน์ แต่แนวโน้มของความคิดเห็นในช่วงหลายสัปดาห์สามารถเผยให้เห็นปัญหาที่เกิดขึ้นในระบบ ตรวจสอบการลดลงอย่างต่อเนื่องตั้งแต่เนิ่น ๆ