หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
[บทความนี้เป็นเอกสารก่อนการนำออกใช้ และอาจเปลี่ยนแปลงได้]
เอเจนต์ที่ดูถูกต้องในแท็บ Build ก็ยังสามารถล้มเหลวในการสนทนาได้ คําสั่งเป็นแค่คําแนะนํา ไม่ใช่การรับประกัน: โมเดลจะตีความคําสั่งเหล่านั้น และช่องว่างระหว่างสิ่งที่คุณเขียนกับสิ่งที่เอเจนต์ทําจะปรากฏเมื่อคุณพูดคุยกับมันจริง ๆ ใช้แท็บ Preview เพื่อทดสอบเอเจนต์ของคุณทั้งในแชทเว็บและเสียงก่อนเผยแพร่
ช่องทดสอบ
แท็บ Preview มีสองวิธีในการทดสอบเอเจนต์ของคุณ:
- เนื้อหาการคุยผ่านเว็บ: หน้าต่างแชทแบบข้อความ นี่คือจุดที่คุณควรใช้เวลาทดสอบมากที่สุด ทำงานได้เร็วกว่าการใช้เสียง แสดงบทถอดเสียงทั้งหมดให้เห็น และแสดงร่องรอยการให้เหตุผลควบคู่ไปกับแชท
- การโทรด้วยเสียง: การสนทนาด้วยเสียงสดกับตัวแทนของคุณ การใช้เสียงมีรูปแบบความล้มเหลวที่ไม่ปรากฏในการทดสอบด้วยข้อความ ดังนั้นควรทดสอบแยกต่างหาก แม้ว่าการทดสอบแชตจะผ่านอย่างราบรื่นก็ตาม
เลือก เนื้อหาการคุยผ่านเว็บ หรือ Voice Call ที่ด้านบนของแท็บ Preview เพื่อสลับระหว่างช่องทางการทดสอบ แผง Live Transcript จะปรากฏควบคู่กับการสนทนา
ก่อนที่คุณจะเริ่ม
- บันทึกการเปลี่ยนแปลงของคุณ. บานหน้าต่าง Preview จะเรียกใช้เอเจนต์ที่บันทึกไว้ของคุณ ไม่ใช่การแก้ไขที่ยังไม่ได้บันทึกในแท็บ Build
- รู้ว่าความถูกต้องมีลักษณะอย่างไร. จดบันทึกผลลัพธ์ที่คาดหวังไว้ก่อนส่งข้อความแรก
- เปิดแผนที่กิจกรรม ส่วนนี้อยู่ข้างแชตและแสดงการกำหนดเส้นทาง การเรียกใช้เครื่องมือ และการดำเนินการของหัวข้อ มันคือวิธีแยกความแตกต่างระหว่างความล้มเหลวทางเหตุผลกับความล้มเหลวของระบบประปา
- เริ่มเซสชันทดสอบใหม่ระหว่างสถานการณ์ต่าง ๆ. บริบทจะส่งต่อไปยังการทดสอบครั้งถัดไป ซึ่งอาจทำให้ผลลัพธ์ถัดไปปนเปื้อน
ห้าชั้นที่ควรทดสอบ
ไล่จากชั้นที่ง่ายที่สุดออกไปด้านนอก หากเกิดความล้มเหลวในเลเยอร์ต้น จะส่งผลต่อเนื่องเป็นลูกโซ่ ดังนั้นควรแก้ไขปัญหาตามลำดับ
| ชั้น | สิ่งที่คุณกําลังทดสอบ | วิธีตรวจสอบว่าทำงานได้ถูกต้อง |
|---|---|---|
| คําทักทายและขอบเขต | ตัวแทนแนะนําตัวเองและเข้าใจหน้าที่ของตนเอง | ข้อความเปิดตรงกับคําอธิบายของคุณ;รับคําขอในขอบเขต |
| เส้นทาง | orchestrator จะเลือก sub-agent ที่เหมาะสม | แผนที่กิจกรรมแสดงผู้เชี่ยวชาญที่ถูกเรียกใช้ตามที่คาดไว้ |
| เครื่องมือและหัวข้อ | การดำเนินการจะถูกเรียกใช้จริงและส่งคืนข้อมูล | ได้รับค่าจริงกลับมา ไม่ใช่ค่าตัวยึดหรือไม่มีผลลัพธ์ |
| ข้อมูลความรู้ | คำตอบอ้างอิงจากแหล่งข้อมูลของคุณ | การอ้างอิงจะปรากฏและตรงกับแหล่งที่คุณตั้งค่าไว้ |
| รั้ว | การปฏิเสธ การเลื่อนระดับ และกฎธุรกิจยังคงทำงานตามที่กำหนด | เอเจนต์ปฏิเสธ ส่งต่อ หรือแจ้งสถานะตามคำสั่งอย่างถูกต้องทุกประการ |
การทดสอบในแชทเว็บ
เริ่มจากพาธการทำงานปกติที่สำเร็จก่อน
เล่นเป็นผู้ใช้ที่สมจริงและมีเป้าหมายครบถ้วน ไม่ใช่แค่ผู้ทดสอบที่มาดูฟีเจอร์ ตัวอย่างเช่น สําหรับตัวแทนท่องเที่ยว นั่นหมายถึงการจองทริปจริง ๆ ตั้งแต่ต้นจนจบ แทนที่จะถามว่า "คุณจองตั๋วเครื่องบินได้ไหม?"
- เปิดเป้าหมายอย่างเป็นธรรมชาติ เหมือนผู้ใช้จริง
- ตอบคําถามของตัวแทนในฐานะผู้ใช้ที่ให้ความร่วมมือ
- ดำเนินการตามขั้นตอนจนได้ข้อสรุปที่เกิดขึ้นจริง เช่น การจอง การสรุปข้อมูล หรือการแก้ไขปัญหา
- ขอให้สรุปตอนท้าย แล้วตรวจสอบข้อเท็จจริงทุกอย่างกับบทถอดความ
งั้นก็ทํามันพังโดยตั้งใจ
พาธการทำงานปกติที่สำเร็จช่วยยืนยันว่าเอเจนต์สามารถทำงานได้ สถานการณ์เหล่านี้ช่วยยืนยันว่าสามารถรับมือกับความล้มเหลวได้อย่างปลอดภัย
| ทดสอบ | สิ่งที่จะส่ง | ควรเกิดอะไรขึ้น |
|---|---|---|
| รายละเอียดที่ขาดหายไป | ข้ามฟิลด์บังคับที่เอเจนต์ต้องใช้ | ระบบจะขอเฉพาะฟิลด์นั้นเพียงครั้งเดียว |
| เปลี่ยนใจ | เปลี่ยนการตัดสินใจระหว่างดำเนินขั้นตอน | อัปเดตโดยไม่สูญเสียบริบทก่อนหน้า |
| นอกขอบเขต | ถามเรื่องที่อยู่นอกขอบเขตของมัน | ปฏิเสธและเปลี่ยนเส้นทาง โดยไม่คิดวิธีแก้ไขขึ้นมาเอง |
| การเลื่อนระดับ | ทริกเกอร์กฎการส่งต่องานที่มีการบันทึกไว้ | เอเจนต์ส่งต่องานแทนที่จะพยายามดำเนินการนั้นเอง |
| กฎธุรกิจ | เกินขีดจำกัดที่ระบุไว้ เช่น งบประมาณ | มันระบุความขัดแย้งอย่างชัดเจน |
| หน่วยความจําในเซสชัน | ขอให้มันทวนรายละเอียดจากก่อนหน้านี้ | มันเรียกคืนได้แม่นยําโดยไม่ต้องถามซ้ํา |
อ่านแผนที่กิจกรรม ไม่ใช่แค่การตอบกลับ
แชทจะบอกคุณว่าเจ้าหน้าที่พูดอะไร แผนที่กิจกรรมจะบอกคุณว่ามันทําอะไร เมื่อคำตอบดูผิดปกติ แผนที่จะบอกคุณว่าควรแก้ไขตรงไหน:
- มีการเรียกใช้ผู้เชี่ยวชาญผิด → คำแนะนำการกำหนดเส้นทางหรือคำอธิบายของซับเอเจนต์มีความกำกวม
- เลือกผู้เชี่ยวชาญถูกต้อง แต่ผลลัพธ์ไม่ดี → คำสั่งของเอเจนต์ย่อยเองต้องได้รับการปรับปรุง
- เครื่องมือทำงานได้แต่ไม่แสดงผลลัพธ์ → เครื่องมือหรือหัวข้อเสีย ไม่ใช่พรอมต์
- ไม่มีการเรียกใช้เครื่องมือเลย →เอเจนต์ตอบจากโมเดลแทนข้อมูลของคุณ ถือว่าค่าทุกค่าในคําตอบนั้นยังไม่ได้รับการยืนยัน
การทดสอบด้วยเสียง
Voice ไม่ใช่เว็บแชทที่มีเสียงแนบมา การใช้เสียงมีรูปแบบความล้มเหลวที่ไม่ปรากฏในการทดสอบด้วยข้อความ ดังนั้นควรทดสอบแยกต่างหาก แม้ว่าการทดสอบแชตจะผ่านอย่างราบรื่นก็ตาม
- อนุญาตให้เข้าถึงไมโครโฟน จากนั้นเริ่มการสนทนาด้วยเสียงและยืนยันว่าสถานะเข้าสู่สถานะเชื่อมต่อและกำลังฟังอยู่
- พูดคําขอเต็ม ๆ อย่างเป็นธรรมชาติ แทนที่จะอ่านบททีละคํา
- ชมการถอดเสียงสด. หากระบบรู้จำเสียงพูดจดจำคำพูดของคุณผิด คำตอบของเจ้าหน้าที่จะตอบคำถามที่แตกต่างจากที่คุณถาม
- ขัดจังหวะเอเจนต์กลางประโยคเพื่อยืนยันว่าบาร์จอินจะหยุดการเล่นและเริ่มฟัง
- เงียบไปสักพักเพื่อยืนยันว่ามันถามย้ำอีกครั้งอย่างสุภาพแทนที่จะวางสาย
- ขอรหัสยืนยันและตรวจสอบว่ามันสะกดทีละตัวอักษร ไม่ให้อ่านรวบเป็นคำ
สิ่งที่ควรสังเกตจากการฟัง
- ความยาว: หากยาวเกินประมาณสามประโยค ก็จะยาวเกินไปกว่าจะติดตามด้วยการฟังได้
- รายการและ URL: ต้องสรุป ห้ามอ่านออกเสียงทีละรายการ
- วันที่และตัวเลข: "วันอังคารที่ 24 มีนาคม" ใช้งานได้; "2026-03-24" ใช้ไม่ได้
- การยืนยันข้อมูลสำคัญ: ควรให้เอเจนต์ทวนชื่อ วันที่ และรหัสกลับมาเพื่อยืนยันก่อนดำเนินการใดๆ กับข้อมูลเหล่านั้น
ถ้า Speech ทํางานเหมือนช่องแชทของคุณ แสดงว่าคําสั่งเฉพาะช่องของคุณไม่ได้ทํางาน คำสั่งเสียงและแชทจะถูกตั้งค่าแยกกันในเอเจนต์แต่ละตัว ในส่วน คำสั่ง ในแท็บ คำพูด และ แชท ดูภาพรวมการตั้งค่าเสียงและแชท
Tip
รันสถานการณ์สําคัญมากกว่าหนึ่งครั้ง และรันเซสชันยาวอย่างน้อยหนึ่งครั้ง ความล้มเหลวเป็นระยะๆ ก็ยังเป็นความล้มเหลว และมักเป็นสิ่งที่หลุดไปถึงระบบการใช้งานจริง
เมื่อมีบางอย่างล้มเหลว
- จำลองปัญหา เริ่มเซสชันใหม่และรันเส้นทางเดิมอีกครั้ง โดยจดบันทึกว่ามันล้มเหลวทุกครั้งหรือเป็นครั้งคราว
- ค้นหาโดยใช้แผนที่กิจกรรม: เส้นทาง เครื่องมือ ความรู้ หรือคำสั่ง
- แก้ไขทีละอย่าง การเปลี่ยนคําสั่งหลายคําสั่งพร้อมกันทําให้ไม่สามารถบอกได้ว่าอันไหนได้ผล
- บันทึก เริ่มเซสชันใหม่ และเรียกใช้อีกครั้ง สถานการณ์เดียวกันทุกประการ
- ทดสอบสถานการณ์อื่นๆ ที่ผ่านแล้วซ้ำอีกครั้ง การเปลี่ยนแปลงคําสั่งมีผลข้างเคียง
รายการตรวจสอบพร้อมจัดส่ง
- ส้นทางการทำงานปกติที่สำเร็จต้องดำเนินการได้ครบตั้งแต่ต้นจนจบโดยไม่ต้องมีคนคอยช่วยแนะนำ
- ทุกข้อเท็จจริงในสรุปสุดท้ายสามารถสืบย้อนกลับไปยังสิ่งที่เครื่องมือหรือแหล่งความรู้ส่งคืนมาได้จริง
- ไม่มีข้อความตัวแทนปรากฏในคําตอบที่ผู้ใช้มองเห็นได้เลย
- เอเจนต์จะรายงานความล้มเหลวอย่างซื่อสัตย์เมื่อเครื่องมือไม่แสดงผลอะไร
- กฎการยกระดับและการปฏิเสธจะทํางานได้อย่างน่าเชื่อถือ
- คำตอบด้วยเสียงสั้น และรหัสจะถูกอ่านสะกดทีละตัวอักษร
- สถานการณ์วิกฤตถูกรันมากกว่าหนึ่งครั้ง รวมถึงเซสชันยาวหนึ่งครั้ง