วิเคราะห์เอเจนต์โดยใช้ Agent Review Tool ใน Copilot Agent Kit

เครื่องมือตรวจสอบเอเจนต์เป็นระบบการประเมินคุณภาพอัตโนมัติและการตรวจสอบการปฏิบัติตามข้อกําหนดสําหรับเอเจนต์ Microsoft Copilot Studio และเอเจนต์ที่กำหนดด้วยการประกาศ Microsoft 365 ช่วยให้ผู้สร้าง ผู้ดูแลระบบ และทีมกํากับดูแลระบุปัญหา รูปแบบต่อต้าน และช่องว่างในการปฏิบัติตามข้อกําหนดก่อนที่จะเข้าถึงผู้ใช้ปลายทาง

เมื่อองค์กรปรับขนาดการปรับใช้ Copilot Studio การตรวจสอบการกําหนดค่า คําแนะนํา และโครงสร้างหัวข้อของเอเจนต์แต่ละรายด้วยตนเองจึงเป็นไปไม่ได้ เครื่องมือตรวจสอบเอเจนต์ทําให้การตรวจสอบนั้นเป็นไปโดยอัตโนมัติผ่านการวิเคราะห์ที่ขับเคลื่อนด้วย AI ซึ่งโดยทั่วไปจะแสดงผลการวิจัยที่นําไปใช้ได้จริงภายใน 60 วินาที

มีไว้สําหรับ:

  • ผู้สร้าง: รับคําติชมที่นําไปใช้ได้จริงเพื่อปรับปรุงคุณภาพของเอเจนต์ก่อนการปรับใช้
  • ผู้ดูแลระบบและทีม CoE: บังคับใช้มาตรฐานการกํากับดูแลกับเอเจนต์ทั้งหมดในสภาพแวดล้อม
  • เจ้าหน้าที่รักษาความปลอดภัยและการปฏิบัติตามกฎระเบียบ: ตรวจสอบว่าเอเจนต์ปฏิบัติตามแนวทางความเป็นส่วนตัว ความปลอดภัย และความถูกต้อง

ความสามารถหลัก

ความสามารถ รายละเอียด
ความครอบคลุมของเอเจนต์ เอเจนต์ Copilot Studio และเอเจนต์แบบประกาศของ Microsoft 365
เวลาทบทวน โดยทั่วไปจะน้อยกว่า 60 วินาทีต่อเอเจนต์
ตรวจสอบรูปแบบแล้ว 18 รูปแบบ (10 แบบกําหนด + 8 แบบขับเคลื่อนด้วย AI)
เกณฑ์การปฏิบัติตามข้อกําหนด 15 เกณฑ์คุณภาพการเรียนการสอน
ระบบคะแนน คะแนนรวม 0-100 (รูปแบบ 50% การปฏิบัติตามข้อกําหนด 50%)
ส่งออกรูปแบบ PDF, SARIF, Excel
ที่เก็บข้อมูล Microsoft Dataverse (ขอบเขตระดับผู้ใช้, บังคับใช้การรักษาความปลอดภัยระดับแถว)
โปรแกรม AI Microsoft Copilot Studio AI พร้อมท์ผ่าน Dataverse PredictV2

เริ่มต้นใช้งาน: แดชบอร์ด

เมื่อคุณเปิดเครื่องมือตรวจสอบเอเจนต์ คุณจะเข้าสู่ แดชบอร์ด ซึ่งเป็นศูนย์กลางที่แสดงเอเจนต์ทั้งหมดในสภาพแวดล้อมของคุณและสถานะการตรวจสอบของเอเจนต์

เค้าโครงแดชบอร์ด

สกรีนช็อตของแดชบอร์ดเครื่องมือตรวจสอบเอเจนต์พร้อมการ์ดสถิติ กริดเอเจนต์ และปุ่มอัปโหลด ZIP

แดชบอร์ดแสดงทุกอย่างได้อย่างครบถ้วน: แถบแท็บที่สลับระหว่างเอเจนต์ Copilot Studio และ Microsoft 365, การ์ดสถิติสี่ใบที่สรุปสถานะของพอร์ตโฟลิโอ, แถบเครื่องมือการค้นหา, กริดเอเจนต์ที่มีการแบ่งหน้า และปุ่ม อัปโหลด ZIP สําหรับการตรวจสอบแบบออฟไลน์

การ์ดสถิติ

การ์ดสถิติทั้งสี่จะให้ภาพรวมสถานะของพอร์ตโฟลิโอเอเจนต์ของคุณทันที:

บัตร สิ่งที่แสดงให้เห็น คํานวณสิ่งนี้อย่างไร
จำนวนเอเจนต์ทั้งหมด นับบอทที่ใช้งานอยู่ทั้งหมดในสภาพแวดล้อม คิวรีตาราง bot โดยที่ statecode = 0
ตรวจสอบแล้ว จํานวนและเปอร์เซ็นต์ของเอเจนต์ที่ได้รับการตรวจสอบ จํานวนการตรวจสอบที่เสร็จสมบูรณ์หารด้วยเอเจนต์ทั้งหมด
คะแนนเฉลี่ย คะแนนโดยรวมเฉลี่ยของการตรวจสอบที่เสร็จสมบูรณ์ทั้งหมด ผลรวมของคะแนนนำมาหารด้วยจำนวนที่ตรวจสอบแล้ว
ปัญหาทั้งหมด พบปัญหาสะสมในเอเจนต์ที่ตรวจสอบทั้งหมด ผลรวมของความล้มเหลวของรูปแบบบวกกับความล้มเหลวในการปฏิบัติตามข้อกําหนด

ตารางเอเจนต์

คอลัมน์ เนื้อหา
ชื่อ ชื่อที่แสดงของเอเจนต์พร้อมไอคอน
คะแนน (สกอร์) คะแนนการตรวจสอบโดยรวม (0-100) หรือ -- หากยังไม่ได้ตรวจสอบ รหัสสี
ปัญหา สรุปข้อมูลความรุนแรงสูง ปานกลาง และต่ํา -- หากยังไม่ได้ตรวจสอบ
การตรวจสอบครั้งล่าสุด เวลาสัมพัทธ์ (เช่น "2 ชั่วโมงที่แล้ว" หรือ "1 สัปดาห์ที่แล้ว") หรือ "ยังไม่ได้ตรวจสอบ"
การดำเนินการ ตรวจสอบ สําหรับเอเจนต์ที่ยังไม่ได้ตรวจสอบ ดู สำหรับตัวแทนที่มีการตรวจสอบ

เลือกสภาพแวดล้อม

โดยค่าเริ่มต้น เครื่องมือจะแสดงเอเจนต์จากสภาพแวดล้อมที่คุณติดตั้ง หากคุณต้องการตรวจสอบเอเจนต์จากสภาพแวดล้อมอื่น ให้ใช้ตัวเลือกสภาพแวดล้อมในแถบเครื่องมือแดชบอร์ด ดรอปดาวน์แสดงรายการสภาพแวดล้อม Power Platform ทั้งหมดที่คุณสามารถเข้าถึงได้

หลังจากที่คุณเลือกสภาพแวดล้อมอื่น กริดเอเจนต์จะรีเฟรชเพื่อแสดงเอเจนต์จากสภาพแวดล้อมนั้น จากนั้นคุณสามารถตรวจสอบเอเจนต์เหล่านั้นได้ ผลการตรวจสอบจะถูกเก็บไว้ในสภาพแวดล้อม (หน้าแรก) ปัจจุบัน ไม่ใช่สภาพแวดล้อมที่คุณเลือก

สกรีนช็อตของตัวเลือกดรอปดาวน์ตัวเลือกสภาพแวดล้อมที่แสดงสภาพแวดล้อม Power Platform ที่สามารถเข้าถึงได้

โหมดการตรวจสอบ

เครื่องมือนี้รองรับโหมดการตรวจสอบที่แตกต่างกันสองโหมด ซึ่งสามารถเข้าถึงได้จากแถบแท็บที่ด้านบนของแดชบอร์ด

การตรวจทานเอเจนต์ใน Copilot Studio

โหมดนี้จะตรวจสอบเอเจนต์ที่สร้างขึ้นใน Microsoft Copilot Studio อ่านโดยตรงจาก Dataverse ไม่จําเป็นต้องอัปโหลดไฟล์

สิ่งที่วิเคราะห์:

  • การกําหนดค่าหัวข้อ (ชื่อ คําอธิบาย ตัวแปร)
  • การกําหนดค่าเครื่องมือและการดําเนินการ (จํานวน คําอธิบาย การกําหนดเส้นทาง)
  • ชนิดแหล่งความรู้
  • ความครอบคลุมของกรณีทดสอบ
  • คําแนะนําของเอเจนต์ (โหมดสร้างอัตโนมัติ)
  • ข้อมูลเมตาของเอเจนต์ (ภาษา การรับรองความถูกต้อง การตั้งค่า AI)

วิธีเริ่มการตรวจสอบ:

  1. ค้นหาเอเจนต์ของคุณในกริด
  2. เลือก การตรวจสอบ งานการวิเคราะห์เริ่มต้นอัตโนมัติ
  3. แผงความคืบหน้าจะแสดงสิ่งที่เกิดขึ้นแบบเรียลไทม์
  4. ผลลัพธ์จะเปิดขึ้นในแผงการตรวจสอบเมื่อเสร็จสมบูรณ์

คุณสามารถตรวจสอบเอเจนต์อีกครั้งเมื่อใดก็ได้ การตรวจสอบแต่ละครั้งจะสร้างเรกคอร์ดใหม่ใน Dataverse กริดจะแสดงผลการตรวจสอบล่าสุดเสมอ

การตรวจสอบเอเจนต์แบบประกาศ (Microsoft Copilot)

โหมดนี้จะตรวจสอบ Microsoft 365 Declarative Agents ซึ่งถูกกําหนดโดยไฟล์ JSON แบบ manifest และถูกนําไปใช้ในระบบนิเวศ Microsoft Copilot

คุณสามารถส่ง Declarative Agent เพื่อรับการตรวจสอบได้สองวิธี:

วิธีการ อย่างไร เมื่อใดควรใช้
อัปโหลด ZIP เลือก อัปโหลด ZIP ในส่วนหัวของหน้า เลือกแพ็กเกจที่ส่งออก เอเจนต์มาจากผู้เช่ารายอื่นหรือไม่อยู่ในแค็ตตาล็อกของคุณ
จากแค็ตตาล็อก Microsoft 365 เชื่อมต่อกับ Microsoft 365 ผ่านตัวช่วยสร้างการตั้งค่า API กราฟ จากนั้นเรียกดูเอเจนต์ เอเจนต์ได้รับการปรับใช้ในเทนเนนต์ Microsoft 365 ของคุณ

สิ่งที่วิเคราะห์ (5 เกณฑ์ ไม่ใช่ 15):

เกณฑ์ น้ำหนัก สิ่งที่ถูกตรวจสอบ
คำแนะนำ 30% ความชัดเจน ความสมบูรณ์ และคุณภาพของคําแนะนําของเอเจนต์
ข้อมูลความรู้ 20% การตรวจสอบความถูกต้องผ่านแหล่งความรู้ที่เชื่อมต่อ
ความสามารถ 15% การใช้ CodeInterpreter และ OneDriveAndSharePoint
การดำเนินการ 15% การกําหนดเส้นทางเครื่องมือและคําอธิบายการดําเนินการ
บทสนทนาเริ่มต้น 10% ขั้นต่ำ 3 แนะนํา 6 (สูงสุด 12)
การรับมือกับข้อผิดพลาดอย่างราบรื่น 10% การกู้คืนข้อผิดพลาดและพฤติกรรมสํารอง

Note

การตรวจสอบการปฏิบัติตามข้อกําหนดคําสั่ง 15 เกณฑ์มีไว้สําหรับเอเจนต์ Copilot Studio โดยเฉพาะ และใช้ไม่ได้กับเอเจนต์ที่กำหนดด้วยการประกาศ

จะเกิดอะไรขึ้นระหว่างการตรวจสอบ

เมื่อคุณเลือก การตรวจสอบ เครื่องมือจะเรียกใช้การวิเคราะห์อัตโนมัติซึ่งโดยทั่วไปจะเสร็จสมบูรณ์ภายใน 60 วินาที แผงความคืบหน้าจะแจ้งให้คุณทราบในขณะที่ทํางาน

สกรีนช็อตของแผงความคืบหน้าการตรวจสอบที่แสดงขั้นตอนที่ทํางานระหว่างการตรวจสอบเอเจนต์

การวิเคราะห์ครอบคลุมสามสิ่งตามลําดับต่อไปนี้:

  1. การวิเคราะห์การกําหนดค่า: เครื่องมือจะอ่านการกําหนดค่าที่สมบูรณ์ของเอเจนต์จาก Dataverse ทุกหัวข้อ เครื่องมือ แหล่งความรู้ กรณีทดสอบ และคําแนะนํา ตรวจสอบฟิลด์ที่ขาดหายไปในส่วนประกอบทั้งหมด และวัดสิ่งต่างๆ เช่น จํานวนเครื่องมือและความครอบคลุมของการทดสอบเทียบกับแนวทางปฏิบัติที่ดีที่สุดของ Microsoft
  2. การประเมินรูปแบบที่ขับเคลื่อนด้วย AI: โมเดล AI จะตรวจสอบการกําหนดค่าเดียวกันเพื่อประเมิน คุณภาพ ไม่ใช่แค่ความสมบูรณ์ โดยพิจารณาว่าชื่อและคำอธิบายของหัวข้อมีความชัดเจนเพียงพอสำหรับตัวประสานงานเชิงกำเนิดในการกำหนดเส้นทางได้อย่างถูกต้องหรือไม่ หัวข้อหลายหัวข้อมีความทับซ้อนกันในลักษณะที่ทำให้เกิดความสับสนในการกำหนดเส้นทางหรือไม่ และคำอธิบายเครื่องมือให้แนวทางแก่ AI เพียงพอที่จะเรียกใช้เครื่องมือที่ถูกต้องในเวลาที่เหมาะสมหรือไม่
  3. การตรวจสอบการปฏิบัติตามข้อกําหนดของคําสั่ง: โมเดล AI ที่สองจะอ่านคําแนะนําของระบบของเอเจนต์และตรวจสอบกับเกณฑ์แนวทางปฏิบัติที่ดีที่สุด 15 เกณฑ์จากคําแนะนําโหมดสร้างของ Microsoft ซึ่งครอบคลุมขอบเขต ความปลอดภัย คุณภาพการตอบสนอง และประสบการณ์ของผู้ใช้ สําหรับแต่ละเกณฑ์คําแนะนําไม่เป็นไปตาม แต่จะปรากฏการค้นพบที่เฉพาะเจาะจงและคําแนะนําที่เป็นรูปธรรม

หลังจากทําทั้งสามขั้นตอนเสร็จแล้ว ระบบจะสร้างรายงาน PDF โดยอัตโนมัติและผลลัพธ์จะเปิดขึ้นในแผงการตรวจสอบ

สำคัญ

แต่ละรีวิวจะใช้เครดิต Copilot ขั้นตอนที่ขับเคลื่อนด้วย AI (การประเมินรูปแบบ การตรวจสอบการปฏิบัติตามข้อกําหนดของคําสั่ง และการสร้าง PDF) แต่ละขั้นตอนจะเรียกใช้โมเดล AI ผ่าน Dataverse วางแผนตามนั้นหากคุณกําลังตรวจสอบเอเจนต์จํานวนมาก

รูปแบบที่ตรวจพบ

รูปแบบระบุรูปแบบการต่อต้านที่เฉพาะเจาะจงหรือแนวทางปฏิบัติที่ดีที่สุดที่ขาดหายไปในการกําหนดค่าของเอเจนต์ เครื่องมือตรวจสอบ 18 รูปแบบใน 7 หมวดหมู่

ทั้งหมด 18 รูปแบบ

ID ชื่อรูปแบบ ประเภท ผลกระทบ
pat-001 ไม่มีชื่อโมเดล การตั้งชื่อโมเดล ตัวประสานงานเชิงสร้างสรรค์ไม่สามารถกำหนดเส้นทางไปยังหัวข้อนี้ได้อย่างน่าเชื่อถือ
pat-002 คําอธิบายโมเดลที่ขาดหายไป คำอธิบายโมเดล หัวข้ออาจถูกข้ามหรือทริกเกอร์ผิดระหว่างการกําหนดเส้นทาง
pat-003 ไม่มีชื่อตัวแปรอินพุต ตัวแปรอินพุต ผู้ใช้เห็นตัวแปรที่ไม่มีชื่อ ทําให้เกิดความสับสนในการสนทนา
pat-004 ไม่มีคําอธิบายตัวแปรอินพุต ตัวแปรอินพุต AI ไม่สามารถแยกค่าที่ถูกต้องจากอินพุตของผู้ใช้ได้อย่างถูกต้อง
pat-005 ไม่มีชื่อตัวแปรเอาต์พุต ตัวแปรเอาต์พุต ค่าเอาต์พุตไม่มีป้ายกํากับและผู้ใช้ตีความได้ยาก
pat-006 ไม่มีคําอธิบายตัวแปรเอาต์พุต ตัวแปรเอาต์พุต AI ขาดบริบทในการเติมตัวแปรอย่างถูกต้อง
pat-007 การใช้เครื่องมือมากเกินไป สถาปัตยกรรม เครื่องมือมากเกินไปทําให้ความแม่นยําของการกําหนดเส้นทางลดลงและเพิ่มเวลาแฝง
pat-008 กรณีทดสอบไม่เพียงพอ การประเมิน การถดถอยในพฤติกรรมของหัวข้อตรวจไม่พบก่อนการปรับใช้
pat-009 คําอธิบายเอเจนต์ย่อยที่หายไป สถาปัตยกรรม Orchestrator ไม่สามารถตัดสินใจได้ว่าควรมอบหมายงานให้เอเจนต์ย่อยเมื่อใด
pat-010 การขยายตัวของสถาปัตยกรรมเอเจนต์ย่อย สถาปัตยกรรม การมอบหมายที่มากเกินไปจะสร้างความซับซ้อนและเวลาในการประสานงาน
pat-011 ชื่อโมเดลไม่ชัดเจน การตั้งชื่อโมเดล ชื่อที่คลุมเครือทำให้ตัวประสานการทำงานกำหนดเส้นทางไปยังหัวข้อที่ไม่ถูกต้อง
pat-012 คําอธิบายโมเดลไม่ชัดเจน คำอธิบายโมเดล คําอธิบายที่ไม่ดีนําไปสู่ทริกเกอร์หัวข้อที่พลาดหรือไม่ถูกต้อง
pat-013 ชื่อตัวแปรอินพุตไม่ชัดเจน ตัวแปรอินพุต ชื่อที่คลุมเครือทําให้ AI เติมตัวแปรได้อย่างถูกต้องได้ยากขึ้น
pat-014 คําอธิบายตัวแปรอินพุตที่ไม่ชัดเจน ตัวแปรอินพุต AI แยกค่าที่ไม่ถูกต้องหรือถามคําถามชี้แจงที่ไม่จําเป็น
pat-015 ชื่อตัวแปรเอาต์พุตไม่ชัดเจน ตัวแปรเอาต์พุต หัวข้อหรือโฟลว์ดาวน์สตรีมที่ใช้ตัวแปรนี้อาจตีความผิด
pat-016 คําอธิบายตัวแปรเอาต์พุตที่ไม่ชัดเจน ตัวแปรเอาต์พุต AI ไม่สามารถสร้างรูปแบบหรือค่าผลลัพธ์ที่คาดหวังได้อย่างน่าเชื่อถือ
pat-017 คําอธิบายหัวข้อที่ทับซ้อนกัน คำอธิบายโมเดล หลายท็อปปิกแข่งขันกันเพื่อคำพูดเดียวกันของผู้ใช้ ซึ่งทำให้การกำหนดเส้นทางเกิดขึ้นอย่างคาดเดาไม่ได้
pat-018 ช่องว่างการกําหนดเส้นทางเครื่องมือ สถาปัตยกรรม AI ไม่สามารถตัดสินใจได้ว่าจะเรียกใช้เครื่องมือใด ซึ่งนําไปสู่การเรียกใช้เครื่องมือที่ไม่ถูกต้องหรือไม่มีการดําเนินการใดๆ

สำหรับรูปแบบที่ไม่ผ่านการตรวจสอบแต่ละรูปแบบ เครื่องมือจะแสดงหัวข้อที่ได้รับผลกระทบ ค่าปัจจุบันที่ทำให้พบผลการตรวจสอบนี้ คำแนะนำในการปรับปรุง และลิงก์ไปยังเอกสาร Microsoft Learn ที่เกี่ยวข้อง

สกรีนช็อตของแท็บรูปแบบที่แสดงรายการรูปแบบทั้ง 18 รูปแบบพร้อมสถานะ ความรุนแรง หมวดหมู่ และจํานวนหัวข้อที่ได้รับผลกระทบ

หมวดหมู่ของรูปแบบ

ตารางผลลัพธ์จัดกลุ่มรูปแบบออกเป็นเจ็ดประเภท โดยเรียงลําดับตามลําดับต่อไปนี้:

# ประเภท รูปแบบที่รวมอยู่
1 การตั้งชื่อโมเดล pat-001, pat-011
2 คำอธิบายโมเดล pat-002, pat-012, pat-017
3 ตัวแปรอินพุต pat-003, , pat-004, pat-013pat-014
4 ตัวแปรเอาต์พุต pat-005, , pat-006, pat-015pat-016
5 สถาปัตยกรรม pat-007, , pat-009, pat-010pat-018
6 การประสานรวม สงวนไว้สําหรับรูปแบบที่ตรวจพบโดย AI ในอนาคต
7 การประเมิน pat-008

ตรรกะความรุนแรง

การรวมกันของการจับคู่คีย์เวิร์ดและจํานวนหัวข้อจะเป็นตัวกําหนดความรุนแรงของรูปแบบ:

เงื่อนไข ความรุนแรงที่กําหนด
ชื่อรูปแบบประกอบด้วย "ชื่อโมเดล" หรือ "คําอธิบายโมเดล" สูง
ชื่อรูปแบบประกอบด้วย "ตัวแปร" ปานกลาง (เว้นแต่จํานวนหัวข้อคือ 5 หัวข้อขึ้นไป)
จํานวนหัวข้อคือ 5 หัวข้อขึ้นไป สูง
จํานวนหัวข้อคือ 2 หัวข้อขึ้นไป ปานกลาง
จํานวนหัวข้อคือ 1 ต่ํา

ระดับความรุนแรงเป็นตัวกำหนดทั้งป้ายสัญลักษณ์แบบภาพในตารางผลลัพธ์และระดับข้อผิดพลาด SARIF ในรายงานที่ส่งออก

เกณฑ์การปฏิบัติตามข้อกําหนด

ส่วนนี้ของการตรวจสอบจะประเมินคุณภาพของคําสั่งระบบของเอเจนต์ ซึ่งเป็นข้อความภาษาธรรมชาติที่ผู้สร้างระบุไว้ในการตั้งค่า ระบบอัตโนมัติ ของ Copilot Studio คําแนะนําเหล่านี้กําหนดพฤติกรรมของเอเจนต์ในการสนทนาทั้งหมด

เกณฑ์ 15 ข้อได้มาจาก คำแนะนำโหมดอัตโนมัติ ของ Microsoft และแสดงถึงแนวทางปฏิบัติที่มีผลกระทบมากที่สุดสําหรับคุณภาพคำแนะนำ

เงื่อนไขทั้งหมด 15 ข้อ

# ID ชื่อเกณฑ์ ประเภท ความร้ายแรง สิ่งที่ระบบตรวจสอบ
1 scope-definition ข้อกําหนดของขอบเขต ขอบเขต สูง คําแนะนําของเอเจนต์กําหนดหัวข้อที่เอเจนต์ควรและไม่ควรตอบกลับอย่างชัดเจน
2 out-of-scope-handling การจัดการนอกขอบเขต ขอบเขต ปานกลาง วิธีการระบุสิ่งที่ต้องพูดเมื่อผู้ใช้ถามเกี่ยวกับบางสิ่งที่อยู่นอกขอบเขตของเอเจนต์
3 persona-and-tone บุคลิกและน้ำเสียง UX ตํ่า คําแนะนํากําหนดโทนสําหรับสถานการณ์ที่ไม่ใช่ค่าเริ่มต้น (มืออาชีพ/สุภาพ เป็นค่าเริ่มต้นอยู่แล้ว ข้ามไปหากไม่จําเป็น)
4 privacy-and-sensitive-data ความเป็นส่วนตัวและข้อมูลที่ละเอียดอ่อน ความปลอดภัย สูง คําแนะนําประกอบด้วยคําแนะนําที่ชัดเจนเกี่ยวกับการไม่จัดเก็บ แสดง หรือทําซ้ำข้อมูลส่วนบุคคล
5 fallback-when-uncertain สํารองเมื่อไม่แน่ใจ คุณภาพ สูง คําแนะนําระบุสิ่งที่ต้องทําเมื่อเอเจนต์ไม่มีข้อมูลที่จําเป็นในการตอบ
6 citations-and-sources การอ้างอิงและแหล่งที่มา คุณภาพ ปานกลาง คําแนะนํากําหนดให้เอเจนต์อ้างอิงชื่อเอกสารและส่วนต่างๆ เมื่ออ้างอิงแหล่งความรู้
7 formatting-guidelines แนวทางการจัดรูปแบบ UX ตํ่า คําแนะนําระบุรูปแบบการตอบกลับ (สัญลักษณ์แสดงหัวข้อย่อย ตาราง ขั้นตอนที่มีหมายเลข) สําหรับเอาต์พุตที่มีโครงสร้าง
8 clarifying-questions การชี้แจงคําถาม UX ปานกลาง คําแนะนํากล่าวถึงวิธีจัดการกับคําถามที่คลุมเครือโดยถามคําถามติดตามผลที่ชี้แจง
9 prompt-injection-resilience การป้องกันพรอมป์ตอินเจกชัน ความปลอดภัย สูง คำแนะนำมีมาตรการป้องกันอย่างชัดเจนเพื่อรับมือกับความพยายามในการเจลเบรกหรือการฉีดพรอมต์
10 link-safety ความปลอดภัยของลิงก์ ความปลอดภัย ปานกลาง คำแนะนำจะแชร์เฉพาะลิงก์ที่ผ่านการตรวจสอบแล้วและปลอดภัยกับผู้ใช้เท่านั้น
11 advice-disclaimers ข้อจํากัดความรับผิดชอบของคำปรึกษา ความปลอดภัย สูง คําแนะนําประกอบด้วยข้อจํากัดความรับผิดชอบสําหรับโดเมนคําปรึกษาที่ละเอียดอ่อน (การเงิน สุขภาพ กฎหมาย)
12 accuracy-quality ความถูกต้องและคุณภาพ คุณภาพ สูง คําแนะนําทําให้เอเจนต์มีแหล่งความรู้อย่างชัดเจนและห้ามการประดิษฐ์หรือการคาดเดา
13 tool-routing-hints คําแนะนําการกําหนดเส้นทางเครื่องมือ คุณภาพ ปานกลาง คําแนะนําจะให้คําแนะนําเกี่ยวกับเครื่องมือหรือแหล่งความรู้ที่จะใช้เมื่อการกําหนดเส้นทางมีความคลุมเครือ
14 escalation-guidance คําแนะนําการยกระดับ UX สูง คําแนะนํากําหนดสิ่งที่ต้องทําเมื่อเอเจนต์ไม่สามารถช่วยได้: ส่งต่อให้มนุษย์ แนะนําทางเลือกอื่น หรือออกอย่างสง่างาม
15 deterministic-language ภาษาเชิงกำหนดแน่นอน คุณภาพ ปานกลาง คําแนะนําใช้คําสั่งแบบสัมบูรณ์ (เสมอ ไม่เคย เพียงอย่างเดียว ต้อง) แทนที่จะใช้ตัวแก้ไขที่คลุมเครือ (โดยปกติอาจลอง บางครั้ง)

สกรีนช็อตของแท็บการปฏิบัติตามข้อบังคับที่แสดงเกณฑ์คุณภาพคำแนะนำ 15 รายการพร้อมสถานะและความรุนแรง

รายละเอียดหมวดหมู่

ประเภท จํานวนเกณฑ์ สมาธิ
ขอบเขต 2 กำหนดว่าเอเจนต์จะตอบและไม่ตอบอะไรบ้าง
ความปลอดภัย 4 ปกป้องผู้ใช้จากข้อมูลที่ผิด การรั่วไหลของข้อมูล และการจัดการ
คุณภาพ 5 รับรองการตอบสนองที่ถูกต้อง มีเหตุผล และมีโครงสร้างที่ดี
UX 4 กําหนดประสบการณ์การสนทนาและเส้นทางการยกระดับ

วิธีคํานวณคะแนน

คะแนนทั้งหมดอยู่ในระดับ 0-100 และเป็นแบบกําหนด อินพุตเดียวกันจะให้คะแนนเท่ากันเสมอ

รูปแบบคะแนน

Pattern Score = (Passed Patterns / Total Patterns) × 100
  • รูปแบบทั้งหมด = 10 รูปแบบที่กําหนด + ไม่ว่าจะส่งคืนรูปแบบที่ตรวจพบโดย AI จํานวนเท่าใด (สูงสุด 8)
  • รูปแบบที่ผ่าน = จำนวนที่สถานะของรูปแบบเป็น pass
  • ผลลัพธ์จะถูกปัดเศษเป็นจำนวนเต็มที่ใกล้เคียงที่สุด

ตัวอย่าง: ทั้งหมด 15 รูปแบบ, ผ่าน 12 ครั้ง = คะแนนรูปแบบ 80

คะแนนคำแนะนำ

คะแนนคำแนะนำใช้ระบบคะแนนถ่วงน้ำหนักตามความรุนแรงโดยธรรมชาติของแต่ละเกณฑ์:

ความรุนแรงโดยธรรมชาติ คะแนนหากผ่าน จํานวนเกณฑ์ คะแนนสูงสุด
สูง 3 7 21
ปานกลาง 2 6 12
ตํ่า 1 2 2
ผลรวม 15 35
Instruction Score = (Earned Points / 35) × 100
  • สําหรับเกณฑ์ทั้ง 15 ข้อหากไม่พบปัญหาสําหรับเกณฑ์นั้นจะมีการเพิ่มคะแนนความรุนแรงโดยธรรมชาติ
  • หากตรวจพบ "คําแนะนําที่ขาดหายไป" เกณฑ์ทั้งหมดจะล้มเหลวและคะแนนเป็น 0
  • ผลลัพธ์คือถูกจำกัดค่าไว้ที่ไม่เกิน 100 และปัดเศษเป็นจํานวนเต็มที่ใกล้ที่สุด

ตัวอย่าง: ไม่ผ่านเกณฑ์สูง 3 ข้อและปานกลาง 2 ข้อ:

  • คะแนนที่ได้รับ: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 คะแนน
  • คะแนน = (22 / 35) × 100 = 63

คะแนนรวม

Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)

ทั้งสองมิติมีน้ำหนักเท่ากัน หากมีมิติข้อมูลเพียงรายการเดียว (เช่น ไม่มีคําแนะนํา) ระบบจะใช้คะแนนของมิติข้อมูลนั้นโดยตรง

คู่มือสีคะแนนและป้ายกํากับ

ช่วงคะแนน ฉลาก สี
80 และรุ่นที่ใหม่กว่า ยอดเยี่ยม สีเขียว
60 ถึง 79 ดี สีเหลืองอำพัน
40 ถึง 59 พอใช้ สีแดง
ต่ำกว่า 40 ต้องการการปรับปรุง สีแดง

ตรวจสอบผลลัพธ์

หลังจากการตรวจสอบเสร็จสิ้น แผงการตรวจสอบจะแสดงผลลัพธ์ แผงมีสามแท็บ:

แท็บภาพรวม

แท็บ ภาพรวม จะให้ข้อมูลสรุประดับสูงแก่คุณ:

  • คะแนนรวม: มาตรวัดวงกลมสีเขียว สีเหลืองอําพัน หรือสีแดง
  • คะแนนรูปแบบ และ คะแนนคำสั่ง แสดงเคียงกัน
  • เมตาดาต้าของเอเจนต์: ชื่อ สภาพแวดล้อม ภาษา โหมดการรับรองความถูกต้อง การตั้งค่า AI
  • สรุปที่สร้างโดย AI: คําอธิบายภาษาธรรมชาติของข้อค้นพบที่สำคัญที่สุด
  • ประทับเวลาการตรวจสอบ และแหล่งข้อมูล (สภาพแวดล้อมสดหรือการอัปโหลด ZIP)

สกรีนช็อตของแท็บภาพรวมของแผงการตรวจสอบที่แสดงมาตรวัดคะแนนโดยรวม รูปแบบและคะแนนคำแนะนำ และสรุปจาก AI

แท็บลวดลาย

แท็บ รูปแบบ จะแสดงกริดแบบเต็มของรูปแบบทั้งหมด 18 รูปแบบที่ประเมิน โดยมีคอลัมน์เหล่านี้:

คอลัมน์ คำอธิบาย
สถานะ ผ่านหรือไม่ผ่าน
ความร้ายแรง ป้ายระดับสูง ปานกลาง หรือต่ำ
ประเภท ประเภทรูปแบบ (การตั้งชื่อโมเดล สถาปัตยกรรม และอื่นๆ)
ชื่อรูปแบบ ชื่อเต็มของรูปแบบ
หัวข้อที่ได้รับผลกระทบ จํานวนหัวข้อที่ได้รับผลกระทบจากรูปแบบนี้
การดำเนินการ ปุ่มรายละเอียด เพื่อเปิดแผงรายละเอียดรูปแบบ

คุณสามารถเรียงลําดับกริดตามคอลัมน์ใดก็ได้ โดยค่าเริ่มต้น รูปแบบที่ไม่ผ่านจะปรากฏขึ้นก่อน โดยจัดเรียงตามความรุนแรง (สูง ตามด้วยปานกลาง จากนั้นต่ำ)

แท็บการปฏิบัติตามข้อบังคับ

แท็บ การปฏิบัติตามข้อบังคับ จะแสดงเกณฑ์คำแนะนำทั้งหมด 15 ข้อ:

คอลัมน์ คำอธิบาย
สถานะ ผ่านหรือไม่ผ่าน
ความร้ายแรง ป้ายระดับสูง ปานกลาง หรือต่ำ
ประเภท ขอบเขต ความปลอดภัย คุณภาพ หรือ UX
ชื่อเกณฑ์ ชื่อเต็มของเกณฑ์
พบปัญหา จํานวนปัญหาเฉพาะภายใต้เกณฑ์นี้
การดำเนินการ ปุ่มรายละเอียด เพื่อเปิดแผงรายละเอียดการปฏิบัติตามข้อบังคับ

รายละเอียดแนวลึกของรูปแบบ

เมื่อคุณเลือก รายละเอียด เกี่ยวกับรูปแบบที่ไม่ผ่าน แผง รายละเอียดรูปแบบ จะเปิดขึ้น ซึ่งแสดง:

  • ชื่อและคำอธิบายรูปแบบ: รูปแบบนี้ตรวจสอบอะไร
  • เหตุใดจึงสําคัญ: ผลกระทบของรูปแบบต่อต้านนี้ต่อคุณภาพของเอเจนต์
  • ตารางหัวข้อที่ได้รับผลกระทบ: แต่ละหัวข้อที่มีค่าปัจจุบันและการแทนที่ที่แนะนําโดย AI
  • คําแนะนํา: การดําเนินการที่เป็นรูปธรรมเพื่อแก้ไขปัญหา
  • เรียนรู้เพิ่มเติม: ลิงก์โดยตรงไปยังคู่มือ Microsoft Learn ที่เกี่ยวข้อง

ภาพหน้าจอของแผงรายละเอียดรูปแบบที่แสดงคําอธิบายรูปแบบ หัวข้อที่ได้รับผลกระทบ คําแนะนํา และลิงก์เรียนรู้เพิ่มเติม

รายละเอียดแนวลึกการปฏิบัติตามข้อบังคับ

เมื่อคุณเลือก รายละเอียด เกี่ยวกับเกณฑ์การปฏิบัติตามข้อบังคับที่ไม่ผ่าน แผง รายละเอียดการปฏิบัติตามข้อบังคับ จะเปิดขึ้น ซึ่งแสดง:

  • ชื่อเกณฑ์ หมวดหมู่ และความรุนแรง
  • สิ่งที่เกณฑ์ตรวจสอบ: คําอธิบายภาษาธรรมดา
  • พบปัญหาเฉพาะ: การวิเคราะห์ของ AI ว่ามีอะไรขาดหายไปหรือผิดพลาด
  • คําแนะนํา: ภาษาหรือรูปแบบที่แน่นอนเพื่อเพิ่มลงในคําแนะนําของเอเจนต์
  • ตัวอย่าง: หากมี ตัวอย่างของคำสั่งที่เป็นไปตามข้อกำหนด
  • เรียนรู้เพิ่มเติม: ลิงก์ไปยังคู่มือ Microsoft Learn ที่เกี่ยวข้อง

ส่งออกผลลัพธ์

คุณสามารถส่งออกผลลัพธ์ในสามรูปแบบจากส่วนหัวของแผงการตรวจสอบ

รายงาน PDF

รายงาน PDF ที่สวยงามและมนุษย์อ่านได้ ซึ่งเหมาะสําหรับการแบ่งปันกับผู้มีส่วนได้ส่วนเสียหรือแนบไปกับการตรวจสอบด้านการกํากับดูแล

เนื้อหา:

  • บทสรุปสำหรับผู้บริหารพร้อมคะแนนและตัวชี้วัดสำคัญ
  • ผลการประเมินรูปแบบ (สถานะ ความรุนแรง หัวข้อที่ได้รับผลกระทบ)
  • ข้อค้นพบการปฏิบัติตามข้อบังคับ (ทั้ง 15 เกณฑ์)
  • คําแนะนําสําหรับทุกปัญหาที่พบ
  • เมตาดาต้าของเอเจนต์ (ชื่อ สภาพแวดล้อม วันที่ตรวจสอบ)

รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review_{YYYY-MM-DD}.pdf

PDF จะถูกสร้างขึ้นโดยอัตโนมัติเมื่อสิ้นสุดการตรวจสอบทุกครั้ง และจัดเก็บไว้ใน Dataverse ควบคู่ไปกับเรกคอร์ดการตรวจสอบ การดาวน์โหลดครั้งต่อๆ ไปจะดึงไฟล์ที่เก็บไว้โดยไม่ต้องเรียกใช้การวิเคราะห์ซ้ํา

การส่งออก SARIF

SARIF (Static Analysis Results Interchange Format v2.1.0) เป็นรูปแบบ JSON ที่ออกแบบมาเพื่อผสานรวมกับเครื่องมือสําหรับนักพัฒนาและไปป์ไลน์ CI/CD

กรณีการใช้งาน:

  • อัปโหลดไปยัง GitHub Advanced Security สําหรับคําอธิบายประกอบ PR ที่ใช้ SARIF
  • นำเข้าไปยังการตรวจสอบเกณฑ์คุณภาพของ Azure DevOps
  • ประมวลผลด้วยเครื่องมือของบริษัทอื่นที่ใช้ SARIF (SonarQube, Visual Studio Code และอื่นๆ)

ภาพรวมโครงสร้าง:

{
  "version": "2.1.0",
  "runs": [{
    "tool": {
      "driver": {
        "name": "Copilot Studio Agent Review Tool",
        "version": "1.0"
      }
    },
    "results": [
      {
        "ruleId": "pat-007",
        "level": "error",
        "message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
        "properties": {
          "category": "Architecture",
          "recommendation": "Reduce tool count to 25 or fewer"
        }
      }
    ]
  }]
}

การแมประหว่างระดับความรุนแรงกับระดับของ SARIF:

  • สูง = "error"
  • ปานกลาง = "warning"
  • ตํ่า = "note"

รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review.sarif

ส่งออก Excel

เวิร์กบุ๊ก Excel แบบหลายแผ่นสําหรับการวิเคราะห์ข้อมูล การรายงาน และการเก็บถาวร

ชีท เนื้อหาต่างๆ
บทสรุป หนึ่งแถวต่อเอเจนต์ที่ตรวจสอบ ได้แก่ ชื่อ คะแนน จํานวนปัญหา วันที่ตรวจสอบ
รูปแบบ รูปแบบทั้งหมด 18 รูปแบบ ได้แก่ ID, ชื่อ, หมวดหมู่, ความรุนแรง, สถานะ, หัวข้อที่ได้รับผลกระทบ, คําแนะนํา
การปฏิบัติตาม เกณฑ์ทั้ง 15 ข้อ ได้แก่ รหัส, ชื่อ, หมวดหมู่, ความรุนแรง, สถานะ, จํานวนปัญหา, คําแนะนํา

ส่วนหัวเป็นตัวหนาและมีพื้นหลังสีประจำแบรนด์ เซลล์คะแนนและความรุนแรงมีรหัสสีเป็นสีเขียว สีเหลืองอําพัน หรือสีแดง ความกว้างของคอลัมน์จะปรับอัตโนมัติ

รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review_{YYYY-MM-DD}.xlsx

เจาะลึกการตรวจสอบเอเจนต์ที่กำหนดด้วยการประกาศ

เอเจนต์ที่กำหนดด้วยการประกาศของ Microsoft 365 เป็นเอเจนต์ประเภทที่แตกต่างจากเอเจนต์ Copilot Studio ไฟล์เหล่านี้ถูกกําหนดโดยไฟล์รายการทรัพยากร JSON ทั้งหมดและปรับใช้กับระบบนิเวศของ Microsoft 365

การตรวจสอบ Declarative Agent ครอบคลุมอะไรบ้าง

การตรวจสอบจะตรวจสอบโครงสร้างรายการก่อน โดยตรวจสอบว่ามีฟิลด์ที่จําเป็นทั้งหมดและสคีมามีรูปแบบที่ดี จากนั้นจะเรียกใช้การประเมิน AI เทียบกับเกณฑ์คุณภาพห้าข้อและสร้างรายงาน PDF การตรวจสอบการปฏิบัติตามข้อบังคับของคำแนะนำ 15 เกณฑ์ (เฉพาะสําหรับเอเจนต์ Copilot Studio) ใช้ไม่ได้ที่นี่

เกณฑ์การประเมิน Declarative Agent 5 ข้อ

เกณฑ์ น้ำหนัก สิ่งที่ได้รับการประเมิน
คำแนะนำ 30% ความชัดเจน ความเฉพาะเจาะจง และความครบถ้วนของพร้อมท์ระบบของเอเจนต์
ข้อมูลความรู้ 20% การใช้แหล่งความรู้ที่เชื่อมต่อเพื่ออ้างอิงและยึดโยงข้อเท็จจริง
ความสามารถ 15% การใช้ความสามารถ CodeInterpreter และ OneDriveAndSharePoint
การดำเนินการ 15% การมีอยู่และคุณภาพของคําอธิบายการทํางานของเครื่องมือ
บทสนทนาเริ่มต้น 10% จํานวนและคุณภาพ (ขั้นต่ำ 3 แนะนํา 6)
การรับมือกับข้อผิดพลาดอย่างราบรื่น 10% การจัดการอินพุตที่ไม่รู้จักและสถานะข้อผิดพลาด

การตรวจสอบความสมบูรณ์ของไฟล์กำกับ (การตรวจสอบความถูกต้องในเครื่อง)

ก่อนที่ AI จะเริ่มทำงาน การตรวจสอบความพร้อมแบบกำหนดแน่นอนจะตรวจสอบความถูกต้องของโครงสร้างไฟล์ manifest:

  • ช่องที่ต้องกรอกมีดังนี้ (name, description, ) instructions
  • การตรวจสอบความเข้ากันได้ของเวอร์ชันสคีมา
  • การอ้างอิงปลั๊กอินการดําเนินการถูกต้อง
  • จํานวนผู้เริ่มต้นการสนทนาภายในขอบเขต (3-12)
  • การประกาศความสามารถถูกสร้างขึ้นอย่างถูกต้อง

ความล้มเหลวในการตรวจสอบสถานะใดๆ จะปรากฏเป็นปัญหาในผลการตรวจสอบเอเจนต์ที่กำหนดด้วยการประกาศโดยไม่ขึ้นกับการประเมิน AI

ส่งเอเจนต์แบบประกาศเพื่อรับการตรวจสอบ

ผ่านการอัปโหลด ZIP (พบบ่อยที่สุด):

  1. ส่งออก Declarative Agent จากเครื่องมือสร้างของคุณเป็นแพ็กเกจ ZIP
  2. เลือก อัปโหลด ZIP ในส่วนหัวของหน้าเครื่องมือตรวจสอบเอเจนต์
  3. หาก ZIP มีหลายเอเจนต์ แผงตัวเลือกจะช่วยให้คุณเลือกเอเจนต์ที่จะตรวจสอบได้
  4. การตรวจสอบจะทํางานโดยอัตโนมัติ

ผ่านแค็ตตาล็อก Microsoft 365 (ต้องมีการตั้งค่า API กราฟ):

  1. เลือก เชื่อมต่อกับ Microsoft 365 ในแท็บเอเจนต์ Microsoft 365
  2. ทําตัวช่วยสร้างการให้สิทธิ์ API กราฟให้เสร็จสมบูรณ์
  3. เอเจนต์ Declarative ที่คุณปรับใช้จะปรากฏในกริด Declarative Agent
  4. เลือก ตรวจสอบ บน Declarative Agent ใดก็ได้

ภาพหน้าจอของแผงรีวิว Declarative Agent ซึ่งแสดงผลการตรวจสอบความสมบูรณ์ของไฟล์ Manifest และผลการประเมินโดย AI

การเข้าถึงการรักษาความปลอดภัยและข้อมูล

ส่วนนี้อธิบายวิธีที่เครื่องมือตรวจสอบเอเจนต์จัดการกับความปลอดภัยและการเข้าถึงข้อมูล

ที่เก็บข้อมูล

ผลการตรวจสอบทั้งหมดจะถูกเก็บไว้ใน cat_agentreviews ตาราง Dataverse แต่ละรายการจัดเก็บ:

ฟิลด์ เนื้อหา
cat_agentreviewsid รหัสข้อมูลการตรวจสอบที่ไม่ซ้ํากัน
cat_botid การอ้างอิงถึงเอเจนต์ที่ตรวจสอบ
cat_overallscore คะแนนรวม 0-100
cat_patternscore คะแนนการประเมินแพทเทิร์น
cat_instructionscore คะแนนการปฏิบัติตามคำสั่ง
cat_totalissues จํานวนปัญหาทั้งหมด
cat_reviewresultjson ผลการตรวจสอบฉบับเต็มเป็น JSON
cat_reviewpdfreport_name รายงาน PDF (คอลัมน์ไฟล์ของ Dataverse)
cat_sourceenvironment URL สภาพแวดล้อมแหล่งที่มา หรือ zip
cat_agenttype 1 = Copilot Studio, 2 = เอเจนต์เชิงประกาศ

การรักษาความปลอดภัยระดับแถว

ตาราง cat_agentreviews ใช้ขอบเขตการอ่านระดับผู้ใช้ (พื้นฐาน) ใน Dataverse ผู้ใช้จะดูได้เฉพาะรีวิวที่ตนสร้างเองเท่านั้น รีวิวของผู้ใช้รายอื่นจะไม่แสดงให้เห็น แม้อยู่ในสภาพแวดล้อมเดียวกัน Dataverse บังคับใช้การรักษาความปลอดภัยนี้ตั้งแต่เริ่มต้น ไม่ใช่รหัสแอปพลิเคชัน

สภาพแวดล้อมแหล่งที่มา

ผู้ใช้สามารถตรวจสอบเอเจนต์จากสภาพแวดล้อมที่เอเจนต์สามารถเข้าถึงได้ ไม่ใช่แค่สภาพแวดล้อมปัจจุบัน แดชบอร์ดรองรับการตรวจสอบข้ามสภาพแวดล้อมผ่านตัวเลือกสภาพแวดล้อม การตรวจสอบจากสภาพแวดล้อมอื่นจะติดแท็กด้วย URL ของสภาพแวดล้อมแหล่งที่มา เพื่อให้ปรากฏอย่างถูกต้องเมื่อโหลดเครื่องมือ

การตรวจสอบที่มาจากการอัปโหลด ZIP จะแสดงเสมอไม่ว่าเครื่องมือจะเชื่อมต่อกับสภาพแวดล้อมใด

ข้อมูลใดบ้างที่ออกจากสภาพแวดล้อม

  • การกําหนดค่าของเอเจนต์ (หัวข้อ เครื่องมือ คําแนะนํา) จะถูกส่งไปยังแบบจําลอง AI ผ่าน Dataverse PredictV2 สิ่งนี้จะผ่านเส้นทางการเรียกใช้แบบจําลอง Dataverse AI มาตรฐาน และอยู่ภายใต้นโยบายถิ่นที่อยู่ของข้อมูลเดียวกันกับการดําเนินการ Dataverse AI ใดๆ
  • ไม่มีการส่งข้อมูลไปยังบริการของบุคคลที่สามหรือตำแหน่งข้อมูลภายนอก
  • ผลการตรวจสอบ (รวมถึง PDF) จะถูกจัดเก็บไว้ใน Dataverse เท่านั้น

ประสบการณ์การรันครั้งแรกและทัวร์เริ่มต้นใช้งาน

เมื่อผู้ใช้เปิดเครื่องมือตรวจสอบเอเจนต์เป็นครั้งแรก ทัวร์แนะนำการใช้งานจะพาผู้ใช้ไปรู้จักส่วนสำคัญของอินเทอร์เฟซ:

  1. การ์ดสถิติบนแดชบอร์ดและความหมายของการ์ดเหล่านั้น
  2. วิธีอ่านกริดเอเจนต์
  3. วิธีเริ่มการตรวจสอบ
  4. วิธีการตีความผลลัพธ์
  5. ตัวเลือกการส่งออก

ความคืบหน้าของทัวร์จะถูกบันทึกไว้ใน Dataverse ดังนั้นทัวร์จึงจะไม่แสดงซ้ำหลังจากเสร็จสิ้น ผู้ใช้สามารถเปิดทัวร์เริ่มต้นใช้งานอีกครั้งได้ตลอดเวลาจากส่วน ความช่วยเหลือ / ลิงก์ด่วน ในส่วนหัวของหน้า

คำถามที่ถามบ่อย

ส่วนนี้จะกล่าวถึงคําถามทั่วไปเกี่ยวกับเครื่องมือตรวจสอบเอเจนต์

การตรวจสอบใช้เวลานานเท่าใด

เอเจนต์ทั่วไปที่มีหัวข้อน้อยกว่า 20 หัวข้อจะเสร็จสิ้นภายใน 60 วินาที เครื่องมือนี้มีกำหนดหมดเวลา 2 นาที เอเจนต์ขนาดใหญ่มาก (มากกว่า 50 หัวข้อ เครื่องมือมากมาย) อาจเข้าใกล้ขีดจํากัด

เครื่องมือนี้แก้ไขเอเจนต์ของฉันหรือไม่

ไม่ใช่ เครื่องมือนี้เป็นแบบอ่านอย่างเดียวทั้งหมดในส่วนที่เกี่ยวกับข้อมูลเอเจนต์ อ่านเฉพาะการกําหนดค่าเอเจนต์เท่านั้น การเขียนทั้งหมดจะถูกเขียนไปยังตาราง cat_agentreviews

ฉันสามารถตรวจสอบเอเจนต์อีกครั้งหลังจากทําการเปลี่ยนแปลงได้หรือไม่

ใช่ การตรวจสอบแต่ละครั้งจะสร้างระเบียนใหม่ กริดจะแสดงการตรวจสอบล่าสุดเสมอ การตรวจสอบเก่ายังคงอยู่ใน Dataverse และสามารถเข้าถึงได้โดยทางโปรแกรมหากจําเป็น

จะเกิดอะไรขึ้นหากเอเจนต์ของฉันอยู่ในสภาพแวดล้อมที่แตกต่างออกไป

ใช้ตัวเลือกสภาพแวดล้อมบนแดชบอร์ดเพื่อระบุให้เครื่องมือมุ่งไปยังสภาพแวดล้อมอื่นที่คุณมีสิทธิ์เข้าถึง การตรวจสอบจะทํางานกับสภาพแวดล้อมนั้น และผลลัพธ์จะถูกเก็บไว้ในสภาพแวดล้อมปัจจุบัน

ฉันสามารถตรวจสอบเอเจนต์ที่ฉันไม่ได้สร้างขึ้นได้หรือไม่

ใช่ คุณสามารถตรวจสอบเอเจนต์ใดๆ ที่คุณมีสิทธิ์อ่านใน Dataverse อย่างไรก็ตาม คุณสามารถ ดู รีวิวที่คุณสร้างขึ้นได้เท่านั้น (ความปลอดภัยระดับแถว) รีวิวจากผู้ใช้รายอื่นจะไม่แสดง

SARIF คืออะไรและฉันจำเป็นต้องมีหรือไม่

SARIF เป็นรูปแบบมาตรฐานสําหรับผลการวิเคราะห์แบบคงที่ คุณต้องการก็ต่อเมื่อคุณรวมการตรวจสอบคุณภาพของเอเจนต์เข้ากับไปป์ไลน์ CI/CD (GitHub Actions หรือ Azure DevOps) สําหรับผู้ใช้ส่วนใหญ่ การส่งออก PDF และ Excel ก็เพียงพอแล้ว

เครื่องมือแจ้งว่าเอเจนต์ของฉันไม่มีคําแนะนํา สิ่งนี้ถือเป็นปัญหาหรือไม่

ใช่ เครื่องมือนี้แสดงเฉพาะเอเจนต์ที่เปิดใช้งาน AI เชิงสร้างสรรค์ดังนั้นเอเจนต์ทั้งหมดในกริดจึงคาดว่าจะมีคําแนะนำเตรียมไว้ หากการตรวจสอบการปฏิบัติตามข้อบังคับรายงานว่าไม่มีคําแนะนํา แสดงว่าการประสานการทำงานที่สร้างโดยอัตโนมัติของเอเจนต์ทํางานอยู่ แต่ยังไม่มีการเขียนคำแนะนำของระบบ ขอแนะนําอย่างยิ่งให้เพิ่มคําแนะนํา

เหตุใด "บุคลิกและโทน" จึงมีระดับความรุนแรงต่ำ

คําแนะนําของ Microsoft ระบุว่าโทนที่สุภาพและเป็นมืออาชีพเป็นพฤติกรรมเริ่มต้นสําหรับเอเจนต์ Copilot Studio อยู่แล้ว คําแนะนําสําหรับโทนจําเป็นก็ต่อเมื่อคุณต้องการโทนที่ไม่ใช่ค่าเริ่มต้น เกณฑ์นี้ต่ำเพราะความล้มเหลวไม่ค่อยทําให้เกิดปัญหาที่ผู้ใช้เผชิญ

การรีวิวใช้เครดิต Copilot หรือไม่?

ใช่ การตรวจสอบแต่ละครั้งจะเรียกใช้โมเดล AI สามครั้ง สําหรับการประเมินรูปแบบ การปฏิบัติตามข้อบังคับ และการสร้าง PDF แต่ละการเรียกใช้จะใช้เครดิต Copilot จากผู้เช่าของคุณ การตรวจสอบเอเจนต์เดิมอีกครั้งจะใช้เครดิตด้วย ดังนั้นให้ทําการเปลี่ยนแปลงก่อนแล้วจึงตรวจสอบใหม่

ฉันสามารถส่งออกการตรวจสอบทั้งหมดในคราวเดียวได้หรือไม่

ใช่ ใช้ปุ่ม ส่งออกทั้งหมด ในแถบเครื่องมือกริดเอเจนต์เพื่อสร้างเวิร์กบุ๊ก Excel ที่ครอบคลุมเอเจนต์ที่ตรวจสอบทั้งหมดในมุมมองปัจจุบัน