หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
เครื่องมือตรวจสอบเอเจนต์เป็นระบบการประเมินคุณภาพอัตโนมัติและการตรวจสอบการปฏิบัติตามข้อกําหนดสําหรับเอเจนต์ Microsoft Copilot Studio และเอเจนต์ที่กำหนดด้วยการประกาศ Microsoft 365 ช่วยให้ผู้สร้าง ผู้ดูแลระบบ และทีมกํากับดูแลระบุปัญหา รูปแบบต่อต้าน และช่องว่างในการปฏิบัติตามข้อกําหนดก่อนที่จะเข้าถึงผู้ใช้ปลายทาง
เมื่อองค์กรปรับขนาดการปรับใช้ Copilot Studio การตรวจสอบการกําหนดค่า คําแนะนํา และโครงสร้างหัวข้อของเอเจนต์แต่ละรายด้วยตนเองจึงเป็นไปไม่ได้ เครื่องมือตรวจสอบเอเจนต์ทําให้การตรวจสอบนั้นเป็นไปโดยอัตโนมัติผ่านการวิเคราะห์ที่ขับเคลื่อนด้วย AI ซึ่งโดยทั่วไปจะแสดงผลการวิจัยที่นําไปใช้ได้จริงภายใน 60 วินาที
มีไว้สําหรับ:
- ผู้สร้าง: รับคําติชมที่นําไปใช้ได้จริงเพื่อปรับปรุงคุณภาพของเอเจนต์ก่อนการปรับใช้
- ผู้ดูแลระบบและทีม CoE: บังคับใช้มาตรฐานการกํากับดูแลกับเอเจนต์ทั้งหมดในสภาพแวดล้อม
- เจ้าหน้าที่รักษาความปลอดภัยและการปฏิบัติตามกฎระเบียบ: ตรวจสอบว่าเอเจนต์ปฏิบัติตามแนวทางความเป็นส่วนตัว ความปลอดภัย และความถูกต้อง
ความสามารถหลัก
| ความสามารถ | รายละเอียด |
|---|---|
| ความครอบคลุมของเอเจนต์ | เอเจนต์ Copilot Studio และเอเจนต์แบบประกาศของ Microsoft 365 |
| เวลาทบทวน | โดยทั่วไปจะน้อยกว่า 60 วินาทีต่อเอเจนต์ |
| ตรวจสอบรูปแบบแล้ว | 18 รูปแบบ (10 แบบกําหนด + 8 แบบขับเคลื่อนด้วย AI) |
| เกณฑ์การปฏิบัติตามข้อกําหนด | 15 เกณฑ์คุณภาพการเรียนการสอน |
| ระบบคะแนน | คะแนนรวม 0-100 (รูปแบบ 50% การปฏิบัติตามข้อกําหนด 50%) |
| ส่งออกรูปแบบ | PDF, SARIF, Excel |
| ที่เก็บข้อมูล | Microsoft Dataverse (ขอบเขตระดับผู้ใช้, บังคับใช้การรักษาความปลอดภัยระดับแถว) |
| โปรแกรม AI | Microsoft Copilot Studio AI พร้อมท์ผ่าน Dataverse PredictV2 |
เริ่มต้นใช้งาน: แดชบอร์ด
เมื่อคุณเปิดเครื่องมือตรวจสอบเอเจนต์ คุณจะเข้าสู่ แดชบอร์ด ซึ่งเป็นศูนย์กลางที่แสดงเอเจนต์ทั้งหมดในสภาพแวดล้อมของคุณและสถานะการตรวจสอบของเอเจนต์
เค้าโครงแดชบอร์ด
แดชบอร์ดแสดงทุกอย่างได้อย่างครบถ้วน: แถบแท็บที่สลับระหว่างเอเจนต์ Copilot Studio และ Microsoft 365, การ์ดสถิติสี่ใบที่สรุปสถานะของพอร์ตโฟลิโอ, แถบเครื่องมือการค้นหา, กริดเอเจนต์ที่มีการแบ่งหน้า และปุ่ม อัปโหลด ZIP สําหรับการตรวจสอบแบบออฟไลน์
การ์ดสถิติ
การ์ดสถิติทั้งสี่จะให้ภาพรวมสถานะของพอร์ตโฟลิโอเอเจนต์ของคุณทันที:
| บัตร | สิ่งที่แสดงให้เห็น | คํานวณสิ่งนี้อย่างไร |
|---|---|---|
| จำนวนเอเจนต์ทั้งหมด | นับบอทที่ใช้งานอยู่ทั้งหมดในสภาพแวดล้อม | คิวรีตาราง bot โดยที่ statecode = 0 |
| ตรวจสอบแล้ว | จํานวนและเปอร์เซ็นต์ของเอเจนต์ที่ได้รับการตรวจสอบ | จํานวนการตรวจสอบที่เสร็จสมบูรณ์หารด้วยเอเจนต์ทั้งหมด |
| คะแนนเฉลี่ย | คะแนนโดยรวมเฉลี่ยของการตรวจสอบที่เสร็จสมบูรณ์ทั้งหมด | ผลรวมของคะแนนนำมาหารด้วยจำนวนที่ตรวจสอบแล้ว |
| ปัญหาทั้งหมด | พบปัญหาสะสมในเอเจนต์ที่ตรวจสอบทั้งหมด | ผลรวมของความล้มเหลวของรูปแบบบวกกับความล้มเหลวในการปฏิบัติตามข้อกําหนด |
ตารางเอเจนต์
| คอลัมน์ | เนื้อหา |
|---|---|
| ชื่อ | ชื่อที่แสดงของเอเจนต์พร้อมไอคอน |
| คะแนน (สกอร์) | คะแนนการตรวจสอบโดยรวม (0-100) หรือ -- หากยังไม่ได้ตรวจสอบ รหัสสี |
| ปัญหา | สรุปข้อมูลความรุนแรงสูง ปานกลาง และต่ํา
-- หากยังไม่ได้ตรวจสอบ |
| การตรวจสอบครั้งล่าสุด | เวลาสัมพัทธ์ (เช่น "2 ชั่วโมงที่แล้ว" หรือ "1 สัปดาห์ที่แล้ว") หรือ "ยังไม่ได้ตรวจสอบ" |
| การดำเนินการ | ตรวจสอบ สําหรับเอเจนต์ที่ยังไม่ได้ตรวจสอบ ดู สำหรับตัวแทนที่มีการตรวจสอบ |
เลือกสภาพแวดล้อม
โดยค่าเริ่มต้น เครื่องมือจะแสดงเอเจนต์จากสภาพแวดล้อมที่คุณติดตั้ง หากคุณต้องการตรวจสอบเอเจนต์จากสภาพแวดล้อมอื่น ให้ใช้ตัวเลือกสภาพแวดล้อมในแถบเครื่องมือแดชบอร์ด ดรอปดาวน์แสดงรายการสภาพแวดล้อม Power Platform ทั้งหมดที่คุณสามารถเข้าถึงได้
หลังจากที่คุณเลือกสภาพแวดล้อมอื่น กริดเอเจนต์จะรีเฟรชเพื่อแสดงเอเจนต์จากสภาพแวดล้อมนั้น จากนั้นคุณสามารถตรวจสอบเอเจนต์เหล่านั้นได้ ผลการตรวจสอบจะถูกเก็บไว้ในสภาพแวดล้อม (หน้าแรก) ปัจจุบัน ไม่ใช่สภาพแวดล้อมที่คุณเลือก
โหมดการตรวจสอบ
เครื่องมือนี้รองรับโหมดการตรวจสอบที่แตกต่างกันสองโหมด ซึ่งสามารถเข้าถึงได้จากแถบแท็บที่ด้านบนของแดชบอร์ด
การตรวจทานเอเจนต์ใน Copilot Studio
โหมดนี้จะตรวจสอบเอเจนต์ที่สร้างขึ้นใน Microsoft Copilot Studio อ่านโดยตรงจาก Dataverse ไม่จําเป็นต้องอัปโหลดไฟล์
สิ่งที่วิเคราะห์:
- การกําหนดค่าหัวข้อ (ชื่อ คําอธิบาย ตัวแปร)
- การกําหนดค่าเครื่องมือและการดําเนินการ (จํานวน คําอธิบาย การกําหนดเส้นทาง)
- ชนิดแหล่งความรู้
- ความครอบคลุมของกรณีทดสอบ
- คําแนะนําของเอเจนต์ (โหมดสร้างอัตโนมัติ)
- ข้อมูลเมตาของเอเจนต์ (ภาษา การรับรองความถูกต้อง การตั้งค่า AI)
วิธีเริ่มการตรวจสอบ:
- ค้นหาเอเจนต์ของคุณในกริด
- เลือก การตรวจสอบ งานการวิเคราะห์เริ่มต้นอัตโนมัติ
- แผงความคืบหน้าจะแสดงสิ่งที่เกิดขึ้นแบบเรียลไทม์
- ผลลัพธ์จะเปิดขึ้นในแผงการตรวจสอบเมื่อเสร็จสมบูรณ์
คุณสามารถตรวจสอบเอเจนต์อีกครั้งเมื่อใดก็ได้ การตรวจสอบแต่ละครั้งจะสร้างเรกคอร์ดใหม่ใน Dataverse กริดจะแสดงผลการตรวจสอบล่าสุดเสมอ
การตรวจสอบเอเจนต์แบบประกาศ (Microsoft Copilot)
โหมดนี้จะตรวจสอบ Microsoft 365 Declarative Agents ซึ่งถูกกําหนดโดยไฟล์ JSON แบบ manifest และถูกนําไปใช้ในระบบนิเวศ Microsoft Copilot
คุณสามารถส่ง Declarative Agent เพื่อรับการตรวจสอบได้สองวิธี:
| วิธีการ | อย่างไร | เมื่อใดควรใช้ |
|---|---|---|
| อัปโหลด ZIP | เลือก อัปโหลด ZIP ในส่วนหัวของหน้า เลือกแพ็กเกจที่ส่งออก | เอเจนต์มาจากผู้เช่ารายอื่นหรือไม่อยู่ในแค็ตตาล็อกของคุณ |
| จากแค็ตตาล็อก Microsoft 365 | เชื่อมต่อกับ Microsoft 365 ผ่านตัวช่วยสร้างการตั้งค่า API กราฟ จากนั้นเรียกดูเอเจนต์ | เอเจนต์ได้รับการปรับใช้ในเทนเนนต์ Microsoft 365 ของคุณ |
สิ่งที่วิเคราะห์ (5 เกณฑ์ ไม่ใช่ 15):
| เกณฑ์ | น้ำหนัก | สิ่งที่ถูกตรวจสอบ |
|---|---|---|
| คำแนะนำ | 30% | ความชัดเจน ความสมบูรณ์ และคุณภาพของคําแนะนําของเอเจนต์ |
| ข้อมูลความรู้ | 20% | การตรวจสอบความถูกต้องผ่านแหล่งความรู้ที่เชื่อมต่อ |
| ความสามารถ | 15% | การใช้ CodeInterpreter และ OneDriveAndSharePoint |
| การดำเนินการ | 15% | การกําหนดเส้นทางเครื่องมือและคําอธิบายการดําเนินการ |
| บทสนทนาเริ่มต้น | 10% | ขั้นต่ำ 3 แนะนํา 6 (สูงสุด 12) |
| การรับมือกับข้อผิดพลาดอย่างราบรื่น | 10% | การกู้คืนข้อผิดพลาดและพฤติกรรมสํารอง |
Note
การตรวจสอบการปฏิบัติตามข้อกําหนดคําสั่ง 15 เกณฑ์มีไว้สําหรับเอเจนต์ Copilot Studio โดยเฉพาะ และใช้ไม่ได้กับเอเจนต์ที่กำหนดด้วยการประกาศ
จะเกิดอะไรขึ้นระหว่างการตรวจสอบ
เมื่อคุณเลือก การตรวจสอบ เครื่องมือจะเรียกใช้การวิเคราะห์อัตโนมัติซึ่งโดยทั่วไปจะเสร็จสมบูรณ์ภายใน 60 วินาที แผงความคืบหน้าจะแจ้งให้คุณทราบในขณะที่ทํางาน
การวิเคราะห์ครอบคลุมสามสิ่งตามลําดับต่อไปนี้:
- การวิเคราะห์การกําหนดค่า: เครื่องมือจะอ่านการกําหนดค่าที่สมบูรณ์ของเอเจนต์จาก Dataverse ทุกหัวข้อ เครื่องมือ แหล่งความรู้ กรณีทดสอบ และคําแนะนํา ตรวจสอบฟิลด์ที่ขาดหายไปในส่วนประกอบทั้งหมด และวัดสิ่งต่างๆ เช่น จํานวนเครื่องมือและความครอบคลุมของการทดสอบเทียบกับแนวทางปฏิบัติที่ดีที่สุดของ Microsoft
- การประเมินรูปแบบที่ขับเคลื่อนด้วย AI: โมเดล AI จะตรวจสอบการกําหนดค่าเดียวกันเพื่อประเมิน คุณภาพ ไม่ใช่แค่ความสมบูรณ์ โดยพิจารณาว่าชื่อและคำอธิบายของหัวข้อมีความชัดเจนเพียงพอสำหรับตัวประสานงานเชิงกำเนิดในการกำหนดเส้นทางได้อย่างถูกต้องหรือไม่ หัวข้อหลายหัวข้อมีความทับซ้อนกันในลักษณะที่ทำให้เกิดความสับสนในการกำหนดเส้นทางหรือไม่ และคำอธิบายเครื่องมือให้แนวทางแก่ AI เพียงพอที่จะเรียกใช้เครื่องมือที่ถูกต้องในเวลาที่เหมาะสมหรือไม่
- การตรวจสอบการปฏิบัติตามข้อกําหนดของคําสั่ง: โมเดล AI ที่สองจะอ่านคําแนะนําของระบบของเอเจนต์และตรวจสอบกับเกณฑ์แนวทางปฏิบัติที่ดีที่สุด 15 เกณฑ์จากคําแนะนําโหมดสร้างของ Microsoft ซึ่งครอบคลุมขอบเขต ความปลอดภัย คุณภาพการตอบสนอง และประสบการณ์ของผู้ใช้ สําหรับแต่ละเกณฑ์คําแนะนําไม่เป็นไปตาม แต่จะปรากฏการค้นพบที่เฉพาะเจาะจงและคําแนะนําที่เป็นรูปธรรม
หลังจากทําทั้งสามขั้นตอนเสร็จแล้ว ระบบจะสร้างรายงาน PDF โดยอัตโนมัติและผลลัพธ์จะเปิดขึ้นในแผงการตรวจสอบ
สำคัญ
แต่ละรีวิวจะใช้เครดิต Copilot ขั้นตอนที่ขับเคลื่อนด้วย AI (การประเมินรูปแบบ การตรวจสอบการปฏิบัติตามข้อกําหนดของคําสั่ง และการสร้าง PDF) แต่ละขั้นตอนจะเรียกใช้โมเดล AI ผ่าน Dataverse วางแผนตามนั้นหากคุณกําลังตรวจสอบเอเจนต์จํานวนมาก
รูปแบบที่ตรวจพบ
รูปแบบระบุรูปแบบการต่อต้านที่เฉพาะเจาะจงหรือแนวทางปฏิบัติที่ดีที่สุดที่ขาดหายไปในการกําหนดค่าของเอเจนต์ เครื่องมือตรวจสอบ 18 รูปแบบใน 7 หมวดหมู่
ทั้งหมด 18 รูปแบบ
| ID | ชื่อรูปแบบ | ประเภท | ผลกระทบ |
|---|---|---|---|
pat-001 |
ไม่มีชื่อโมเดล | การตั้งชื่อโมเดล | ตัวประสานงานเชิงสร้างสรรค์ไม่สามารถกำหนดเส้นทางไปยังหัวข้อนี้ได้อย่างน่าเชื่อถือ |
pat-002 |
คําอธิบายโมเดลที่ขาดหายไป | คำอธิบายโมเดล | หัวข้ออาจถูกข้ามหรือทริกเกอร์ผิดระหว่างการกําหนดเส้นทาง |
pat-003 |
ไม่มีชื่อตัวแปรอินพุต | ตัวแปรอินพุต | ผู้ใช้เห็นตัวแปรที่ไม่มีชื่อ ทําให้เกิดความสับสนในการสนทนา |
pat-004 |
ไม่มีคําอธิบายตัวแปรอินพุต | ตัวแปรอินพุต | AI ไม่สามารถแยกค่าที่ถูกต้องจากอินพุตของผู้ใช้ได้อย่างถูกต้อง |
pat-005 |
ไม่มีชื่อตัวแปรเอาต์พุต | ตัวแปรเอาต์พุต | ค่าเอาต์พุตไม่มีป้ายกํากับและผู้ใช้ตีความได้ยาก |
pat-006 |
ไม่มีคําอธิบายตัวแปรเอาต์พุต | ตัวแปรเอาต์พุต | AI ขาดบริบทในการเติมตัวแปรอย่างถูกต้อง |
pat-007 |
การใช้เครื่องมือมากเกินไป | สถาปัตยกรรม | เครื่องมือมากเกินไปทําให้ความแม่นยําของการกําหนดเส้นทางลดลงและเพิ่มเวลาแฝง |
pat-008 |
กรณีทดสอบไม่เพียงพอ | การประเมิน | การถดถอยในพฤติกรรมของหัวข้อตรวจไม่พบก่อนการปรับใช้ |
pat-009 |
คําอธิบายเอเจนต์ย่อยที่หายไป | สถาปัตยกรรม | Orchestrator ไม่สามารถตัดสินใจได้ว่าควรมอบหมายงานให้เอเจนต์ย่อยเมื่อใด |
pat-010 |
การขยายตัวของสถาปัตยกรรมเอเจนต์ย่อย | สถาปัตยกรรม | การมอบหมายที่มากเกินไปจะสร้างความซับซ้อนและเวลาในการประสานงาน |
pat-011 |
ชื่อโมเดลไม่ชัดเจน | การตั้งชื่อโมเดล | ชื่อที่คลุมเครือทำให้ตัวประสานการทำงานกำหนดเส้นทางไปยังหัวข้อที่ไม่ถูกต้อง |
pat-012 |
คําอธิบายโมเดลไม่ชัดเจน | คำอธิบายโมเดล | คําอธิบายที่ไม่ดีนําไปสู่ทริกเกอร์หัวข้อที่พลาดหรือไม่ถูกต้อง |
pat-013 |
ชื่อตัวแปรอินพุตไม่ชัดเจน | ตัวแปรอินพุต | ชื่อที่คลุมเครือทําให้ AI เติมตัวแปรได้อย่างถูกต้องได้ยากขึ้น |
pat-014 |
คําอธิบายตัวแปรอินพุตที่ไม่ชัดเจน | ตัวแปรอินพุต | AI แยกค่าที่ไม่ถูกต้องหรือถามคําถามชี้แจงที่ไม่จําเป็น |
pat-015 |
ชื่อตัวแปรเอาต์พุตไม่ชัดเจน | ตัวแปรเอาต์พุต | หัวข้อหรือโฟลว์ดาวน์สตรีมที่ใช้ตัวแปรนี้อาจตีความผิด |
pat-016 |
คําอธิบายตัวแปรเอาต์พุตที่ไม่ชัดเจน | ตัวแปรเอาต์พุต | AI ไม่สามารถสร้างรูปแบบหรือค่าผลลัพธ์ที่คาดหวังได้อย่างน่าเชื่อถือ |
pat-017 |
คําอธิบายหัวข้อที่ทับซ้อนกัน | คำอธิบายโมเดล | หลายท็อปปิกแข่งขันกันเพื่อคำพูดเดียวกันของผู้ใช้ ซึ่งทำให้การกำหนดเส้นทางเกิดขึ้นอย่างคาดเดาไม่ได้ |
pat-018 |
ช่องว่างการกําหนดเส้นทางเครื่องมือ | สถาปัตยกรรม | AI ไม่สามารถตัดสินใจได้ว่าจะเรียกใช้เครื่องมือใด ซึ่งนําไปสู่การเรียกใช้เครื่องมือที่ไม่ถูกต้องหรือไม่มีการดําเนินการใดๆ |
สำหรับรูปแบบที่ไม่ผ่านการตรวจสอบแต่ละรูปแบบ เครื่องมือจะแสดงหัวข้อที่ได้รับผลกระทบ ค่าปัจจุบันที่ทำให้พบผลการตรวจสอบนี้ คำแนะนำในการปรับปรุง และลิงก์ไปยังเอกสาร Microsoft Learn ที่เกี่ยวข้อง
หมวดหมู่ของรูปแบบ
ตารางผลลัพธ์จัดกลุ่มรูปแบบออกเป็นเจ็ดประเภท โดยเรียงลําดับตามลําดับต่อไปนี้:
| # | ประเภท | รูปแบบที่รวมอยู่ |
|---|---|---|
| 1 | การตั้งชื่อโมเดล |
pat-001, pat-011 |
| 2 | คำอธิบายโมเดล |
pat-002, pat-012, pat-017 |
| 3 | ตัวแปรอินพุต |
pat-003, , pat-004, pat-013pat-014 |
| 4 | ตัวแปรเอาต์พุต |
pat-005, , pat-006, pat-015pat-016 |
| 5 | สถาปัตยกรรม |
pat-007, , pat-009, pat-010pat-018 |
| 6 | การประสานรวม | สงวนไว้สําหรับรูปแบบที่ตรวจพบโดย AI ในอนาคต |
| 7 | การประเมิน | pat-008 |
ตรรกะความรุนแรง
การรวมกันของการจับคู่คีย์เวิร์ดและจํานวนหัวข้อจะเป็นตัวกําหนดความรุนแรงของรูปแบบ:
| เงื่อนไข | ความรุนแรงที่กําหนด |
|---|---|
| ชื่อรูปแบบประกอบด้วย "ชื่อโมเดล" หรือ "คําอธิบายโมเดล" | สูง |
| ชื่อรูปแบบประกอบด้วย "ตัวแปร" | ปานกลาง (เว้นแต่จํานวนหัวข้อคือ 5 หัวข้อขึ้นไป) |
| จํานวนหัวข้อคือ 5 หัวข้อขึ้นไป | สูง |
| จํานวนหัวข้อคือ 2 หัวข้อขึ้นไป | ปานกลาง |
| จํานวนหัวข้อคือ 1 | ต่ํา |
ระดับความรุนแรงเป็นตัวกำหนดทั้งป้ายสัญลักษณ์แบบภาพในตารางผลลัพธ์และระดับข้อผิดพลาด SARIF ในรายงานที่ส่งออก
เกณฑ์การปฏิบัติตามข้อกําหนด
ส่วนนี้ของการตรวจสอบจะประเมินคุณภาพของคําสั่งระบบของเอเจนต์ ซึ่งเป็นข้อความภาษาธรรมชาติที่ผู้สร้างระบุไว้ในการตั้งค่า ระบบอัตโนมัติ ของ Copilot Studio คําแนะนําเหล่านี้กําหนดพฤติกรรมของเอเจนต์ในการสนทนาทั้งหมด
เกณฑ์ 15 ข้อได้มาจาก คำแนะนำโหมดอัตโนมัติ ของ Microsoft และแสดงถึงแนวทางปฏิบัติที่มีผลกระทบมากที่สุดสําหรับคุณภาพคำแนะนำ
เงื่อนไขทั้งหมด 15 ข้อ
| # | ID | ชื่อเกณฑ์ | ประเภท | ความร้ายแรง | สิ่งที่ระบบตรวจสอบ |
|---|---|---|---|---|---|
| 1 | scope-definition |
ข้อกําหนดของขอบเขต | ขอบเขต | สูง | คําแนะนําของเอเจนต์กําหนดหัวข้อที่เอเจนต์ควรและไม่ควรตอบกลับอย่างชัดเจน |
| 2 | out-of-scope-handling |
การจัดการนอกขอบเขต | ขอบเขต | ปานกลาง | วิธีการระบุสิ่งที่ต้องพูดเมื่อผู้ใช้ถามเกี่ยวกับบางสิ่งที่อยู่นอกขอบเขตของเอเจนต์ |
| 3 | persona-and-tone |
บุคลิกและน้ำเสียง | UX | ตํ่า | คําแนะนํากําหนดโทนสําหรับสถานการณ์ที่ไม่ใช่ค่าเริ่มต้น (มืออาชีพ/สุภาพ เป็นค่าเริ่มต้นอยู่แล้ว ข้ามไปหากไม่จําเป็น) |
| 4 | privacy-and-sensitive-data |
ความเป็นส่วนตัวและข้อมูลที่ละเอียดอ่อน | ความปลอดภัย | สูง | คําแนะนําประกอบด้วยคําแนะนําที่ชัดเจนเกี่ยวกับการไม่จัดเก็บ แสดง หรือทําซ้ำข้อมูลส่วนบุคคล |
| 5 | fallback-when-uncertain |
สํารองเมื่อไม่แน่ใจ | คุณภาพ | สูง | คําแนะนําระบุสิ่งที่ต้องทําเมื่อเอเจนต์ไม่มีข้อมูลที่จําเป็นในการตอบ |
| 6 | citations-and-sources |
การอ้างอิงและแหล่งที่มา | คุณภาพ | ปานกลาง | คําแนะนํากําหนดให้เอเจนต์อ้างอิงชื่อเอกสารและส่วนต่างๆ เมื่ออ้างอิงแหล่งความรู้ |
| 7 | formatting-guidelines |
แนวทางการจัดรูปแบบ | UX | ตํ่า | คําแนะนําระบุรูปแบบการตอบกลับ (สัญลักษณ์แสดงหัวข้อย่อย ตาราง ขั้นตอนที่มีหมายเลข) สําหรับเอาต์พุตที่มีโครงสร้าง |
| 8 | clarifying-questions |
การชี้แจงคําถาม | UX | ปานกลาง | คําแนะนํากล่าวถึงวิธีจัดการกับคําถามที่คลุมเครือโดยถามคําถามติดตามผลที่ชี้แจง |
| 9 | prompt-injection-resilience |
การป้องกันพรอมป์ตอินเจกชัน | ความปลอดภัย | สูง | คำแนะนำมีมาตรการป้องกันอย่างชัดเจนเพื่อรับมือกับความพยายามในการเจลเบรกหรือการฉีดพรอมต์ |
| 10 | link-safety |
ความปลอดภัยของลิงก์ | ความปลอดภัย | ปานกลาง | คำแนะนำจะแชร์เฉพาะลิงก์ที่ผ่านการตรวจสอบแล้วและปลอดภัยกับผู้ใช้เท่านั้น |
| 11 | advice-disclaimers |
ข้อจํากัดความรับผิดชอบของคำปรึกษา | ความปลอดภัย | สูง | คําแนะนําประกอบด้วยข้อจํากัดความรับผิดชอบสําหรับโดเมนคําปรึกษาที่ละเอียดอ่อน (การเงิน สุขภาพ กฎหมาย) |
| 12 | accuracy-quality |
ความถูกต้องและคุณภาพ | คุณภาพ | สูง | คําแนะนําทําให้เอเจนต์มีแหล่งความรู้อย่างชัดเจนและห้ามการประดิษฐ์หรือการคาดเดา |
| 13 | tool-routing-hints |
คําแนะนําการกําหนดเส้นทางเครื่องมือ | คุณภาพ | ปานกลาง | คําแนะนําจะให้คําแนะนําเกี่ยวกับเครื่องมือหรือแหล่งความรู้ที่จะใช้เมื่อการกําหนดเส้นทางมีความคลุมเครือ |
| 14 | escalation-guidance |
คําแนะนําการยกระดับ | UX | สูง | คําแนะนํากําหนดสิ่งที่ต้องทําเมื่อเอเจนต์ไม่สามารถช่วยได้: ส่งต่อให้มนุษย์ แนะนําทางเลือกอื่น หรือออกอย่างสง่างาม |
| 15 | deterministic-language |
ภาษาเชิงกำหนดแน่นอน | คุณภาพ | ปานกลาง | คําแนะนําใช้คําสั่งแบบสัมบูรณ์ (เสมอ ไม่เคย เพียงอย่างเดียว ต้อง) แทนที่จะใช้ตัวแก้ไขที่คลุมเครือ (โดยปกติอาจลอง บางครั้ง) |
รายละเอียดหมวดหมู่
| ประเภท | จํานวนเกณฑ์ | สมาธิ |
|---|---|---|
| ขอบเขต | 2 | กำหนดว่าเอเจนต์จะตอบและไม่ตอบอะไรบ้าง |
| ความปลอดภัย | 4 | ปกป้องผู้ใช้จากข้อมูลที่ผิด การรั่วไหลของข้อมูล และการจัดการ |
| คุณภาพ | 5 | รับรองการตอบสนองที่ถูกต้อง มีเหตุผล และมีโครงสร้างที่ดี |
| UX | 4 | กําหนดประสบการณ์การสนทนาและเส้นทางการยกระดับ |
วิธีคํานวณคะแนน
คะแนนทั้งหมดอยู่ในระดับ 0-100 และเป็นแบบกําหนด อินพุตเดียวกันจะให้คะแนนเท่ากันเสมอ
รูปแบบคะแนน
Pattern Score = (Passed Patterns / Total Patterns) × 100
- รูปแบบทั้งหมด = 10 รูปแบบที่กําหนด + ไม่ว่าจะส่งคืนรูปแบบที่ตรวจพบโดย AI จํานวนเท่าใด (สูงสุด 8)
-
รูปแบบที่ผ่าน = จำนวนที่สถานะของรูปแบบเป็น
pass - ผลลัพธ์จะถูกปัดเศษเป็นจำนวนเต็มที่ใกล้เคียงที่สุด
ตัวอย่าง: ทั้งหมด 15 รูปแบบ, ผ่าน 12 ครั้ง = คะแนนรูปแบบ 80
คะแนนคำแนะนำ
คะแนนคำแนะนำใช้ระบบคะแนนถ่วงน้ำหนักตามความรุนแรงโดยธรรมชาติของแต่ละเกณฑ์:
| ความรุนแรงโดยธรรมชาติ | คะแนนหากผ่าน | จํานวนเกณฑ์ | คะแนนสูงสุด |
|---|---|---|---|
| สูง | 3 | 7 | 21 |
| ปานกลาง | 2 | 6 | 12 |
| ตํ่า | 1 | 2 | 2 |
| ผลรวม | 15 | 35 |
Instruction Score = (Earned Points / 35) × 100
- สําหรับเกณฑ์ทั้ง 15 ข้อหากไม่พบปัญหาสําหรับเกณฑ์นั้นจะมีการเพิ่มคะแนนความรุนแรงโดยธรรมชาติ
- หากตรวจพบ "คําแนะนําที่ขาดหายไป" เกณฑ์ทั้งหมดจะล้มเหลวและคะแนนเป็น 0
- ผลลัพธ์คือถูกจำกัดค่าไว้ที่ไม่เกิน 100 และปัดเศษเป็นจํานวนเต็มที่ใกล้ที่สุด
ตัวอย่าง: ไม่ผ่านเกณฑ์สูง 3 ข้อและปานกลาง 2 ข้อ:
- คะแนนที่ได้รับ: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 คะแนน
- คะแนน = (22 / 35) × 100 = 63
คะแนนรวม
Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)
ทั้งสองมิติมีน้ำหนักเท่ากัน หากมีมิติข้อมูลเพียงรายการเดียว (เช่น ไม่มีคําแนะนํา) ระบบจะใช้คะแนนของมิติข้อมูลนั้นโดยตรง
คู่มือสีคะแนนและป้ายกํากับ
| ช่วงคะแนน | ฉลาก | สี |
|---|---|---|
| 80 และรุ่นที่ใหม่กว่า | ยอดเยี่ยม | สีเขียว |
| 60 ถึง 79 | ดี | สีเหลืองอำพัน |
| 40 ถึง 59 | พอใช้ | สีแดง |
| ต่ำกว่า 40 | ต้องการการปรับปรุง | สีแดง |
ตรวจสอบผลลัพธ์
หลังจากการตรวจสอบเสร็จสิ้น แผงการตรวจสอบจะแสดงผลลัพธ์ แผงมีสามแท็บ:
แท็บภาพรวม
แท็บ ภาพรวม จะให้ข้อมูลสรุประดับสูงแก่คุณ:
- คะแนนรวม: มาตรวัดวงกลมสีเขียว สีเหลืองอําพัน หรือสีแดง
- คะแนนรูปแบบ และ คะแนนคำสั่ง แสดงเคียงกัน
- เมตาดาต้าของเอเจนต์: ชื่อ สภาพแวดล้อม ภาษา โหมดการรับรองความถูกต้อง การตั้งค่า AI
- สรุปที่สร้างโดย AI: คําอธิบายภาษาธรรมชาติของข้อค้นพบที่สำคัญที่สุด
- ประทับเวลาการตรวจสอบ และแหล่งข้อมูล (สภาพแวดล้อมสดหรือการอัปโหลด ZIP)
แท็บลวดลาย
แท็บ รูปแบบ จะแสดงกริดแบบเต็มของรูปแบบทั้งหมด 18 รูปแบบที่ประเมิน โดยมีคอลัมน์เหล่านี้:
| คอลัมน์ | คำอธิบาย |
|---|---|
| สถานะ | ผ่านหรือไม่ผ่าน |
| ความร้ายแรง | ป้ายระดับสูง ปานกลาง หรือต่ำ |
| ประเภท | ประเภทรูปแบบ (การตั้งชื่อโมเดล สถาปัตยกรรม และอื่นๆ) |
| ชื่อรูปแบบ | ชื่อเต็มของรูปแบบ |
| หัวข้อที่ได้รับผลกระทบ | จํานวนหัวข้อที่ได้รับผลกระทบจากรูปแบบนี้ |
| การดำเนินการ | ปุ่มรายละเอียด เพื่อเปิดแผงรายละเอียดรูปแบบ |
คุณสามารถเรียงลําดับกริดตามคอลัมน์ใดก็ได้ โดยค่าเริ่มต้น รูปแบบที่ไม่ผ่านจะปรากฏขึ้นก่อน โดยจัดเรียงตามความรุนแรง (สูง ตามด้วยปานกลาง จากนั้นต่ำ)
แท็บการปฏิบัติตามข้อบังคับ
แท็บ การปฏิบัติตามข้อบังคับ จะแสดงเกณฑ์คำแนะนำทั้งหมด 15 ข้อ:
| คอลัมน์ | คำอธิบาย |
|---|---|
| สถานะ | ผ่านหรือไม่ผ่าน |
| ความร้ายแรง | ป้ายระดับสูง ปานกลาง หรือต่ำ |
| ประเภท | ขอบเขต ความปลอดภัย คุณภาพ หรือ UX |
| ชื่อเกณฑ์ | ชื่อเต็มของเกณฑ์ |
| พบปัญหา | จํานวนปัญหาเฉพาะภายใต้เกณฑ์นี้ |
| การดำเนินการ | ปุ่มรายละเอียด เพื่อเปิดแผงรายละเอียดการปฏิบัติตามข้อบังคับ |
รายละเอียดแนวลึกของรูปแบบ
เมื่อคุณเลือก รายละเอียด เกี่ยวกับรูปแบบที่ไม่ผ่าน แผง รายละเอียดรูปแบบ จะเปิดขึ้น ซึ่งแสดง:
- ชื่อและคำอธิบายรูปแบบ: รูปแบบนี้ตรวจสอบอะไร
- เหตุใดจึงสําคัญ: ผลกระทบของรูปแบบต่อต้านนี้ต่อคุณภาพของเอเจนต์
- ตารางหัวข้อที่ได้รับผลกระทบ: แต่ละหัวข้อที่มีค่าปัจจุบันและการแทนที่ที่แนะนําโดย AI
- คําแนะนํา: การดําเนินการที่เป็นรูปธรรมเพื่อแก้ไขปัญหา
- เรียนรู้เพิ่มเติม: ลิงก์โดยตรงไปยังคู่มือ Microsoft Learn ที่เกี่ยวข้อง
รายละเอียดแนวลึกการปฏิบัติตามข้อบังคับ
เมื่อคุณเลือก รายละเอียด เกี่ยวกับเกณฑ์การปฏิบัติตามข้อบังคับที่ไม่ผ่าน แผง รายละเอียดการปฏิบัติตามข้อบังคับ จะเปิดขึ้น ซึ่งแสดง:
- ชื่อเกณฑ์ หมวดหมู่ และความรุนแรง
- สิ่งที่เกณฑ์ตรวจสอบ: คําอธิบายภาษาธรรมดา
- พบปัญหาเฉพาะ: การวิเคราะห์ของ AI ว่ามีอะไรขาดหายไปหรือผิดพลาด
- คําแนะนํา: ภาษาหรือรูปแบบที่แน่นอนเพื่อเพิ่มลงในคําแนะนําของเอเจนต์
- ตัวอย่าง: หากมี ตัวอย่างของคำสั่งที่เป็นไปตามข้อกำหนด
- เรียนรู้เพิ่มเติม: ลิงก์ไปยังคู่มือ Microsoft Learn ที่เกี่ยวข้อง
ส่งออกผลลัพธ์
คุณสามารถส่งออกผลลัพธ์ในสามรูปแบบจากส่วนหัวของแผงการตรวจสอบ
รายงาน PDF
รายงาน PDF ที่สวยงามและมนุษย์อ่านได้ ซึ่งเหมาะสําหรับการแบ่งปันกับผู้มีส่วนได้ส่วนเสียหรือแนบไปกับการตรวจสอบด้านการกํากับดูแล
เนื้อหา:
- บทสรุปสำหรับผู้บริหารพร้อมคะแนนและตัวชี้วัดสำคัญ
- ผลการประเมินรูปแบบ (สถานะ ความรุนแรง หัวข้อที่ได้รับผลกระทบ)
- ข้อค้นพบการปฏิบัติตามข้อบังคับ (ทั้ง 15 เกณฑ์)
- คําแนะนําสําหรับทุกปัญหาที่พบ
- เมตาดาต้าของเอเจนต์ (ชื่อ สภาพแวดล้อม วันที่ตรวจสอบ)
รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review_{YYYY-MM-DD}.pdf
PDF จะถูกสร้างขึ้นโดยอัตโนมัติเมื่อสิ้นสุดการตรวจสอบทุกครั้ง และจัดเก็บไว้ใน Dataverse ควบคู่ไปกับเรกคอร์ดการตรวจสอบ การดาวน์โหลดครั้งต่อๆ ไปจะดึงไฟล์ที่เก็บไว้โดยไม่ต้องเรียกใช้การวิเคราะห์ซ้ํา
การส่งออก SARIF
SARIF (Static Analysis Results Interchange Format v2.1.0) เป็นรูปแบบ JSON ที่ออกแบบมาเพื่อผสานรวมกับเครื่องมือสําหรับนักพัฒนาและไปป์ไลน์ CI/CD
กรณีการใช้งาน:
- อัปโหลดไปยัง GitHub Advanced Security สําหรับคําอธิบายประกอบ PR ที่ใช้ SARIF
- นำเข้าไปยังการตรวจสอบเกณฑ์คุณภาพของ Azure DevOps
- ประมวลผลด้วยเครื่องมือของบริษัทอื่นที่ใช้ SARIF (SonarQube, Visual Studio Code และอื่นๆ)
ภาพรวมโครงสร้าง:
{
"version": "2.1.0",
"runs": [{
"tool": {
"driver": {
"name": "Copilot Studio Agent Review Tool",
"version": "1.0"
}
},
"results": [
{
"ruleId": "pat-007",
"level": "error",
"message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
"properties": {
"category": "Architecture",
"recommendation": "Reduce tool count to 25 or fewer"
}
}
]
}]
}
การแมประหว่างระดับความรุนแรงกับระดับของ SARIF:
- สูง =
"error" - ปานกลาง =
"warning" - ตํ่า =
"note"
รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review.sarif
ส่งออก Excel
เวิร์กบุ๊ก Excel แบบหลายแผ่นสําหรับการวิเคราะห์ข้อมูล การรายงาน และการเก็บถาวร
| ชีท | เนื้อหาต่างๆ |
|---|---|
| บทสรุป | หนึ่งแถวต่อเอเจนต์ที่ตรวจสอบ ได้แก่ ชื่อ คะแนน จํานวนปัญหา วันที่ตรวจสอบ |
| รูปแบบ | รูปแบบทั้งหมด 18 รูปแบบ ได้แก่ ID, ชื่อ, หมวดหมู่, ความรุนแรง, สถานะ, หัวข้อที่ได้รับผลกระทบ, คําแนะนํา |
| การปฏิบัติตาม | เกณฑ์ทั้ง 15 ข้อ ได้แก่ รหัส, ชื่อ, หมวดหมู่, ความรุนแรง, สถานะ, จํานวนปัญหา, คําแนะนํา |
ส่วนหัวเป็นตัวหนาและมีพื้นหลังสีประจำแบรนด์ เซลล์คะแนนและความรุนแรงมีรหัสสีเป็นสีเขียว สีเหลืองอําพัน หรือสีแดง ความกว้างของคอลัมน์จะปรับอัตโนมัติ
รูปแบบชื่อไฟล์ข้อมูล: {AgentName}_review_{YYYY-MM-DD}.xlsx
เจาะลึกการตรวจสอบเอเจนต์ที่กำหนดด้วยการประกาศ
เอเจนต์ที่กำหนดด้วยการประกาศของ Microsoft 365 เป็นเอเจนต์ประเภทที่แตกต่างจากเอเจนต์ Copilot Studio ไฟล์เหล่านี้ถูกกําหนดโดยไฟล์รายการทรัพยากร JSON ทั้งหมดและปรับใช้กับระบบนิเวศของ Microsoft 365
การตรวจสอบ Declarative Agent ครอบคลุมอะไรบ้าง
การตรวจสอบจะตรวจสอบโครงสร้างรายการก่อน โดยตรวจสอบว่ามีฟิลด์ที่จําเป็นทั้งหมดและสคีมามีรูปแบบที่ดี จากนั้นจะเรียกใช้การประเมิน AI เทียบกับเกณฑ์คุณภาพห้าข้อและสร้างรายงาน PDF การตรวจสอบการปฏิบัติตามข้อบังคับของคำแนะนำ 15 เกณฑ์ (เฉพาะสําหรับเอเจนต์ Copilot Studio) ใช้ไม่ได้ที่นี่
เกณฑ์การประเมิน Declarative Agent 5 ข้อ
| เกณฑ์ | น้ำหนัก | สิ่งที่ได้รับการประเมิน |
|---|---|---|
| คำแนะนำ | 30% | ความชัดเจน ความเฉพาะเจาะจง และความครบถ้วนของพร้อมท์ระบบของเอเจนต์ |
| ข้อมูลความรู้ | 20% | การใช้แหล่งความรู้ที่เชื่อมต่อเพื่ออ้างอิงและยึดโยงข้อเท็จจริง |
| ความสามารถ | 15% | การใช้ความสามารถ CodeInterpreter และ OneDriveAndSharePoint |
| การดำเนินการ | 15% | การมีอยู่และคุณภาพของคําอธิบายการทํางานของเครื่องมือ |
| บทสนทนาเริ่มต้น | 10% | จํานวนและคุณภาพ (ขั้นต่ำ 3 แนะนํา 6) |
| การรับมือกับข้อผิดพลาดอย่างราบรื่น | 10% | การจัดการอินพุตที่ไม่รู้จักและสถานะข้อผิดพลาด |
การตรวจสอบความสมบูรณ์ของไฟล์กำกับ (การตรวจสอบความถูกต้องในเครื่อง)
ก่อนที่ AI จะเริ่มทำงาน การตรวจสอบความพร้อมแบบกำหนดแน่นอนจะตรวจสอบความถูกต้องของโครงสร้างไฟล์ manifest:
- ช่องที่ต้องกรอกมีดังนี้ (
name,description, )instructions - การตรวจสอบความเข้ากันได้ของเวอร์ชันสคีมา
- การอ้างอิงปลั๊กอินการดําเนินการถูกต้อง
- จํานวนผู้เริ่มต้นการสนทนาภายในขอบเขต (3-12)
- การประกาศความสามารถถูกสร้างขึ้นอย่างถูกต้อง
ความล้มเหลวในการตรวจสอบสถานะใดๆ จะปรากฏเป็นปัญหาในผลการตรวจสอบเอเจนต์ที่กำหนดด้วยการประกาศโดยไม่ขึ้นกับการประเมิน AI
ส่งเอเจนต์แบบประกาศเพื่อรับการตรวจสอบ
ผ่านการอัปโหลด ZIP (พบบ่อยที่สุด):
- ส่งออก Declarative Agent จากเครื่องมือสร้างของคุณเป็นแพ็กเกจ ZIP
- เลือก อัปโหลด ZIP ในส่วนหัวของหน้าเครื่องมือตรวจสอบเอเจนต์
- หาก ZIP มีหลายเอเจนต์ แผงตัวเลือกจะช่วยให้คุณเลือกเอเจนต์ที่จะตรวจสอบได้
- การตรวจสอบจะทํางานโดยอัตโนมัติ
ผ่านแค็ตตาล็อก Microsoft 365 (ต้องมีการตั้งค่า API กราฟ):
- เลือก เชื่อมต่อกับ Microsoft 365 ในแท็บเอเจนต์ Microsoft 365
- ทําตัวช่วยสร้างการให้สิทธิ์ API กราฟให้เสร็จสมบูรณ์
- เอเจนต์ Declarative ที่คุณปรับใช้จะปรากฏในกริด Declarative Agent
- เลือก ตรวจสอบ บน Declarative Agent ใดก็ได้
การเข้าถึงการรักษาความปลอดภัยและข้อมูล
ส่วนนี้อธิบายวิธีที่เครื่องมือตรวจสอบเอเจนต์จัดการกับความปลอดภัยและการเข้าถึงข้อมูล
ที่เก็บข้อมูล
ผลการตรวจสอบทั้งหมดจะถูกเก็บไว้ใน cat_agentreviews ตาราง Dataverse แต่ละรายการจัดเก็บ:
| ฟิลด์ | เนื้อหา |
|---|---|
cat_agentreviewsid |
รหัสข้อมูลการตรวจสอบที่ไม่ซ้ํากัน |
cat_botid |
การอ้างอิงถึงเอเจนต์ที่ตรวจสอบ |
cat_overallscore |
คะแนนรวม 0-100 |
cat_patternscore |
คะแนนการประเมินแพทเทิร์น |
cat_instructionscore |
คะแนนการปฏิบัติตามคำสั่ง |
cat_totalissues |
จํานวนปัญหาทั้งหมด |
cat_reviewresultjson |
ผลการตรวจสอบฉบับเต็มเป็น JSON |
cat_reviewpdfreport_name |
รายงาน PDF (คอลัมน์ไฟล์ของ Dataverse) |
cat_sourceenvironment |
URL สภาพแวดล้อมแหล่งที่มา หรือ zip |
cat_agenttype |
1 = Copilot Studio, 2 = เอเจนต์เชิงประกาศ |
การรักษาความปลอดภัยระดับแถว
ตาราง cat_agentreviews ใช้ขอบเขตการอ่านระดับผู้ใช้ (พื้นฐาน) ใน Dataverse ผู้ใช้จะดูได้เฉพาะรีวิวที่ตนสร้างเองเท่านั้น รีวิวของผู้ใช้รายอื่นจะไม่แสดงให้เห็น แม้อยู่ในสภาพแวดล้อมเดียวกัน Dataverse บังคับใช้การรักษาความปลอดภัยนี้ตั้งแต่เริ่มต้น ไม่ใช่รหัสแอปพลิเคชัน
สภาพแวดล้อมแหล่งที่มา
ผู้ใช้สามารถตรวจสอบเอเจนต์จากสภาพแวดล้อมที่เอเจนต์สามารถเข้าถึงได้ ไม่ใช่แค่สภาพแวดล้อมปัจจุบัน แดชบอร์ดรองรับการตรวจสอบข้ามสภาพแวดล้อมผ่านตัวเลือกสภาพแวดล้อม การตรวจสอบจากสภาพแวดล้อมอื่นจะติดแท็กด้วย URL ของสภาพแวดล้อมแหล่งที่มา เพื่อให้ปรากฏอย่างถูกต้องเมื่อโหลดเครื่องมือ
การตรวจสอบที่มาจากการอัปโหลด ZIP จะแสดงเสมอไม่ว่าเครื่องมือจะเชื่อมต่อกับสภาพแวดล้อมใด
ข้อมูลใดบ้างที่ออกจากสภาพแวดล้อม
- การกําหนดค่าของเอเจนต์ (หัวข้อ เครื่องมือ คําแนะนํา) จะถูกส่งไปยังแบบจําลอง AI ผ่าน Dataverse PredictV2 สิ่งนี้จะผ่านเส้นทางการเรียกใช้แบบจําลอง Dataverse AI มาตรฐาน และอยู่ภายใต้นโยบายถิ่นที่อยู่ของข้อมูลเดียวกันกับการดําเนินการ Dataverse AI ใดๆ
- ไม่มีการส่งข้อมูลไปยังบริการของบุคคลที่สามหรือตำแหน่งข้อมูลภายนอก
- ผลการตรวจสอบ (รวมถึง PDF) จะถูกจัดเก็บไว้ใน Dataverse เท่านั้น
ประสบการณ์การรันครั้งแรกและทัวร์เริ่มต้นใช้งาน
เมื่อผู้ใช้เปิดเครื่องมือตรวจสอบเอเจนต์เป็นครั้งแรก ทัวร์แนะนำการใช้งานจะพาผู้ใช้ไปรู้จักส่วนสำคัญของอินเทอร์เฟซ:
- การ์ดสถิติบนแดชบอร์ดและความหมายของการ์ดเหล่านั้น
- วิธีอ่านกริดเอเจนต์
- วิธีเริ่มการตรวจสอบ
- วิธีการตีความผลลัพธ์
- ตัวเลือกการส่งออก
ความคืบหน้าของทัวร์จะถูกบันทึกไว้ใน Dataverse ดังนั้นทัวร์จึงจะไม่แสดงซ้ำหลังจากเสร็จสิ้น ผู้ใช้สามารถเปิดทัวร์เริ่มต้นใช้งานอีกครั้งได้ตลอดเวลาจากส่วน ความช่วยเหลือ / ลิงก์ด่วน ในส่วนหัวของหน้า
คำถามที่ถามบ่อย
ส่วนนี้จะกล่าวถึงคําถามทั่วไปเกี่ยวกับเครื่องมือตรวจสอบเอเจนต์
การตรวจสอบใช้เวลานานเท่าใด
เอเจนต์ทั่วไปที่มีหัวข้อน้อยกว่า 20 หัวข้อจะเสร็จสิ้นภายใน 60 วินาที เครื่องมือนี้มีกำหนดหมดเวลา 2 นาที เอเจนต์ขนาดใหญ่มาก (มากกว่า 50 หัวข้อ เครื่องมือมากมาย) อาจเข้าใกล้ขีดจํากัด
เครื่องมือนี้แก้ไขเอเจนต์ของฉันหรือไม่
ไม่ใช่ เครื่องมือนี้เป็นแบบอ่านอย่างเดียวทั้งหมดในส่วนที่เกี่ยวกับข้อมูลเอเจนต์ อ่านเฉพาะการกําหนดค่าเอเจนต์เท่านั้น การเขียนทั้งหมดจะถูกเขียนไปยังตาราง cat_agentreviews
ฉันสามารถตรวจสอบเอเจนต์อีกครั้งหลังจากทําการเปลี่ยนแปลงได้หรือไม่
ใช่ การตรวจสอบแต่ละครั้งจะสร้างระเบียนใหม่ กริดจะแสดงการตรวจสอบล่าสุดเสมอ การตรวจสอบเก่ายังคงอยู่ใน Dataverse และสามารถเข้าถึงได้โดยทางโปรแกรมหากจําเป็น
จะเกิดอะไรขึ้นหากเอเจนต์ของฉันอยู่ในสภาพแวดล้อมที่แตกต่างออกไป
ใช้ตัวเลือกสภาพแวดล้อมบนแดชบอร์ดเพื่อระบุให้เครื่องมือมุ่งไปยังสภาพแวดล้อมอื่นที่คุณมีสิทธิ์เข้าถึง การตรวจสอบจะทํางานกับสภาพแวดล้อมนั้น และผลลัพธ์จะถูกเก็บไว้ในสภาพแวดล้อมปัจจุบัน
ฉันสามารถตรวจสอบเอเจนต์ที่ฉันไม่ได้สร้างขึ้นได้หรือไม่
ใช่ คุณสามารถตรวจสอบเอเจนต์ใดๆ ที่คุณมีสิทธิ์อ่านใน Dataverse อย่างไรก็ตาม คุณสามารถ ดู รีวิวที่คุณสร้างขึ้นได้เท่านั้น (ความปลอดภัยระดับแถว) รีวิวจากผู้ใช้รายอื่นจะไม่แสดง
SARIF คืออะไรและฉันจำเป็นต้องมีหรือไม่
SARIF เป็นรูปแบบมาตรฐานสําหรับผลการวิเคราะห์แบบคงที่ คุณต้องการก็ต่อเมื่อคุณรวมการตรวจสอบคุณภาพของเอเจนต์เข้ากับไปป์ไลน์ CI/CD (GitHub Actions หรือ Azure DevOps) สําหรับผู้ใช้ส่วนใหญ่ การส่งออก PDF และ Excel ก็เพียงพอแล้ว
เครื่องมือแจ้งว่าเอเจนต์ของฉันไม่มีคําแนะนํา สิ่งนี้ถือเป็นปัญหาหรือไม่
ใช่ เครื่องมือนี้แสดงเฉพาะเอเจนต์ที่เปิดใช้งาน AI เชิงสร้างสรรค์ดังนั้นเอเจนต์ทั้งหมดในกริดจึงคาดว่าจะมีคําแนะนำเตรียมไว้ หากการตรวจสอบการปฏิบัติตามข้อบังคับรายงานว่าไม่มีคําแนะนํา แสดงว่าการประสานการทำงานที่สร้างโดยอัตโนมัติของเอเจนต์ทํางานอยู่ แต่ยังไม่มีการเขียนคำแนะนำของระบบ ขอแนะนําอย่างยิ่งให้เพิ่มคําแนะนํา
เหตุใด "บุคลิกและโทน" จึงมีระดับความรุนแรงต่ำ
คําแนะนําของ Microsoft ระบุว่าโทนที่สุภาพและเป็นมืออาชีพเป็นพฤติกรรมเริ่มต้นสําหรับเอเจนต์ Copilot Studio อยู่แล้ว คําแนะนําสําหรับโทนจําเป็นก็ต่อเมื่อคุณต้องการโทนที่ไม่ใช่ค่าเริ่มต้น เกณฑ์นี้ต่ำเพราะความล้มเหลวไม่ค่อยทําให้เกิดปัญหาที่ผู้ใช้เผชิญ
การรีวิวใช้เครดิต Copilot หรือไม่?
ใช่ การตรวจสอบแต่ละครั้งจะเรียกใช้โมเดล AI สามครั้ง สําหรับการประเมินรูปแบบ การปฏิบัติตามข้อบังคับ และการสร้าง PDF แต่ละการเรียกใช้จะใช้เครดิต Copilot จากผู้เช่าของคุณ การตรวจสอบเอเจนต์เดิมอีกครั้งจะใช้เครดิตด้วย ดังนั้นให้ทําการเปลี่ยนแปลงก่อนแล้วจึงตรวจสอบใหม่
ฉันสามารถส่งออกการตรวจสอบทั้งหมดในคราวเดียวได้หรือไม่
ใช่ ใช้ปุ่ม ส่งออกทั้งหมด ในแถบเครื่องมือกริดเอเจนต์เพื่อสร้างเวิร์กบุ๊ก Excel ที่ครอบคลุมเอเจนต์ที่ตรวจสอบทั้งหมดในมุมมองปัจจุบัน