การตรวจหาความผิดปกติใน Real-Time Intelligence (พรีวิว)

บทความนี้จะอธิบายวิธีตั้งค่าการตรวจหาความผิดปกติใน Real-Time Intelligence เพื่อระบุรูปแบบที่ผิดปกติและค่าผิดปกติในตาราง Eventhouse ของคุณโดยอัตโนมัติ ระบบมีโมเดลที่แนะนําและช่วยให้คุณสามารถตั้งค่าการตรวจสอบอย่างต่อเนื่องด้วยการดําเนินการอัตโนมัติ

ความสามารถหลัก ได้แก่:

  • คําแนะนําแบบจําลอง: แนะนําอัลกอริทึมและพารามิเตอร์ที่ดีที่สุดสําหรับข้อมูลของคุณ
  • การสํารวจความผิดปกติแบบโต้ตอบ: แสดงภาพความผิดปกติที่ตรวจพบและปรับความไวของโมเดล
  • การตรวจสอบอย่างต่อเนื่อง: ตั้งค่าการตรวจจับความผิดปกติแบบเรียลไทม์ด้วยการแจ้งเตือนอัตโนมัติ
  • การวิเคราะห์ใหม่ด้วยข้อมูลใหม่: อัปเดตโมเดลของคุณเมื่อมีข้อมูลใหม่มาถึงเพื่อปรับปรุงความแม่นยํา

การตรวจจับความผิดปกติจะทํางานแบบเนทีฟบนตาราง Eventhouse โดยไม่ต้องคัดลอกข้อมูล โดยทํางานโดยตรงผ่านชุดข้อมูลสดสําหรับการวิเคราะห์แบบเรียลไทม์ การวิเคราะห์และการตรวจสอบอย่างต่อเนื่องดําเนินการภายใน Eventhouse ซึ่งช่วยลดการเคลื่อนย้ายข้อมูล

การตรวจหาความผิดปกติยังรองรับตารางทางลัด Eventhouse ดังนั้นคุณจึงสามารถวิเคราะห์ข้อมูลได้โดยไม่ต้องคัดลอกหรือย้ายไปยังตาราง Eventhouse เฉพาะก่อน คุณสามารถสร้างตัวตรวจจับความผิดปกติได้โดยตรงบนตารางทางลัดที่รองรับ และใช้การวิเคราะห์ คําแนะนําแบบจําลอง และประสบการณ์การตรวจสอบอย่างต่อเนื่องแบบเดียวกันกับที่พร้อมใช้งานสําหรับแหล่งข้อมูล Eventhouse แบบเนทีฟ การสนับสนุนนี้ขยายการตรวจหาความผิดปกติไปยังแหล่งข้อมูลภายนอกและแบบรวมศูนย์ที่เชื่อมต่ออยู่แล้วผ่านทางลัด Eventhouse ดังนั้นคุณจึงสามารถเปลี่ยนจากการเชื่อมต่อข้อมูลไปสู่การตรวจหาปัญหาด้วยการตั้งค่าและการทําซ้ําน้อยลง

สําคัญ

คุณลักษณะนี้อยู่ในตัวอย่าง

ข้อกําหนดเบื้องต้น

  • พื้นที่ทํางาน ที่มี ความจุ ที่เปิดใช้งาน Microsoft Fabric

  • บทบาทของผู้ดูแลระบบ ผู้สนับสนุน หรือสมาชิกในพื้นที่ทํางาน

  • Eventhouse ในพื้นที่ทํางานของคุณด้วยฐานข้อมูล KQL

  • ปลั๊กอิน Python ที่เปิดใช้งานบน Eventhouse เดียวกันนั้น

    1. หากต้องการเปิดใช้งานปลั๊กอิน ให้ไปที่ Eventhouse ของคุณ
    2. ในแถบเครื่องมือด้านบน ให้เลือก ปลั๊กอิน จากนั้นเปิดใช้งานส่วนขยายภาษา Python
    3. เลือกปลั๊กอิน Python 3.11.7 DL แล้วเลือกเสร็จสิ้น

    ภาพหน้าจอของการเปิดใช้งานปลั๊กอิน Python ใน Eventhouse

  • ตรวจหาความผิดปกติใน Real-Time Intelligence ที่เปิดใช้งานในพื้นที่ทํางานของคุณ

    1. หากต้องการเปิดใช้งานการตรวจหาความผิดปกติ ให้ไปที่พื้นที่ทํางานของคุณ
    2. อัปเกรดเป็น Microsoft Fabric รุ่นทดลองใช้ฟรี หรือตรวจสอบให้แน่ใจว่าพื้นที่ทํางานของคุณมีสิทธิ์การใช้งาน Microsoft Fabric
    3. ติดต่อผู้ดูแลระบบของคุณเพื่อเปิดใช้งานการสลับคุณลักษณะการแสดงตัวอย่าง หรือไปที่พอร์ทัลผู้ดูแลระบบ และเปิดใช้งาน ตรวจหาความผิดปกติใน Real-Time Intelligence (พรีวิว) สกรีนช็อตของการเปิดใช้งาน ตรวจหาความผิดปกติใน Real-Time Intelligence (พรีวิว) ในพอร์ทัลผู้ดูแลระบบ

Note

  • ตรวจสอบให้แน่ใจว่าตาราง Eventhouse ของคุณมีข้อมูลในอดีตที่เพียงพอเพื่อปรับปรุงคําแนะนําของโมเดลและความแม่นยําในการตรวจจับความผิดปกติ ตัวอย่างเช่น ชุดข้อมูลที่มีจุดข้อมูลหนึ่งจุดต่อวันต้องการข้อมูลสองสามเดือน ในขณะที่ชุดข้อมูลที่มีจุดข้อมูลหนึ่งจุดต่อวินาทีอาจต้องใช้เวลาเพียงไม่กี่วัน
  • คุณลักษณะนี้พร้อมใช้งานในทุกภูมิภาคที่ Microsoft Fabric พร้อมใช้งาน

วิธีตั้งค่าการตรวจจับความผิดปกติ

เริ่มต้นใช้งาน

คุณสามารถเริ่มการตรวจหาความผิดปกติได้ สาม วิธี:

  1. เลือกฐานข้อมูลและ ตาราง หรือ ทางลัด ที่คุณต้องการวิเคราะห์

  2. ในแถบเครื่องมือด้านบน ให้เลือกสร้าง ตัวตรวจจับความผิดปกติ หรือเลือกตัวเลือกตัว ตรวจจับความผิดปกติ จากจุดไข่ปลา (⋯) ในแผนผังฐานข้อมูล

สกรีนช็อตของตัวเลือกตัวตรวจจับความผิดปกติในแผนผังฐานข้อมูล Eventhouse และในแถบเครื่องมือด้านบน

ดูการกําหนดค่าการตรวจจับความผิดปกติที่มีอยู่

ก่อนที่คุณจะสร้างตัวตรวจจับความผิดปกติใหม่ ให้ตรวจสอบว่ามีการกําหนดค่าการตรวจจับความผิดปกติสําหรับแหล่งข้อมูลที่คุณเลือกอยู่แล้วหรือไม่ มุมมองนี้ช่วยให้คุณมองเห็นได้อย่างรวดเร็วว่าปัจจุบันมีการตั้งค่าการตรวจหาความผิดปกติสําหรับแหล่งข้อมูลนั้นอย่างไร ช่วยให้คุณหลีกเลี่ยงงานที่ซ้ํากันและเข้าใจวิธีที่ผู้อื่นใช้ข้อมูลได้ดียิ่งขึ้น

  1. ในรายการแหล่งข้อมูลของคุณ ให้เลือกจุดไข่ปลา (...) สําหรับแหล่งข้อมูลที่คุณต้องการวิเคราะห์ แล้วเลือก ตัวตรวจจับความผิดปกติที่มีอยู่

    สกรีนช็อตของตัวเลือกตัวตรวจจับความผิดปกติที่มีอยู่ในรายการจุดไข่ปลา

  2. ใน ดูความผิดปกติที่ตรวจพบ คุณสามารถดูการกําหนดค่าการตรวจจับความผิดปกติที่มีอยู่ทั้งหมดสําหรับแหล่งข้อมูลที่เลือก และสํารวจรายละเอียดของแต่ละรายการได้

    1. จากบานหน้าต่างนําทางด้านซ้าย ให้เลือกการกําหนดค่าเพื่อสํารวจความผิดปกติที่ตรวจพบ หรือเลือก เปิด เพื่อดูแบบเต็มหน้าจอ

    2. หากการกําหนดค่าที่มีอยู่ไม่ตรงกับความต้องการของคุณ ให้เลือก สร้าง เพื่อสร้างการกําหนดค่าการตรวจหาความผิดปกติใหม่

    สกรีนช็อตของมุมมองรายละเอียดสําหรับการกําหนดค่าการตรวจหาความผิดปกติที่มีอยู่

ประสบการณ์นี้ช่วยให้คุณเปลี่ยนจากการสํารวจไปสู่การดําเนินการได้อย่างรวดเร็วโดยไม่ต้องออกจากบริบทของแหล่งข้อมูล

กําหนดค่าคอลัมน์อินพุตสําหรับการวิเคราะห์

ระบุคอลัมน์ที่จะวิเคราะห์และวิธีจัดกลุ่มข้อมูลของคุณ

  1. ในบานหน้าต่างการกําหนดค่า ให้เพิ่มคอลัมน์ ค่าที่ต้องเฝ้าดู ที่มีข้อมูลตัวเลขที่คุณต้องการตรวจสอบความผิดปกติ

    สกรีนช็อตของการตั้งค่าการกําหนดค่า ค่าในการดู

    Note

    ตรวจสอบให้แน่ใจว่าคอลัมน์ที่เลือกมีค่าตัวเลข เนื่องจากรองรับเฉพาะข้อมูลตัวเลขสําหรับการตรวจหาความผิดปกติ

  2. เลือกคอลัมน์ จัดกลุ่มตาม เพื่อระบุวิธีที่ข้อมูลของคุณควรถูกแบ่งพาร์ติชันสําหรับการวิเคราะห์ คอลัมน์นี้โดยทั่วไปแสดงถึงเอนทิตี เช่น อุปกรณ์ ตําแหน่งที่ตั้ง หรือการจัดกลุ่มเชิงตรรกะอื่นๆ

    สกรีนช็อตของการตั้งค่าการกําหนดค่า จัดกลุ่มตาม

  3. เลือกคอลัมน์ การประทับเวลา ที่แสดงเวลาที่บันทึกจุดข้อมูลแต่ละจุด คอลัมน์นี้มีความสําคัญต่อการตรวจจับความผิดปกติของอนุกรมเวลา และช่วยให้มั่นใจได้ถึงการวิเคราะห์แนวโน้มที่แม่นยําเมื่อเวลาผ่านไป

    สกรีนช็อตของการตั้งค่าการกําหนดค่าการประทับเวลา

  4. เลือก เรียกใช้การวิเคราะห์ เพื่อเริ่มการประเมินแบบจําลองอัตโนมัติ

รอให้การวิเคราะห์เสร็จสิ้น

ระบบจะวิเคราะห์ข้อมูลของคุณเพื่อค้นหาแบบจําลองการตรวจจับความผิดปกติที่ดีที่สุด

สําคัญ

โดยทั่วไปการวิเคราะห์จะใช้เวลาถึง 4 นาที ขึ้นอยู่กับขนาดข้อมูลของคุณ และสามารถทํางานได้นานถึง 30 นาที คุณสามารถไปที่หน้าอื่นและกลับมาตรวจสอบอีกครั้งเมื่อการวิเคราะห์เสร็จสมบูรณ์

ในระหว่างการวิเคราะห์ระบบ:

  • สุ่มตัวอย่างข้อมูลตารางของคุณเพื่อการประมวลผลที่มีประสิทธิภาพ
  • ทดสอบอัลกอริธึมการตรวจจับความผิดปกติหลายแบบ
  • ประเมินการกําหนดค่าพารามิเตอร์ต่างๆ
  • ระบุโมเดลที่มีประสิทธิภาพสูงสุดสําหรับรูปแบบข้อมูลเฉพาะของคุณ

หลังจากการวิเคราะห์เสร็จสิ้น ให้ตรวจสอบผลลัพธ์และสํารวจความผิดปกติที่ตรวจพบ

  1. เปิดผลการตรวจหาความผิดปกติโดยเลือกการแจ้งเตือนที่คุณได้รับ หรือกลับไปที่ตารางแล้วเลือกดูผลลัพธ์ความผิดปกติ

  2. หน้าผลลัพธ์ให้ข้อมูลเชิงลึกต่อไปนี้:

    • การแสดง ภาพ ข้อมูลของคุณพร้อมไฮไลต์ความผิดปกติอย่างชัดเจน
    • รายการ อัลกอริทึมที่แนะนํา ซึ่งจัดอันดับตามประสิทธิภาพสําหรับข้อมูลของคุณ
    • การตั้งค่าความไว เพื่อปรับเกณฑ์การตรวจจับ
    • ตารางโดยละเอียดของความผิดปกติที่ ตรวจพบ ภายในช่วงเวลาที่เลือก
  3. ใช้ตัวเลือกโมเดลเพื่อเปรียบเทียบประสิทธิภาพของอัลกอริทึมที่แนะนําต่างๆ และเลือกอัลกอริทึมที่เหมาะกับความต้องการของคุณมากที่สุด

  4. ปรับการตั้งค่า ความไว เพื่อปรับแต่งผลการตรวจจับความผิดปกติ:

    • ตัวเลือกประกอบด้วยระดับความเชื่อมั่นต่ํา ปานกลาง และสูง
    • ทดลองกับการตั้งค่าเหล่านี้เพื่อสร้างสมดุลระหว่างการตรวจจับความผิดปกติเพิ่มเติมและการลดผลบวกที่ผิดพลาด
  5. โต้ตอบกับวิชวลและตารางเพื่อรับข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความผิดปกติที่ตรวจพบและทําความเข้าใจรูปแบบในข้อมูลของคุณ คุณยังสามารถเปิดบริบทการวิเคราะห์ความผิดปกติในสมุดบันทึก Fabric เพื่อสํารวจข้อมูลเพิ่มเติมและความผิดปกติที่ตรวจพบโดยใช้ KQL, SQL, Python หรือ Spark ซึ่งเปิดใช้งานการแปลงขั้นสูงและการเรียนรู้ของเครื่องบนรากฐานข้อมูลเดียวกัน

  6. บันทึก ตัวตรวจจับความผิดปกติเพื่อรักษาการกําหนดค่าของคุณและกลับมาดูอีกครั้งในภายหลัง

  7. Publishความผิดปกติที่ตรวจพบไปยังฮับ Real-Time เพื่อเปิดใช้งานการตรวจสอบข้อมูลสดที่เข้ามาอย่างต่อเนื่องภายใต้การกํากับดูแล Fabric โดยไม่ทําซ้ําชุดข้อมูล คุณยังสามารถกําหนดค่าการดําเนินการดาวน์สตรีม เช่น การส่งการแจ้งเตือนไปยัง Activator

เมื่อตรวจสอบและปรับแต่งผลลัพธ์อย่างละเอียด คุณจะมั่นใจได้ว่าการตั้งค่าการตรวจจับความผิดปกติของคุณได้รับการปรับให้เหมาะสมสําหรับกรณีการใช้งานเฉพาะของคุณ

วิเคราะห์โมเดลการตรวจจับความผิดปกติอีกครั้งด้วยข้อมูลใหม่

อัปเดตโมเดลการตรวจจับความผิดปกติของคุณให้ทันสมัยอยู่เสมอเมื่อมีข้อมูลใหม่

ทําตามขั้นตอนเหล่านี้เพื่อวิเคราะห์แบบจําลองใหม่ด้วยข้อมูลใหม่:

  1. ไปที่รายการตรวจหาความผิดปกติของคุณ
  2. ในแผง แก้ไข ให้แก้ไขช่องที่กรอกข้อมูลก่อนหน้านี้ตามต้องการ
  3. เลือกเรียกใช้การวิเคราะห์ การดําเนินการนี้จะเริ่มการวิเคราะห์ใหม่ตามอินพุตที่อัปเดตของคุณ

คำเตือน

การวิเคราะห์ใหม่จะอัปเดตแบบจําลองที่ใช้โดยกฎการตรวจสอบที่มีอยู่ ซึ่งอาจส่งผลต่อการดําเนินการดาวน์สตรีม

สํารวจเหตุการณ์การตรวจหาความผิดปกติและตั้งค่าการแจ้งเตือน

หลังจากเผยแพร่ผลการตรวจจับความผิดปกติแล้ว คุณจะสํารวจความผิดปกติที่ตรวจพบได้ใน Real-Time Hub และตั้งค่าการแจ้งเตือนเพื่อแจ้งให้คุณทราบถึงความผิดปกติในอนาคต

เหตุการณ์ที่ผิดปกติยังสามารถเชื่อมต่อกับตัวแทนข้อมูล Fabric เพื่อเปิดใช้งานการให้เหตุผลและการดําเนินการอัตโนมัติทั้งในข้อมูลเหตุการณ์จริงและในอดีต เอเจนต์สามารถใช้เหตุการณ์ที่ผิดปกติและประสานเวิร์กโฟลว์ดาวน์สตรีม ซึ่งเสริมการแจ้งเตือนตาม Activator

สืบค้นผลลัพธ์ความผิดปกติด้วย SQL Endpoint

Eventhouse มี SQL Endpoint ที่มีการจัดการซึ่งสอดคล้องกับโมเดลข้อมูล Eventhouse และการกํากับดูแล Fabric คุณสามารถสืบค้นเอาต์พุตของตัวตรวจจับความผิดปกติและตารางหรือมุมมองที่เกี่ยวข้องผ่าน SQL สําหรับการวิเคราะห์ดาวน์สตรีมและการผสานรวม เมื่อต้องการค้นหารายละเอียดการเชื่อมต่อปลายทาง SQL ให้นําทางไปยังรายการ Eventhouse ของคุณในพื้นที่ทํางาน Fabric

สำหรับข้อมูลเพิ่มเติม โปรดดู:

ข้อจํากัดและข้อควรพิจารณา

โปรดระวังข้อจํากัดเหล่านี้:

  • การตรวจหาความผิดปกติจะถูกปิดใช้งานถ้าตารางอินพุตไม่ตรงกับ Schema ที่จําเป็น (คอลัมน์ค่าตัวเลข คอลัมน์วันที่และเวลา และคอลัมน์สตริง)
  • ข้อมูลในอดีตที่เพียงพอช่วยปรับปรุงคําแนะนําและความแม่นยําของแบบจําลอง
  • เครื่องตรวจจับความผิดปกติแต่ละตัวรองรับการกําหนดค่ารุ่นเดียวเท่านั้น

เรียกใช้การดําเนินการหลายอย่างในเครื่องตรวจจับความผิดปกติ

เมื่อคุณโต้ตอบกับตัวตรวจจับความผิดปกติ Eventhouse จะเรียกใช้การสืบค้น Python ในเบื้องหลังเพื่อรองรับการวิเคราะห์แบบเรียลไทม์ การดําเนินการเหล่านี้รวมถึง:

  • เรียกใช้การตรวจจับความผิดปกติหรือการวิเคราะห์ประเภทอื่นๆ
  • การสลับระหว่างรุ่นที่แนะนํา
  • การเปลี่ยนกรอบเวลาหรือรหัสที่คุณกําลังดูอยู่
  • ตรวจสอบข้อมูลที่เข้ามาอย่างต่อเนื่องเพื่อหาความผิดปกติโดยการตั้งค่าการแจ้งเตือน

Eventhouse รองรับการสืบค้นพร้อมกันสูงสุดแปดรายการต่อ Eventhouse ถ้าคุณเกินขีดจํากัดนี้ ระบบจะลองคิวรีอีกครั้ง แต่จะไม่จัดคิวคิวรีเพิ่มเติม และอาจล้มเหลวอย่างเงียบๆ ข้อความแสดงข้อผิดพลาดที่ให้ความชัดเจนมากขึ้นอยู่ระหว่างการพัฒนา

เพื่อหลีกเลี่ยงปัญหา:

  • อนุญาตให้แต่ละคิวรีเสร็จสมบูรณ์ก่อนที่จะเริ่มคิวรีใหม่
  • หากประสิทธิภาพการทํางานดูช้าหรือไม่ตอบสนอง ให้ลดจํานวนคิวรีที่เกิดขึ้นพร้อมกัน

สําหรับข้อมูลเพิ่มเติม โปรดดู ปลั๊กอิน Python

เวลารอเพื่อเปิดใช้งานปลั๊กอิน Python

เมื่อคุณเริ่มการวิเคราะห์ข้อมูล ตัวตรวจจับความผิดปกติจะเปิดใช้งานปลั๊กอิน Python บน Eventhouse ของคุณโดยอัตโนมัติ การเปิดใช้งานปลั๊กอินอาจใช้เวลาถึงหนึ่งชั่วโมง เมื่อเปิดใช้งานแล้ว การวิเคราะห์จะเริ่มโดยอัตโนมัติ

สําหรับข้อมูลเพิ่มเติม โปรดดู เปิดใช้งานปลั๊กอิน Python ใน Real-Time Intelligence

ขั้นตอนถัดไป

หลังจากกําหนดค่าการตรวจจับความผิดปกติแล้ว คุณจะทําสิ่งต่อไปนี้ได้