หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
การตรวจจับความผิดปกติหลายตัวแปรคืออะไร?
การตรวจจับความผิดปกติแบบตัวแปรเดียว ซึ่งดําเนินการโดยฟังก์ชัน KQL series_decompose_anomalies() จะตรวจสอบและตรวจจับความผิดปกติในตัวแปรเดียวเมื่อเวลาผ่านไป การตรวจจับความผิดปกติหลายตัวแปรขยายแนวทางนี้โดยการตรวจจับความผิดปกติในการ กระจายร่วมกัน ของตัวแปรหลายตัวเมื่อเวลาผ่านไป ซึ่งหมายความว่าจะวิเคราะห์ว่าตัวแปรเกี่ยวข้องและมีอิทธิพลต่อกันอย่างไรในฐานะกลุ่ม แทนที่จะตรวจสอบตัวแปรแต่ละตัวแยกกัน การตรวจจับความผิดปกติหลายตัวแปรมีประโยชน์สําหรับการตรวจสอบความสมบูรณ์ของระบบ IoT ที่ซับซ้อน ตรวจจับการฉ้อโกงในการทําธุรกรรมทางการเงิน และระบุรูปแบบที่ผิดปกติในการรับส่งข้อมูลเครือข่าย
ตัวอย่างเช่น พิจารณาระบบที่ตรวจสอบประสิทธิภาพของกองยานพาหนะ ระบบรวบรวมข้อมูลเกี่ยวกับตัวชี้วัดต่างๆ เช่น ความเร็ว อัตราสิ้นเปลืองเชื้อเพลิง และอุณหภูมิเครื่องยนต์ ด้วยการวิเคราะห์ตัวชี้วัดเหล่านี้ร่วมกัน ระบบจะสามารถตรวจจับความผิดปกติที่จะไม่ปรากฏให้เห็นโดยการวิเคราะห์ตัวชี้วัดแต่ละตัวแยกกัน การสิ้นเปลืองเชื้อเพลิงที่เพิ่มขึ้นอาจเกิดจากเหตุผลที่ยอมรับได้หลายประการ อย่างไรก็ตาม การสิ้นเปลืองเชื้อเพลิงที่เพิ่มขึ้นอย่างกะทันหันรวมกับอุณหภูมิเครื่องยนต์ที่ลดลงอาจบ่งบอกถึงปัญหากับเครื่องยนต์ แม้ว่าแต่ละตัวชี้วัดจะอยู่ในช่วงปกติก็ตาม
คุณจะตรวจหาความผิดปกติหลายตัวแปรใน Microsoft Fabric ได้อย่างไร
การตรวจจับความผิดปกติหลายตัวแปรใน Fabric ใช้ประโยชน์จากเอ็นจิ้น Spark และ Eventhouse อันทรงพลังที่ด้านบนของเลเยอร์พื้นที่จัดเก็บถาวรที่ใช้ร่วมกัน ข้อมูลเริ่มต้นสามารถนําเข้าไปยัง Eventhouse และเปิดเผยใน OneLake โมเดลการตรวจจับความผิดปกติสามารถฝึกได้โดยใช้เอ็นจิ้น Spark และการคาดการณ์ความผิดปกติในข้อมูลสตรีมมิ่งใหม่สามารถทําได้แบบเรียลไทม์โดยใช้เอ็นจิ้น Eventhouse การเชื่อมต่อโครงข่ายของกลไกเหล่านี้ที่สามารถประมวลผลข้อมูลเดียวกันในที่เก็บข้อมูลที่ใช้ร่วมกันช่วยให้สามารถไหลของข้อมูลได้อย่างราบรื่นตั้งแต่การนําเข้า ผ่านการฝึกอบรมโมเดล ไปจนถึงการคาดการณ์ความผิดปกติ เวิร์กโฟลว์นี้เรียบง่ายและมีประสิทธิภาพสําหรับการตรวจสอบและตรวจจับความผิดปกติในระบบที่ซับซ้อนแบบเรียลไทม์
มีเส้นทางแบบ end-to-end สองเส้นทาง และคุณสามารถเลือกได้ตามความซับซ้อนของสถานการณ์ของคุณ:
- การตรวจจับความผิดปกติของ Eventhouse แบบเนทีฟบนข้อมูลสด: เรียกใช้การตรวจจับความผิดปกติโดยตรงกับการสตรีมและข้อมูลในอดีตในตาราง Eventhouse โดยไม่มีการฝึกอบรมหรือการตั้งค่าโมเดลแบบกําหนดเอง เริ่มต้นด้วยเส้นทางนี้เมื่อโมเดลที่มีอยู่แล้วภายในตรงกับความต้องการของคุณ และคุณต้องการเส้นทางที่ง่ายที่สุดสู่ข้อมูลเชิงลึก
- การตรวจหาหลายตัวแปรแบบกําหนดเองโดยใช้โมเดลที่ฝึกอบรมโน้ตบุ๊ก: ใช้แพคเกจ Python ที่ใช้ GAT ที่อธิบายไว้ในบทความนี้เพื่อฝึกโมเดลแบบกําหนดเองในสมุดบันทึกเกี่ยวกับข้อมูลในอดีต จากนั้นให้คะแนนข้อมูลการสตรีมใหม่แบบเรียลไทม์ผ่าน Eventhouse และ KQL เลือกเส้นทางนี้เมื่อคุณต้องการอัลกอริทึมตามความต้องการหรือสถานการณ์เฉพาะที่โมเดลดั้งเดิมไม่ครอบคลุม
การตรวจจับความผิดปกติของบ้านเหตุการณ์แบบเนทีฟ
Eventhouse รองรับการตรวจจับความผิดปกติแบบเนทีฟบนตารางสด คุณจึงสามารถวิเคราะห์การสตรีมและข้อมูลในอดีตได้โดยตรงโดยไม่ต้องย้ายข้อมูลหรือฝึกโมเดลแบบกําหนดเอง ใช้ตัวเลือกนี้เมื่อคุณต้องการเริ่มต้นอย่างรวดเร็วด้วยอัลกอริทึมในตัว เลือกเส้นทางหลายตัวแปรแบบกําหนดเองที่ตามมาเมื่อคุณต้องการอัลกอริทึมที่ปรับแต่งหรือการกําหนดค่าเฉพาะ
ส่วนประกอบของโซลูชัน
โซลูชันนี้อาศัยส่วนประกอบต่อไปนี้:
- Eventhouse: ข้อมูลจะถูกนําเข้าไปยัง Eventhouse ในตอนแรก ซึ่งเป็นกลไกการประมวลผลข้อมูลแบบเรียลไทม์ที่สามารถจัดการสตรีมข้อมูลที่มีปริมาณงานสูงได้
- OneLake: ข้อมูลจาก Eventhouse จะถูกเปิดเผยใน OneLake ซึ่งเป็นเลเยอร์ที่เก็บข้อมูลถาวรที่ใช้ร่วมกันซึ่งให้มุมมองแบบรวมของข้อมูล
- แพ็คเกจการตรวจจับความผิดปกติหลายตัวแปร: โซลูชันนี้ใช้แพ็คเกจ python ตัวตรวจจับความผิดปกติของอนุกรมเวลา โดยใช้อัลกอริทึมขั้นสูงตามเครือข่ายความสนใจของกราฟ (GAT) ที่รวบรวมความสัมพันธ์ระหว่างอนุกรมเวลาต่างๆ และตรวจจับความผิดปกติแบบเรียลไทม์ โมเดล GAT ได้รับการฝึกอบรมเกี่ยวกับข้อมูลในอดีตเพื่อเรียนรู้ความสัมพันธ์ระหว่างอนุกรมเวลาต่างๆ โมเดลที่ผ่านการฝึกอบรมสามารถนําไปใช้เพื่อคาดการณ์ความผิดปกติของข้อมูลสตรีมมิ่งใหม่ได้ โปรดทราบว่าอัลกอริทึมนี้เป็นอัลกอริทึมที่ใช้ใน บริการ AI Anomaly Detector ซึ่งกําลังจะเลิกใช้ สําหรับข้อมูลเพิ่มเติมเกี่ยวกับอัลกอริทึม โปรดดูบล็อกและเอกสาร
- Fabric notebooks: ใช้สําหรับการฝึกอบรมแบบออฟไลน์ของโมเดลการตรวจจับความผิดปกติบนข้อมูลในอดีต และเพื่อจัดเก็บโมเดลที่ผ่านการฝึกอบรมในรีจิสทรีโมเดล MLflow ของ Fabric โน้ตบุ๊กรองรับ KQL, T-SQL, Python และ Spark ภายในพื้นที่ทํางานเดียวกัน ทําให้สามารถสํารวจ การแปลง การฝึกอบรม (สําหรับโมเดลแบบกําหนดเอง) และการตรวจสอบความถูกต้องของความผิดปกติในข้อมูลเดียวกันที่ได้รับการสนับสนุนจาก Eventhouse
- ชุดคิวรี KQL: ใช้สําหรับการคาดการณ์ความผิดปกติแบบเรียลไทม์ของข้อมูลขาเข้า
- จุดสิ้นสุดการวิเคราะห์ SQL: แสดงพื้นผิว T-SQL ที่มีการจัดการที่สอดคล้องกับโมเดลข้อมูล Eventhouse คุณสามารถสืบค้นความผิดปกติที่ตรวจพบและเมตริกที่เกี่ยวข้องได้โดยใช้ T-SQL สําหรับการวิเคราะห์ดาวน์สตรีมและการรวมกับ BI หรือเครื่องมือการรายงานภายใต้การกํากับดูแล Fabric
- การรวมตัวแทนข้อมูล: ความผิดปกติที่ตรวจพบใน Eventhouse สามารถใช้โดยตัวแทนข้อมูล Fabric เพื่อหาเหตุผลเกี่ยวกับสัญญาณสดและในอดีต การรวมการตรวจจับความผิดปกติเข้ากับตัวแทนข้อมูลช่วยให้สามารถวิเคราะห์การสนทนาและเวิร์กโฟลว์อัตโนมัติบนข้อมูล Eventhouse เดียวกันได้