Wykrywanie anomalii wielowariancyjnych w Microsoft Fabric — omówienie

Co to jest wykrywanie anomalii wielowariancyjnych?

Jednowymiarowe wykrywanie anomalii, które jest implementowane przez funkcję KQL series_decompose_anomalies(), monitoruje i wykrywa anomalie w pojedynczej zmiennej na przestrzeni czasu. Wykrywanie anomalii wielowariancyjnych rozszerza to podejście, wykrywając anomalie we wspólnym rozkładzie wielu zmiennych w czasie — co oznacza, że analizuje, jak zmienne odnoszą się do siebie i wpływają na siebie jako grupę, zamiast badać każdą zmienną w izolacji. Wykrywanie anomalii wielowariancyjnych jest przydatne do monitorowania kondycji złożonych systemów IoT, wykrywania oszustw w transakcjach finansowych i identyfikowania nietypowych wzorców ruchu sieciowego.

Rozważmy na przykład system, który monitoruje wydajność floty pojazdów. System zbiera dane dotyczące różnych metryk, takich jak prędkość, zużycie paliwa i temperatura silnika. Analizując te metryki razem, system może wykrywać anomalie, które nie byłyby widoczne, analizując poszczególne metryki osobno. Samodzielnie wzrost zużycia paliwa może wynikać z różnych akceptowalnych powodów. Jednak nagły wzrost zużycia paliwa w połączeniu ze spadkiem temperatury silnika może wskazywać na problem z silnikiem, nawet jeśli każda metryka samodzielnie mieści się w normalnym zakresie.

Jak wykrywać anomalie wielowymiarowe w Microsoft Fabric?

Wielowymiarowe wykrywanie anomalii w Fabric korzysta z zaawansowanych silników Spark i Eventhouse, wykorzystując wspólną, trwałą warstwę magazynową. Początkowe dane można załadować do Eventhouse i udostępnić w OneLake. Model wykrywania anomalii można następnie wytrenować przy użyciu silnika Spark, a przewidywania anomalii na nowych danych przesyłanych strumieniowo można wykonać w czasie rzeczywistym przy użyciu silnika platformy Eventhouse. Połączenie tych silników, które mogą przetwarzać te same dane we wspólnym magazynie, umożliwia płynny przepływ danych od pozyskiwania, poprzez trenowanie modelu, do przewidywania anomalii. Ten przepływ pracy jest prosty i zaawansowany w przypadku monitorowania i wykrywania anomalii w złożonych systemach w czasie rzeczywistym.

Dostępne są dwie kompletne ścieżki, a wybór jednej z nich zależy od złożoności danego scenariusza:

• Natywne wykrywanie anomalii w usłudze Eventhouse na danych na żywo: uruchamianie wykrywania anomalii bezpośrednio względem danych przesyłanych strumieniowo i historycznych w tabelach usługi Eventhouse bez niestandardowego trenowania ani konfigurowania modelu. Zacznij od tej ścieżki, gdy wbudowane modele spełniają Twoje potrzeby i chcesz uzyskać najprostszą ścieżkę do szczegółowych informacji.
• Niestandardowe wykrywanie wielowymiarowe przy użyciu modelu wytrenowanego w notesie: Użyj pakietu Python opartego na narzędziu GAT, opisanego w tym artykule, aby wytrenować niestandardowy model w notesie na danych historycznych, a następnie oceniać nowe dane strumieniowe w czasie rzeczywistym przy użyciu Eventhouse i KQL. Wybierz tę ścieżkę, jeśli potrzebujesz algorytmu na zamówienie lub wyspecjalizowanego scenariusza, którego modele natywne nie obejmują.

Natywne wykrywanie anomalii w usłudze Eventhouse

Usługa Eventhouse obsługuje natywne wykrywanie anomalii w tabelach na żywo, dzięki czemu można analizować dane przesyłane strumieniowo i historyczne bezpośrednio bez przenoszenia danych ani trenowania modelu niestandardowego. Użyj tej opcji, gdy potrzebujesz szybkiego startu z wbudowanymi algorytmami; wybierz niestandardową wielowariantową ścieżkę, która następuje, gdy potrzebujesz dostosowanego algorytmu lub wyspecjalizowanej konfiguracji.

Składniki rozwiązania

To rozwiązanie opiera się na następujących składnikach:

• Eventhouse: dane są początkowo pozyskiwane do Eventhouse, który jest silnikiem przetwarzania danych w czasie rzeczywistym, zdolnym do obsługi strumieni danych o dużej przepustowości.
• OneLake: dane z usługi Eventhouse są widoczne w usłudze OneLake, która jest udostępnioną warstwą magazynu trwałego, która zapewnia ujednolicony widok danych.
• Pakiet wykrywania anomalii wielowymiarowych: rozwiązanie wykorzystuje pakiet Pythona wykrywania anomalii szeregów czasowych, implementujący zaawansowany algorytm oparty na sieci uwagi opartej na grafach (GAT), która przechwytuje korelacje między różnymi szeregami czasowymi i wykrywa anomalie w czasie rzeczywistym. Model GAT jest trenowany na podstawie danych historycznych, aby poznać relacje między różnymi szeregami czasowym. Wytrenowany model można zastosować do przewidywania anomalii w nowych danych przesyłanych strumieniowo. Należy pamiętać, że ten algorytm jest używany w usłudze narzędzia do wykrywania anomalii sztucznej inteligencji , który jest wycofywany. Aby uzyskać więcej informacji na temat algorytmu, zobacz blog i dokument.
• Notesniki usługi Fabric: służą do trenowania offline modelu wykrywania anomalii na danych historycznych oraz do przechowywania wytrenowanego modelu w rejestrze modeli MLflow usługi Fabric. Notesniki obsługują KQL, T-SQL, Python i Spark w tym samym obszarze roboczym, umożliwiając spójną eksplorację, przekształcenia, trenowanie (w przypadku modeli niestandardowych) oraz walidację anomalii na tych samych danych obsługiwanych przez Eventhouse.
• Zestaw zapytań KQL: używany do przewidywania anomalii w czasie rzeczywistym w danych przychodzących.
• Punkt końcowy analizy SQL: uwidacznia zarządzaną powierzchnię języka T-SQL zgodną z modelem danych usługi Eventhouse. Możesz wykonywać zapytania dotyczące wykrytych anomalii i powiązanych metryk przy użyciu języka T-SQL na potrzeby dalszej analizy oraz integracji z narzędziami BI lub raportowania w ramach ładu zarządzania platformy Fabric.
• Integracja agentów danych: anomalie wykryte w usłudze Eventhouse mogą być wykorzystywane przez Fabric data agents do wnioskowania na podstawie sygnałów w czasie rzeczywistym i historycznych. Łączenie wykrywania anomalii z agentami danych umożliwia analizę konwersacyjną i zautomatyzowane przepływy pracy w tych samych danych usługi Eventhouse.

Następny krok