Wykrywanie anomalii w Real-Time Intelligence (wersja zapoznawcza)

Wykrywanie anomalii w Real-Time Intelligence pomaga wykrywać nietypowe wzorce i wartości odstające w tabelach eventhouse bez kopiowania danych. Używaj go, gdy musisz wykryć nieoczekiwane zachowania w danych streamingowych lub historycznych i reaguj zanim wpłynie to na dalsze operacje.

W tym artykule włączasz wymagane funkcje, rozpoczynasz wykrywanie anomalii z jednego z obsługiwanych punktów wejścia oraz konfigurujesz ustawienia analizy. Następnie przeglądasz zalecane modele, publikujesz ciągły monitoring i ustawiasz alerty na przyszłe anomalie.

Wykrywanie anomalii obsługuje także tabele skrótów Eventhouse, dzięki czemu możesz analizować dane bez wcześniejszego kopiowania lub przenoszenia ich do dedykowanej tabeli Eventhouse. Możesz tworzyć detektory anomalii bezpośrednio na obsługiwanych tabelach skrótów i korzystać z tych samych analiz, rekomendacji modeli oraz doświadczeń z ciągłym monitorowaniem, które są dostępne dla natywnych źródeł danych Eventhouse. To wsparcie rozszerza wykrywanie anomalii na zewnętrzne i federowane źródła danych, które są już połączone za pomocą skrótów Eventhouse, dzięki czemu możesz przejść od łączenia danych do wykrywania problemów przy mniejszym poziomie konfiguracji i powielania.

Ważne

Ta funkcja jest dostępna w wersji zapoznawczej.

Wymagania wstępne

  • Obszar roboczy z pojemnością obsługiwaną przez Microsoft Fabric.

  • Rola administratora, współautora lub członkaw obszarze roboczym.

  • Usługa Eventhouse w obszarze roboczym z bazą danych KQL.

  • Wtyczka języka Python włączona w tym samym usłudze Eventhouse.

    1. Aby włączyć wtyczkę, przejdź do swojego Eventhouse.
    2. Na górnym pasku narzędzi wybierz pozycję Wtyczki , a następnie włącz rozszerzenie języka Python.
    3. Wybierz wtyczkę DL języka Python 3.11.7 i wybierz pozycję Gotowe.

    Zrzut ekranu przedstawiający włączanie wtyczki języka Python w usłudze Eventhouse.

  • Wykrywaj anomalie za pomocą analizy w czasie rzeczywistym włączonej w twoim obszarze roboczym.

    1. Aby włączyć wykrywanie anomalii, przejdź do swojego miejsca pracy.
    2. Zaktualizuj na darmowy okres próbny Microsoft Fabric lub upewnij się, że Twój obszar roboczy ma licencję Microsoft Fabric.
    3. Skontaktuj się z administratorem, aby włączyć przełącznik funkcji podglądu, albo przejdź do portalu administratora i włącz wykrywanie anomalii w Real-Time Intelligence (Podgląd). Zrzut ekranu przedstawiający włączenie funkcji Wykrywanie anomalii w usłudze Real-Time Intelligence (wersja zapoznawcza) w portalu administracyjnym.

Uwaga / Notatka

  • Upewnij się, że tabela usługi Eventhouse zawiera wystarczające dane historyczne, aby poprawić zalecenia dotyczące modelu i dokładność wykrywania anomalii. Na przykład zestawy danych z jednym punktem danych dziennie wymagają kilku miesięcy danych, a zestawy danych z jednym punktem danych na sekundę mogą potrzebować tylko kilku dni.
  • Ta funkcja jest dostępna we wszystkich regionach, w których jest dostępna usługa Microsoft Fabric.

Jak skonfigurować wykrywanie anomalii

Rozpoczęcie pracy

Wykrywanie anomalii można rozpocząć na trzy sposoby:

  1. Wybierz bazę danych i tabelę lub skrót , który chcesz przeanalizować.

  2. Na górnym pasku narzędzi wybierz pozycję Utwórz narzędzie do wykrywania anomalii lub wybierz opcję Detektor anomalii z wielokropka (⋯) w drzewie bazy danych.

Zrzut ekranu przedstawiający opcję Narzędzia do wykrywania anomalii w drzewie bazy danych usługi Eventhouse i na górnym pasku narzędzi.

Zobacz istniejące konfiguracje wykrywania anomalii

Zanim utworzysz nowy detektor anomalii, sprawdź, czy istnieje już konfiguracja dla wybranego przez Ciebie źródła danych. Ten widok pomaga uniknąć duplikatów pracy i zrozumieć, jak inni już monitorują te dane.

  1. Na liście źródeł danych wybierz wielokrop (...) dla źródła, które chcesz analizować, a następnie wybierz Istniejący detektor anomalii.

    Zrzut ekranu opcji Istniejący detektor anomalii na liście elipsy.

  2. W sekcji Zobacz wykryte anomalie możesz zobaczyć wszystkie istniejące konfiguracje wykrywania anomalii dla wybranego źródła danych i zbadać szczegóły każdej z nich.

    1. Z lewego panelu nawigacyjnego wybierz konfigurację do eksploracji wykrytych anomalii lub wybierz Otwórz, aby zobaczyć ją na pełnym ekranie.

    2. Jeśli istniejące konfiguracje nie spełniają Twoich potrzeb, wybierz Nowe, aby utworzyć nową konfigurację wykrywania anomalii.

    Zrzut ekranu widoku szczegółów dla istniejącej konfiguracji wykrywania anomalii.

To doświadczenie pomaga przejść od eksploracji do działania, nie wychodząc z kontekstu źródła danych.

Konfigurowanie kolumn wejściowych na potrzeby analizy

Określ kolumny do przeanalizowania i sposobu grupowania danych.

  1. W okienku konfiguracji dodaj kolumnę Wartość do obserwowania zawierającą dane liczbowe, które mają być monitorowane pod kątem anomalii.

    Zrzut ekranu przedstawiający wartość do obejrzenia ustawień konfiguracji.

    Uwaga / Notatka

    Upewnij się, że wybrana kolumna zawiera wartości liczbowe, ponieważ tylko dane liczbowe są obsługiwane na potrzeby wykrywania anomalii.

  2. Wybierz kolumnę Grupuj według , aby określić sposób partycjonowania danych na potrzeby analizy. Ta kolumna zazwyczaj reprezentuje jednostki, takie jak urządzenia, lokalizacje lub inne grupowania logiczne.

    Zrzut ekranu przedstawiający ustawienia konfiguracji Grupuj według.

  3. Wybierz kolumnę Sygnatura czasowa , która reprezentuje czas rejestrowania każdego punktu danych. Ta kolumna ma kluczowe znaczenie dla wykrywania anomalii szeregów czasowych i zapewnia dokładną analizę trendów w czasie.

    Zrzut ekranu przedstawiający ustawienia konfiguracji znacznika czasu.

  4. Wybierz pozycję Uruchom analizę , aby rozpocząć automatyczną ocenę modelu.

Oczekiwanie na ukończenie analizy

System analizuje dane, aby znaleźć najlepsze modele wykrywania anomalii.

Ważne

Analiza zwykle trwa do czterech minut w zależności od rozmiaru danych i może być uruchamiana przez maksymalnie 30 minut. Możesz przejść do innej strony i sprawdzić je ponownie po zakończeniu analizy.

Podczas analizy system:

  • Przykłady danych tabeli na potrzeby wydajnego przetwarzania
  • Testowanie wielu algorytmów wykrywania anomalii
  • Ocenia różne konfiguracje parametrów
  • Określa najbardziej efektywne modele dla określonych wzorców danych

Po zakończeniu analizy wybierz zalecany model, aby obejrzeć wykryte anomalie i zbadać wyniki.

  1. Otwórz wyniki wykrywania anomalii, wybierając otrzymane powiadomienie lub wracając do panelu konfiguracyjnego.

  2. Wybierz zalecany model, aby ocenić jego wydajność i opcjonalnie dostosować ustawienia pewności. Zapisz wybór.

    Zrzut ekranu polecanego wyboru modelu.

  3. Strona wyników zawiera następujące szczegółowe informacje:

    • Wyniki detektora: Wizualizacja Twoich danych z wyraźnie podświetlonymi anomaliami.
    • Zdarzenia anomalii: Szczegółowa tabela wykrytych anomalii w wybranym przedziale czasowym.

    Zrzut ekranu z wizualizacją wyników detektora i tabelą.

  4. Wykorzystaj wizualizacje i tabele, aby zbadać wykryte anomalie i zrozumieć wzorce danych. Możesz także otworzyć kontekst analizy anomalii w notatniku Fabric, aby badać wyniki za pomocą KQL, endpointu SQL Analytics, Python lub Sparka.

  5. Publikuj swoją konfigurację, aby rozpocząć ciągłe monitorowanie danych. Po publikacji detektor anomalii śledzi zdarzenia wykrywania anomalii dla tej konfiguracji na bieżąco, bez dublowania zbioru danych.

    Zrzut ekranu opcji publikowania i ustawienia alertów znajduje się w górnej wstążce.

Po publikacji masz dwie opcje działania na zdarzenia anomalii:

  • Ustaw alert bezpośrednio dla tej konfiguracji. Na górnej wstążce elementu wykrywania anomalii wybierz opcję alertu, aby otrzymywać powiadomienia, gdy ta konkretna konfiguracja wykryje anomalię. Więcej informacji można znaleźć w artykule Ustaw alerty o zdarzeniach wykrywania anomalii.
  • Przekierowuj zdarzenia anomalii do innego miejsca docelowego w dół rzeki. Jeśli chcesz wysyłać zdarzenia wykrywania anomalii do miejsca docelowego, takiego jak eventstream lub Activator, przejdź do centrum Real-Time i użyj zdarzeń platformy Fabric, aby skonfigurować ten routing. Aby uzyskać więcej informacji, zobacz Poznaj zdarzenia wykrywania anomalii.

Przejrzyj i dopracuj wyniki tak, aby Twój zestaw wykrywania anomalii odpowiadał twojemu zastosowaniu.

Ponowne analiza modeli wykrywania anomalii przy użyciu nowych danych

Zachowaj aktualność modeli wykrywania anomalii, gdy nowe dane staną się dostępne.

Wykonaj następujące kroki, aby ponownie analizować model przy użyciu nowych danych:

  1. Przejdź do elementu wykrywania anomalii.
  2. Na panelu Edycja zmodyfikuj dowolne z wcześniej wypełnionych pól zgodnie z potrzebami.
  3. Wybierz Ponownie przeanalizuj moje dane. Ta akcja rozpoczyna nową analizę na podstawie zaktualizowanych danych wejściowych.

Ostrzeżenie

Ponowne analizowanie aktualizuje model używany przez istniejące reguły monitorowania, które mogą mieć wpływ na akcje podrzędne.

Eksplorowanie zdarzeń wykrywania anomalii i ustawianie alertów

Po opublikowaniu konfiguracji wykrywania anomalii istnieją dwa sposoby działania na zdarzenia anomalii, które generuje:

  • Ustaw alert dla konfiguracji. Z elementu wykrywania anomalii ustaw alert bezpośrednio na konfiguracji, którą monitorujesz, aby otrzymać powiadomienie, gdy wykryje anomalię.
  • Wysyłaj zdarzenia związane z anomaliami do innego docelowego miejsca odbioru. Przejdź do Real-Time hub i użyj zdarzeń usługi Fabric, aby kierować zdarzenia wykrywania anomalii do miejsca docelowego, takiego jak strumień zdarzeń lub usługa Activator. Aby uzyskać więcej informacji, zobacz Zdarzenia wykrywania anomalii.

Możesz także połączyć zdarzenia związane z anomaliami z agentami danych Fabric, aby umożliwić zautomatyzowane wnioskowanie i działania w oparciu o dane zdarzeń bieżących i historycznych. Agenci danych mogą przetwarzać zdarzenia anomalii i orkiestrować dalsze przepływy pracy, które uzupełniają alerty oparte na Activatorze.

Wykonywanie zapytań o wyniki anomalii za pomocą punktu końcowego analityki SQL

Eventhouse oferuje zarządzany endpoint analityki SQL zgodny z modelem danych Eventhouse i zarządzaniem Fabric. Możesz zapytać wyjścia detektora anomalii oraz powiązane tabele lub widoki za pomocą SQL do dalszej analizy i integracji. Aby znaleźć szczegóły połączenia punktu końcowego analiz SQL, przejdź do elementu Eventhouse w obszarze roboczym Fabric.

Aby uzyskać więcej informacji, zobacz:

Ograniczenia i zagadnienia

Należy pamiętać o następujących ograniczeniach:

  • Wykrywanie anomalii jest wyłączone, jeśli tabela wejściowa nie jest zgodna z wymaganym schematem (kolumna wartości liczbowej, kolumna datetime i kolumna ciągu).
  • Wystarczające dane historyczne zwiększają rekomendacje i dokładność modelu.
  • Każdy detektor anomalii obsługuje tylko jedną konfigurację modelu.

Uruchamianie wielu operacji w narzędziu do wykrywania anomalii

W przypadku interakcji z detektorem anomalii usługa Eventhouse uruchamia zapytania języka Python w tle w celu obsługi analizy w czasie rzeczywistym. Te operacje obejmują:

  • Uruchamianie wykrywania anomalii lub innych typów analizy.
  • Przełączanie między zalecanymi modelami.
  • Zmiana wyświetlanego przedziału czasu lub identyfikatorów.
  • Ciągłe monitorowanie danych przychodzących pod kątem anomalii przez ustawienie alertów.

Usługa Eventhouse obsługuje maksymalnie osiem współbieżnych zapytań dla Eventhouse. Jeśli przekroczysz ten limit, system ponawia próby zapytań, ale nie kolejkuje dodatkowych zapytań i może dyskretnie zakończyć się niepowodzeniem. Komunikaty o błędach, które zapewniają większą przejrzystość, są opracowywane.

Aby uniknąć problemów:

  • Zezwalaj na ukończenie każdego zapytania przed rozpoczęciem nowego zapytania.
  • Jeśli wydajność wydaje się niska lub nie odpowiada, zmniejsz liczbę współbieżnych zapytań.

Aby uzyskać więcej informacji, zobacz Wtyczka języka Python.

Czas oczekiwania na włączenie wtyczki Python

Jeśli wtyczka Python nie jest jeszcze włączona, detektor anomalii próbuje ją automatycznie włączyć po rozpoczęciu analizy danych. W takim przypadku włączenie wtyczki może zająć nawet godzinę. Po włączeniu analiza zostanie uruchomiona automatycznie.

Aby uzyskać więcej informacji, zobacz Włączanie wtyczki języka Python w usłudze Real-Time Intelligence.

Dalsze kroki

Po skonfigurowaniu wykrywania anomalii można wykonywać następujące czynności:

Treści powiązane

  • Last updated on