Poikkeamien tunnistus Real-Time Intelligencessä (esikatselu)

Real-Time Intelligencen poikkeamien havaitseminen auttaa havaitsemaan epätavallisia kuvioita ja poikkeamia tapahtumatalon taulukoissa ilman datan kopioimista. Käytä sitä, kun sinun täytyy havaita odottamatonta käyttäytymistä suoratoistossa tai historiallisessa datassa ja reagoida ennen kuin se vaikuttaa alavirran operaatioihin.

Tässä artikkelissa otat vaaditut ominaisuudet käyttöön, aloitat poikkeamien tunnistuksen yhdestä tuetuista sisääntulopisteistä ja määrität analyysiasetukset. Sen jälkeen tarkastelet suositeltuja malleja, julkaiset jatkuvaa seurantaa ja asetat hälytyksiä tulevia poikkeavuuksia varten.

Poikkeamien tunnistus tukee myös Eventhouse-pikakuvaintauluja, joten voit analysoida dataa ilman, että kopiot tai siirrät sitä omistettuun Eventhouse-tauluun. Voit luoda poikkeamatunnistimia suoraan tuetuille pikakuvaketaulukoille ja käyttää samoja analyysejä, mallisuosituksia ja jatkuvaa seurantaa kuin natiivien Eventhouse-tietolähteiden kohdalla. Tämä tuki laajentaa poikkeamien havaitsemisen ulkoisiin ja liittoutuneisiin tietolähteisiin, jotka on jo yhdistetty Eventhouse-pikakuvakkeiden kautta, joten voit siirtyä datan yhdistämisestä ongelmien havaitsemiseen vähemmällä asennuksella ja päällekkäisyydellä.

Tärkeää

Tämä ominaisuus on esikatselutilassa.

Edellytykset

  • workspace jossa on Microsoft Fabric-yhteensopiva capacity.

  • Järjestelmänvalvojan, osallistujan tai jäsenenrooli työtilassa.

  • Tapahtumatalo työtilassasi, jossa on KQL-tietokanta.

  • Python-lisäosa käytössä samassa Eventhousessa.

    1. Aktivoi plugin menemällä Eventhouseen.
    2. Valitse ylemmästä työkalupalkista Laajennukset ja ota sitten käyttöön Python-kielilaajennus.
    3. Valitse Python 3.11.7 DL -laajennus ja valitse Valmis.

    Kuvakaappaus Python-lisäosan käytöstä Eventhousessa.

  • Tunnista poikkeavuuksia Real-Time Intelligence-toiminnossa työtilassasi.

    1. Poikkeamien havaitsemisen ottamiseksi käyttöön mene työtilaasi.
    2. Päivitä ilmaiseen Microsoft Fabric -kokeiluun tai varmista, että työtilassasi on Microsoft Fabric -lisenssi.
    3. Ota yhteyttä ylläpitäjääsi, jotta voit ottaa esikatselutoimintojen vaihdon käyttöön, tai mene Admin-portaaliin ja ota käyttöön poikkeamien havaitseminen Real-Time Intelligence (Preview) -toiminnossa. Kuvakaappaus poikkeamien havaitsemisen käytöstä Real-Time Intelligence (Preview) -tilassa Admin-portaalissa.

Note

  • Varmista, että Eventhouse-taulukossa on riittävästi historiatietoja, jotta voit parantaa mallisuosituksia ja poikkeamien havaitsemisen tarkkuutta. Esimerkiksi tietojoukot, joissa on yksi datapiste päivässä, vaativat muutaman kuukauden dataa, kun taas tietojoukot, joissa on yksi datapiste sekunnissa, saattavat tarvita vain muutaman päivän.
  • Tämä ominaisuus on käytettävissä kaikilla alueilla, joilla Microsoft Fabric on käytettävissä.

Poikkeamien tunnistuksen määrittäminen

Aloittaminen

Voit aloittaa poikkeavuuksien havaitsemisen kolmella tavalla:

  1. Valitse tietokanta ja taulu tai pikakuvake , jonka haluat analysoida.

  2. Ylemmässä työkalupalkissa valitse Luo Poikkeamatunnistus tai valitse Anomalia-ilmaisin vaihtoehto ellipsistä (⋯) tietokantapuussa.

Kuvakaappaus Anomaly Detector -vaihtoehdosta Eventhouse-tietokantapuussa ja ylemmässä työkalupalkissa.

Katso olemassa olevat poikkeavuuksien havaitsemisen konfiguraatiot

Ennen kuin luot uuden poikkeamatunnistimen, tarkista, onko valitsemallesi tietolähteelle jo olemassa konfiguraatio. Tämä näkymä auttaa välttämään päällekkäistä työtä ja ymmärtämään, miten muut jo seuraavat kyseistä dataa.

  1. Valitse tietolähteiden listastasi ellipsi (...) analysoitavalle tietolähteelle ja valitse sitten Olemassa oleva poikkeamatunnistus.

    Kuvakaappaus Olemassa olevasta poikkeamatunnistusvaihtoehdosta ellipsislistassa.

  2. Näkymässä havaitetut poikkeamat voit tarkastella kaikkia olemassa olevia poikkeamien havaitsemisen konfiguraatioita valitulle tietolähteelle ja tutkia kunkin yksityiskohtia.

    1. Vasemmasta navigointipaneelista valitse konfiguraatio tutkiaksesi havaittuja poikkeavuuksia tai valitse Avaa nähdäksesi sen koko näytöllä.

    2. Jos olemassa olevat asetukset eivät täytä tarpeitasi, valitse Uusi luodaksesi uuden poikkeamien tunnistuskonfiguraation.

    Kuvakaappaus yksityiskohdista olemassa olevasta poikkeamatunnistuskonfiguraatiosta.

Tämä kokemus auttaa sinua siirtymään tutkimisesta toimintaan poistumatta tietolähteesi kontekstista.

Syötesarakkeen määrittäminen analyysiä varten

Määritä, mitkä sarakkeet analysoidaan ja miten tiedot ryhmitellään.

  1. Lisää määritysruutuun Tarkkailtava arvo -sarake, joka sisältää numeeriset tiedot, joita haluat valvoa poikkeamien varalta.

    Kuvakaappaus arvosta, jota seurataan määritysasetuksista.

    Note

    Varmista, että valittu sarake sisältää numeerisia arvoja, koska poikkeamien havaitsemisessa tuetaan vain numeerisia tietoja.

  2. Valitse Ryhmittelyperuste-sarake määrittääksesi, miten tiedot osioidaan analyysiä varten. Tämä sarake edustaa yleensä entiteettejä, kuten laitteita, sijainteja tai muita loogisia ryhmittelyjä.

    Kuvakaappaus ryhmästä määritysasetusten mukaan.

  3. Valitse Aikaleima-sarake , joka edustaa kunkin arvopisteen tallennusaikaa. Tämä sarake on ratkaisevan tärkeä aikasarjojen poikkeamien havaitsemisessa ja varmistaa trendien tarkan analyysin ajan mittaan.

    Näyttökuva aikaleiman määritysasetuksista.

  4. Aloita automaattinen mallin arviointi valitsemalla Suorita analyysi .

Odota analyysin valmistumista

Järjestelmä analysoi tietosi löytääkseen parhaat poikkeamien havaitsemismallit.

Tärkeää

Analyysi kestää tyypillisesti jopa neljä minuuttia datan koosta riippuen ja voi kestää jopa 30 minuuttia. Voit mennä toiselle sivulle ja tarkistaa tilanteen, kun analyysi on valmis.

Analyysin aikana järjestelmä:

  • Ottaa näytteitä taulukon tiedoista tehokasta käsittelyä varten
  • Testaa useita poikkeamien havaitsemisalgoritmeja
  • Arvioi erilaisia parametrimäärityksiä
  • Tunnistaa tehokkaimmat mallit tietyille tietomalleillesi

Analyysin päätyttyä valitse suositeltu malli havaittujen poikkeamien tarkasteluun ja tulosten tutkimiseen.

  1. Avaa poikkeamatunnistustulokset valitsemalla saamasi ilmoitus tai palaamalla konfiguraatiopaneeliin.

  2. Valitse suositeltu malli arvioidaksesi sen suorituskykyä ja halutessaan säädä luottamusasetuksia. Tallenna valintasi.

    Kuvakaappaus suositellusta mallivalinnasta.

  3. Tulossivulla on seuraavat merkitykselliset tiedot:

    • Ilmaisimen tulokset: Visualisointi datastasi, jossa poikkeavuuksia on selkeästi korostettu.
    • Poikkeamatapahtumat: Yksityiskohtainen taulukko havaituista poikkeavuuksista valitulla aikavälillä.

    Kuvakaappaus detektorin tulosten visualisointi ja taulukko.

  4. Käytä visuaaleja ja taulukoita havaittujen poikkeavuuksien tutkimiseen ja tietokuvioiden ymmärtämiseen. Voit myös avata anomalia-analyysin kontekstin Fabric-muistikirjassa tutkiaksesi tuloksia KQL:llä, SQL-analytiikkapäätelaitteilla, Python:lla tai Sparkilla.

  5. Julkaise konfiguraatiosi aloittaaksesi jatkuvan seurannan datallesi. Julkaisun jälkeen poikkeamatunnistin seuraa anomalioiden havaitsemistapahtumia kyseisessä konfiguraatiossa jatkuvasti, ilman että aineistoa kopioidaan.

    Kuvakaappaus julkaisemisesta ja hälytysasetusten asettamisesta ylänauhassa.

Julkaisun jälkeen sinulla on kaksi vaihtoehtoa toimia poikkeamatapahtumiin:

  • Aseta hälytys suoraan tähän kokoonpanoon. Anomalian tunnistuskohteen yläosasta valitse hälytysvaihtoehto saadaksesi ilmoituksen aina, kun kyseinen konfiguraatio havaitsee poikkeaman. Lisätietoja löytyy kohdasta Aseta hälytykset poikkeamien havaitsemistapahtumista.
  • Ohjaa poikkeamatapahtumat toiseen alavirtaan suuntautuvaan kohteeseen. Jos haluat lähettää poikkeamien havaitsemistapahtumia kohteeseen, kuten eventstreamiin tai Activatoriin, mene Real-Time hubiin ja käytä Fabric tapahtumia reitityksen konfigurointiin. Lisätietoja löytyy kohdasta Tutki poikkeamien havaitsemistapahtumia.

Tarkista ja hienosäädä tuloksia niin, että poikkeamien tunnistusasetuksesi vastaa käyttötapaustasi.

Analysoi poikkeamien havaitsemismalleja uudelleen uusien tietojen avulla

Pidä poikkeamien tunnistusmallit ajan tasalla, kun uusia tietoja tulee saataville.

Seuraa näitä vaiheita ja analysoi malli uudelleen uusien tietojen avulla:

  1. Mene poikkeamien havaitsemisen kohteeseen.
  2. Muokkaa Muokkaa-paneelissa mitä tahansa aiemmin täytettyä kenttää tarpeen mukaan.
  3. Valitse Uudelleenanalysoi tietoni. Tämä toimenpide käynnistää uuden analyysin päivitettyjen syötteidesi pohjalta.

Varoitus

Uudelleenanalysointi päivittää olemassa olevien valvontasääntöjen mallia, mikä saattaa vaikuttaa jälkivirtaan tuleviin toimintoihin.

Tutki poikkeamien havaitsemistapahtumia ja aseta hälytyksiä

Kun julkaiset anomalian tunnistuskonfiguraatiosi, on kaksi tapaa toimia sen aiheuttamien anomaliatapahtumien perusteella:

  • Aseta hälytys konfiguraatioon. Poikkeamien havaitsemisesta aseta hälytys suoraan seuraamaasi konfiguraatioon, joka saa ilmoituksen, kun poikkeama havaitaan.
  • Lähetä poikkeamatapahtumat toiseen alavirtaan kohteeseen. Mene Real-Time-keskukseen ja käytä Fabric tapahtumia ohjataksesi poikkeamien havaitsemistapahtumat kohteeseen, kuten tapahtumavirtaan tai Aktivaattoriin. Lisätietoja löytyy kohdasta Tutki poikkeamien havaitsemistapahtumia.

Voit myös liittää anomaliatapahtumat Fabric-dataagentteihin mahdollistaen automaattisen päättelyn ja toiminnot reaaliaikaisessa ja historiallisessa tapahtumadatassa. Dataagentit voivat käyttää poikkeamatapahtumia ja orkestroida alavirran työnkulkuja, jotka täydentävät Activator-pohjaisia hälytyksiä.

Kysely anomalian tuloksista SQL analytiikan päätepisteellä

Eventhouse tarjoaa hallitun SQL-analytiikan päätepisteen, joka on linjassa Eventhousen datamallin ja Fabric-hallinnon kanssa. Voit kysyä poikkeamatunnistimen tulosteita sekä niihin liittyviä taulukoita tai näkymiä SQL:llä alavirran analytiikkaa ja integraatioita varten. Löytääksesi SQL-analytiikan päätepisteiden yhteystiedot, mene Eventhouse-kohteeseesi Fabric-työtilassasi.

Lisätietoja on seuraavissa artikkeleissa:

Rajoitukset ja huomioitavat seikat

Ole tietoinen näistä rajoituksista:

  • Poikkeamien tunnistus on pois päältä, jos syötettaulu ei vastaa vaadittua skeemaa (numeerisen arvon sarakke, päivämääräaika-sarake ja merkkijono-sarake).
  • Riittävä historiallinen data parantaa mallisuosituksia ja tarkkuutta.
  • Jokainen poikkeamatunnistin tukee vain yhtä mallikonfiguraatiota.

Useiden toimintojen suorittaminen poikkeamien tunnistimessa

Kun olet vuorovaikutuksessa poikkeamien tunnistimen kanssa, Eventhouse suorittaa Python-kyselyitä taustalla reaaliaikaisen analyysin tukemiseksi. Näitä toimintoja ovat muun muassa seuraavat:

  • Poikkeamien havaitsemisen tai muun tyyppisen analyysin suorittaminen.
  • Vaihtaminen suositeltujen mallien välillä.
  • Aikaikkunan tai ID:iden muuttaminen, joita katsot.
  • Seuraa jatkuvasti saapuvia tietoja poikkeamien varalta asettamalla hälytyksiä.

Eventhouse tukee enintään kahdeksaa samanaikaista kyselyä tapahtumataloa kohden. Jos ylität tämän rajan, järjestelmä yrittää kyselyt uudelleen, mutta se ei jonota ylimääräisiä kyselyitä ja ne saattavat epäonnistua hiljaisesti. Virheilmoituksia, jotka tuovat selkeyttä, ovat kehitteillä.

Ongelmien välttämiseksi:

  • Anna jokaisen kyselyn valmistua ennen uuden kyselyn aloittamista.
  • Jos suorituskyky vaikuttaa hitaalta tai ei vastaa, vähennä samanaikaisten kyselyiden määrää.

Lisätietoja löytyy Python-lisäosasta.

Odotusajat Python-lisäosan käyttöönotolle

Jos Python-lisäosa ei ole vielä käytössä, poikkeavuuksien tunnistin yrittää aktivoida sen automaattisesti, kun aloitat data-analyysin. Tällöin lisäosan käyttöönotto voi kestää jopa tunnin. Kun analyysi on käytössä, se käynnistyy automaattisesti.

Lisätietoja on kohdassa Python-laajennuksen ottaminen käyttöön Real-Time Intelligencessä.

Seuraavat vaiheet

Kun olet konfiguroinut poikkeamien havaitsemisen, voit: