Monimuuttujapoikkeavuuden tunnistus Microsoft Fabric -ohjelmassa – yleiskatsaus

Mitä on monimuuttujapoikkeamien havaitseminen?

Yksimuuttujaisten poikkeamien havaitseminen, joka toteutetaan KQL-funktiolla series_decompose_anomalies(), valvoo ja havaitsee poikkeavuuksia yhdessä muuttujassa ajan kuluessa. Monimuuttujapoikkeamien havaitseminen laajentaa tätä lähestymistapaa havaitsemalla poikkeavuuksia useiden muuttujien yhteisessä jakautumisessa ajan kuluessa—eli se analysoi, miten muuttujat liittyvät toisiinsa ja vaikuttavat toisiinsa ryhmänä, sen sijaan että tarkasteltaisiin jokaista muuttujaa erikseen. Monimuuttujapoikkeamien havaitseminen on hyödyllistä monimutkaisten IoT-järjestelmien kunnon seurannassa, petosten havaitsemisessa rahoitustransaktioissa sekä epätavallisten verkkoliikenteen kuvioiden tunnistamisessa.

Esimerkiksi otetaan järjestelmä, joka seuraa ajoneuvokaluston suorituskykyä. Järjestelmä kerää tietoa eri mittareista, kuten nopeudesta, polttoaineenkulutuksesta ja moottorin lämpötilasta. Analysoimalla näitä mittareita yhdessä järjestelmä pystyy havaitsemaan poikkeavuuksia, joita ei havaittaisi analysoimalla kutakin mittaria erikseen. Polttoaineenkulutuksen kasvu voi yksinään johtua monista hyväksyttävistä syistä. Kuitenkin äkillinen polttoaineenkulutuksen kasvu yhdessä moottorin lämpötilan laskun kanssa voi viitata moottorin ongelmaan, vaikka jokainen mittari yksinään olisi normaalialueella.

Miten monimuuttujapoikkeavuuksia voi havaita Microsoft Fabric?

Fabric:n monimuuttujapoikkeamien tunnistus hyödyntää tehokkaita Spark- ja Eventhouse-moottoreita yhteisen pysyvän tallennuskerroksen lisäksi. Alkuperäiset tiedot voidaan siirtää tapahtumataloon ja altistaa OneLake-alueelle. Anomalioiden havaitsemismalli voidaan sitten kouluttaa Spark-moottorilla, ja anomalioiden ennustaminen uudessa suoratoistodatassa voidaan tehdä reaaliajassa Eventhouse-moottorin avulla. Näiden moottoreiden yhdistäminen, jotka pystyvät käsittelemään samaa dataa jaetussa tallennustilassa, mahdollistaa saumattoman tiedonkulun mallin koulutuksen kautta poikkeavuuksien ennustamiseen. Tämä työnkulku on yksinkertainen ja tehokas reaaliaikaiseen seurantaan ja poikkeavuuksien havaitsemiseen monimutkaisissa järjestelmissä.

Saatavilla on kaksi päästä päähän -polkua, ja voit valita skenaarion monimutkaisuuden perusteella:

• Natiivi Eventhouse-anomalioiden tunnistus live-datalla: Aja poikkeamien tunnistus suoraan suoratoisto- ja historiallista dataa vastaan Eventhouse-tauluissa ilman omaa koulutusta tai mallin asetusta. Aloita tällä polulla, kun sisäänrakennetut mallit vastaavat tarpeitasi ja haluat yksinkertaisimman tien oivalluksiin.
• Mukautettu monimuuttujatunnistus käyttämällä notebook-koulutettua mallia: Käytä tässä artikkelissa kuvattua GAT-pohjaista Python-pakettia kouluttaaksesi räätälöity malli muistikirjassa historiallisilla tiedoilla, ja pisteytetään uutta suoratoistodataa reaaliajassa Eventhousen ja KQL:n kautta. Valitse tämä polku, kun tarvitset räätälöidyn algoritmin tai erikoistuneen tilanteen, jota natiivimallit eivät kata.

Alkuperäisen Eventhouse-anomalian havaitseminen

Eventhouse tukee natiivia poikkeamien tunnistusta live-taulukoissa, joten voit analysoida suoratoisto- ja historiallista dataa suoraan ilman datan siirtämistä tai mukautetun mallin kouluttamista. Käytä tätä vaihtoehtoa, kun tarvitset nopean aloituksen sisäänrakennetuilla algoritmeilla; Valitse räätälöity monimuuttujapolku, joka seuraa, kun tarvitset räätälöidyn algoritmin tai erikoistuneen kokoonpanon.

Ratkaisukomponentit

Tämä ratkaisu perustuu seuraaviin komponentteihin:

• Eventhouse: Data siirretään aluksi Eventhouseen, joka on reaaliaikainen datankäsittelymoottori ja pystyy käsittelemään suuritehoisia datavirtoja.
• OneLake: Eventhousen data on avoimissa OneLakessa, joka on jaettu pysyvä tallennuskerros ja tarjoaa yhtenäisen näkymän dataan.
• Monimuuttujaisten poikkeamien havaitsemispaketti: ratkaisu käyttää aikasarja-anomalia-ilmaisimen python-pakettia, joka toteuttaa kehittyneen algoritmin, joka perustuu graafihuomioverkkoon (GAT) ja tallentaa eri aikasarjojen korrelaatioita ja havaitsee poikkeavuuksia reaaliajassa. GAT-mallia koulutetaan historiallisilla aineistoilla oppimaan eri aikasarjojen väliset suhteet. Koulutettua mallia voidaan soveltaa ennustamaan poikkeavuuksia uuteen suoratoistodataan. Huomaa, että tätä algoritmia käytetään AI Anomaly Detector -palvelussa , joka on poistumassa käytöstä. Lisätietoja algoritmista löytyy blogista ja artikkelista.
• Fabric notebooks: käytetään poikkeamien havaitsemismallin offline-koulutukseen historiallisella datalla ja koulutetun mallin tallentamiseen Fabric:n MLflow-mallien rekisteriin. Muistikirjat tukevat KQL:ÄÄ, T-SQL:ää, Python'ta ja Sparkia samassa työtilassa, mahdollistaen yhtenäisen tutkimuksen, muunnokset, koulutuksen (mukautettuihin malleihin) ja poikkeavuuksien validoinnin samalla Eventhouse-tukemalla datalla.
• KQL queryset: käytetään reaaliaikaiseen poikkeavuuksien ennustamiseen saapuvassa datassa.
• SQL-analytiikan päätepiste: paljastaa hallitun T-SQL-pinnan, joka on linjassa Eventhouse-datamallin kanssa. Voit kysyä havaittuja poikkeavuuksia ja niihin liittyviä mittareita käyttämällä T-SQL:ää alavirran analytiikkaan ja integraatioon BI- tai raportointityökaluihin Fabric-hallinnan alla.
• Dataagenttien integraatio: Eventhousessa havaitut poikkeamat voidaan käyttää Fabric dataagentit reaaliaikaisten ja historiallisten signaalien perusteella. Poikkeamien tunnistamisen yhdistäminen dataagentteihin mahdollistaa keskusteluanalytiikan ja automatisoidut työnkulut samalla Eventhouse-datalla.

Seuraavat vaiheet