Multivariat avviksdeteksjon i Microsoft Fabric – oversikt

Hva er deteksjon av multivariate anomalier?

Univariat anomalideteksjon, som implementeres av KQL-funksjonen series_decompose_anomalies(), overvåker og oppdager avvik i én variabel over tid. Multivariat anomalideteksjon utvider denne tilnærmingen ved å oppdage anomalier i den felles fordelingen av flere variabler over tid—det vil si at den analyserer hvordan variablene relaterer seg til og påvirker hverandre som gruppe, i stedet for å undersøke hver variabel isolert. Multivariat avviksdeteksjon er nyttig for å overvåke helsen til komplekse IoT-systemer, oppdage svindel i finansielle transaksjoner og identifisere uvanlige mønstre i nettverkstrafikken.

For eksempel, vurder et system som overvåker ytelsen til en bilpark. Systemet samler inn data om ulike måleparametere, som hastighet, drivstofforbruk og motortemperatur. Ved å analysere disse målingene sammen kan systemet oppdage avvik som ikke ville vært åpenbare ved å analysere hver enkelt måling. Alene kan en økning i drivstofforbruket skyldes ulike akseptable årsaker. En plutselig økning i drivstofforbruk, kombinert med en reduksjon i motortemperaturen, kan imidlertid indikere et problem med motoren, selv om hver enkelt måling er innenfor normalområdet.

Hvordan kan du oppdage multivariate avvik i Microsoft Fabric?

Multivariat anomalideteksjon i Fabric utnytter de kraftige Spark- og Eventhouse-motorene oppå et delt persistent lagringslag. De første dataene kan importeres i et Eventhouse og eksponeres i OneLake. Avviksdeteksjonsmodellen kan deretter trenes ved hjelp av Spark-motoren, og prediksjoner av avvik på nye strømmedata kan gjøres i sanntid ved hjelp av Eventhouse-motoren. Sammenkoblingen av disse motorene, som kan behandle de samme dataene i den delte lagringen, muliggjør en sømløs flyt av data fra inntak, via modelltrening, til prediksjon av avvik. Denne arbeidsflyten er enkel og kraftig for sanntidsovervåking og oppdagelse av avvik i komplekse systemer.

To ende-til-ende-veier er tilgjengelige, og du kan velge basert på kompleksiteten i scenarioet ditt:

• Native Eventhouse-anomalideteksjon på live data: Kjør avviksdeteksjon direkte mot strømmende og historiske data i Eventhouse-tabeller, uten tilpasset trening eller modelloppsett. Start med denne veien når innebygde modeller møter dine behov og du ønsker den enkleste veien til innsikt.
• Tilpasset multivariat deteksjon ved bruk av en notebook-trent modell: Bruk GAT-baserte Python-pakken beskrevet i denne artikkelen for å trene en tilpasset modell i en notebook på historiske data, og score deretter nye strømmedata i sanntid via Eventhouse og KQL. Velg denne veien når du trenger en skreddersydd algoritme eller et spesialisert scenario som de native modellene ikke dekker.

Deteksjon av avvik i native Eventhouse

Eventhouse støtter native avviksdeteksjon på levende tabeller, slik at du kan analysere strømmende og historiske data direkte uten å flytte data eller trene en tilpasset modell. Bruk dette alternativet når du trenger en rask start med innebygde algoritmer; Velg den tilpassede multivariate stien som følger når du trenger en tilpasset algoritme eller spesialisert konfigurasjon.

Løsningskomponenter

Denne løsningen er avhengig av følgende komponenter:

• Eventhouse: Dataene importeres først i en Eventhouse, som er en sanntids databehandlingsmotor som kan håndtere høyhastighetsdatastrømmer.
• OneLake: Data fra Eventhouse er eksponert i OneLake, som er et delt persistent lagringslag som gir en samlet oversikt over dataene.
• Multivariat anomalideteksjonspakke: løsningen bruker time-series-anomaly-detector python-pakken, og implementerer en avansert algoritme basert på et graph attention network (GAT) som fanger opp korrelasjoner mellom ulike tidsserier og oppdager avvik i sanntid. GAT-modellen trenes på historiske data for å lære sammenhengene mellom ulike tidsserier. Den trente modellen kan brukes til å forutsi avvik i nye strømmedata. Merk at denne algoritmen er den som brukes i AI Anomaly Detector-tjenesten som nå tas ut av drift. For mer informasjon om algoritmen, se bloggen og artikkelen.
• Fabric notebooks: brukes til offline-trening av anomalideteksjonsmodellen på historiske data og til å lagre den trente modellen i Fabric MLflow-modellregister. Notatbøker støtter KQL, T-SQL, Python og Spark i samme arbeidsområde, noe som muliggjør samlet utforskning, transformasjoner, trening (for tilpassede modeller) og validering av avvik på de samme Eventhouse-støttede dataene.
• KQL-spørringssett: brukes til sanntidsprediksjon av avvik på innkommende data.
• SQL-analyseendepunkt: eksponerer en administrert T-SQL-overflate tilpasset Eventhouse-datamodellen. Du kan spørre etter oppdagede avvik og relaterte målinger ved å bruke T-SQL for nedstrømsanalyse og integrasjon med BI eller rapporteringsverktøy under Fabric-styring.
• Dataagentintegrasjon: Anomalier oppdaget i Eventhouse kan konsumeres av Fabric dataagenter for å resonnere over levende og historiske signaler. Kombinasjonen av avviksdeteksjon med dataagenter muliggjør samtaleanalyse og automatiserte arbeidsflyter over de samme Eventhouse-dataene.

Neste trinn: