Multivariate anomaliedetectie in Microsoft Fabric - overzicht

Wat is multivariate anomaliedetectie?

Univariate anomaliedetectie, die wordt geïmplementeerd door de KQL-functie series_decompose_anomalies(), bewaakt en detecteert afwijkingen in één variabele in de loop van de tijd. Multivariate anomaliedetectie breidt deze benadering uit door afwijkingen in de gezamenlijke verdeling van meerdere variabelen in de loop van de tijd te detecteren. Dit betekent dat het analyseert hoe de variabelen zich verhouden tot elkaar als een groep, in plaats van elke variabele in isolatie te onderzoeken. Multivariate anomaliedetectie is handig voor het bewaken van de status van complexe IoT-systemen, het detecteren van fraude in financiële transacties en het identificeren van ongebruikelijke patronen in netwerkverkeer.

Denk bijvoorbeeld aan een systeem dat de prestaties van een vloot voertuigen bewaakt. Het systeem verzamelt gegevens over verschillende metrische gegevens, zoals snelheid, brandstofverbruik en motortemperatuur. Door deze metrische gegevens samen te analyseren, kan het systeem afwijkingen detecteren die niet duidelijk zouden zijn door elke metriek afzonderlijk te analyseren. Op zichzelf kan een toename van het brandstofverbruik worden veroorzaakt door verschillende acceptabele redenen. Een plotselinge toename van het brandstofverbruik in combinatie met een daling van de motortemperatuur kan echter duiden op een probleem met de motor, zelfs als elke metriek zelf binnen het normale bereik valt.

Hoe kunt u afwijkingen met meerdere variabelen in Microsoft Fabric detecteren?

Multivariate anomaliedetectie in Fabric profiteert van de krachtige Spark- en Eventhouse-engines boven op een gedeelde permanente opslaglaag. De initiële gegevens kunnen worden opgenomen in een Eventhouse en worden weergegeven in OneLake. Het anomaliedetectiemodel kan vervolgens worden getraind met behulp van de Spark-engine en de voorspellingen van afwijkingen op nieuwe streaminggegevens kunnen in realtime worden uitgevoerd met behulp van de Eventhouse-engine. De onderlinge verbinding van deze engines die dezelfde gegevens in de gedeelde opslag kunnen verwerken, zorgt voor een naadloze stroom van gegevens van invoer, via modeltraining, naar het voorspellen van afwijkingen. Deze werkstroom is eenvoudig en krachtig voor realtime bewaking en detectie van afwijkingen in complexe systemen.

Er zijn twee end-to-end-paden beschikbaar en u kunt kiezen op basis van de complexiteit van uw scenario:

• Systeemeigen Anomaliedetectie van Eventhouse op livegegevens: voer anomaliedetectie rechtstreeks uit op streaming- en historische gegevens in Eventhouse-tabellen, zonder aangepaste training of modelconfiguratie. Begin met dit pad wanneer ingebouwde modellen aan uw behoeften voldoen en u het eenvoudigste pad naar inzichten wilt.
• Aangepaste multivariate detectie met behulp van een in een notebook getraind model: Gebruik het op GAT gebaseerde Python-pakket dat in dit artikel wordt beschreven om in een notebook een aangepast model te trainen op historische gegevens, en score vervolgens nieuwe streaminggegevens in realtime via Eventhouse en KQL. Kies dit pad wanneer u een op maat gemaakt algoritme of een speciaal scenario nodig hebt dat niet door de systeemeigen modellen wordt behandeld.

Ingebouwde anomaliedetectie van Eventhouse

Eventhouse ondersteunt systeemeigen anomaliedetectie in livetabellen, zodat u streaming- en historische gegevens rechtstreeks kunt analyseren zonder gegevens te verplaatsen of een aangepast model te trainen. Gebruik deze optie wanneer u snel aan de slag wilt met ingebouwde algoritmen; kies het aangepaste multivariatepad dat volgt wanneer u een aangepast algoritme of een gespecialiseerde configuratie nodig hebt.

Oplossingsonderdelen

Deze oplossing is afhankelijk van de volgende onderdelen:

• Eventhouse: De gegevens worden in eerste instantie opgenomen in een Eventhouse, een realtime gegevensverwerkingsengine die gegevensstromen met hoge doorvoer kan verwerken.
• OneLake: gegevens uit eventhouse worden weergegeven in onelake, een gedeelde permanente opslaglaag die een uniforme weergave van de gegevens biedt.
• Multivariate anomaliedetectiepakket: de oplossing maakt gebruik van het python-pakket time-series-anomaly-detector , waarbij een geavanceerd algoritme wordt geïmplementeerd op basis van een GAT (Graph Attention Network) waarmee de correlaties tussen verschillende tijdreeksen worden vastgelegd en afwijkingen in realtime worden gedetecteerd. Het GAT-model wordt getraind op historische gegevens om de relaties tussen verschillende tijdreeksen te leren. Het getrainde model kan worden toegepast om afwijkingen in nieuwe streaminggegevens te voorspellen. Houd er rekening mee dat dit algoritme het algoritme is dat wordt gebruikt in de AI Anomaly Detector-service die buiten gebruik wordt gesteld. Zie de blog en het document voor meer informatie over het algoritme.
• Fabric notebooks: wordt gebruikt voor offlinetraining van het anomaliedetectiemodel op historische gegevens en voor het opslaan van het getrainde model in het register van MLflow-modellen van Fabric. Notebooks ondersteunen KQL, T-SQL, Python en Spark binnen dezelfde werkruimte, waardoor geïntegreerde verkenning, transformaties, training (voor aangepaste modellen) en validatie van afwijkingen op dezelfde gebeurtenishouse-ondersteunde gegevens mogelijk zijn.
• KQL-queryset: gebruikt voor realtime voorspelling van afwijkingen op binnenkomende gegevens.
• SQL-analyse-eindpunt: toont een beheerd T-SQL-oppervlak dat is afgestemd op het Eventhouse-gegevensmodel. U kunt query's uitvoeren op gedetecteerde afwijkingen en gerelateerde metrische gegevens met behulp van T-SQL voor downstreamanalyses en integratie met BI of rapportagehulpprogramma's onder Fabric governance.
• Integratie van data-agents: afwijkingen die in Eventhouse zijn gedetecteerd, kunnen door Fabric data-agents worden verwerkt om live en historische signalen te analyseren. Het combineren van anomaliedetectie met gegevensagenten maakt gespreksanalyse en geautomatiseerde werkstromen mogelijk via dezelfde Eventhouse-gegevens.

Volgende stap