Detecção de anomalias multivariadas em Microsoft Fabric – visão geral

O que é detecção de anomalias multivariadas?

A detecção de anomalias univariadas, que é implementada pela função KQL series_decompose_anomalies(), monitora e detecta anomalias em uma única variável ao longo do tempo. A detecção de anomalias multivariadas estende essa abordagem detectando anomalias na distribuição conjunta de várias variáveis ao longo do tempo, o que significa que ela analisa como as variáveis se relacionam e influenciam umas às outras como um grupo, em vez de examinar cada variável isoladamente. A detecção de anomalias multivariadas é útil para monitorar a integridade de sistemas de IoT complexos, detectar fraudes em transações financeiras e identificar padrões incomuns no tráfego de rede.

Por exemplo, considere um sistema que monitora o desempenho de uma frota de veículos. O sistema coleta dados em várias métricas, como velocidade, consumo de combustível e temperatura do mecanismo. Analisando essas métricas em conjunto, o sistema pode detectar anomalias que não seriam aparentes analisando cada métrica individualmente. Por si só, um aumento no consumo de combustível pode ser devido a várias razões aceitáveis. No entanto, um aumento repentino no consumo de combustível combinado com uma diminuição na temperatura do motor pode indicar um problema com o motor, mesmo que cada métrica por si só esteja dentro do intervalo normal.

Como você pode detectar anomalias multivariadas em Microsoft Fabric?

A detecção de anomalias multivariadas em Fabric aproveita os poderosos mecanismos Spark e Eventhouse sobre uma camada de armazenamento persistente compartilhada. Os dados iniciais podem ser ingeridos em um Eventhouse e expostos no OneLake. O modelo de detecção de anomalias pode ser treinado usando o mecanismo Spark e as previsões de anomalias em novos dados de streaming podem ser feitas em tempo real usando o mecanismo Eventhouse. A interconexão desses mecanismos que podem processar os mesmos dados no armazenamento compartilhado permite um fluxo contínuo de dados da ingestão, por meio do treinamento de modelo, para a previsão de anomalias. Esse fluxo de trabalho é simples e poderoso para monitoramento e detecção em tempo real de anomalias em sistemas complexos.

Dois caminhos de ponta a ponta estão disponíveis e você pode escolher com base na complexidade do seu cenário:

• Detecção de anomalias nativas do Eventhouse em dados ao vivo: execute a detecção de anomalias diretamente contra dados históricos e de streaming em tabelas do Eventhouse, sem configuração de modelo ou treinamento personalizado. Comece com esse caminho se os modelos integrados atenderem às suas necessidades e você quiser a maneira mais simples de obter insights.
• Detecção multivariada personalizada usando um modelo treinado em notebook: Use o pacote Python baseado em GAT descrito neste artigo para treinar um modelo personalizado em um notebook com base em dados históricos e, em seguida, avaliar novos dados de streaming em tempo real por meio do Eventhouse e da KQL. Escolha esse caminho quando precisar de um algoritmo sob medida ou de um cenário especializado que os modelos nativos não abrangem.

Detecção de anomalias do Eventhouse nativo

O Eventhouse dá suporte à detecção de anomalias nativas em tabelas dinâmicas, para que você possa analisar dados históricos e de streaming diretamente sem mover dados ou treinar um modelo personalizado. Use essa opção quando precisar de um início rápido com algoritmos internos; escolha o caminho multivariado personalizado que se segue quando você requer um algoritmo personalizado ou uma configuração especializada.

Componentes da solução

Essa solução depende dos seguintes componentes:

• Eventhouse: os dados são inicialmente ingeridos em um Eventhouse, que é um mecanismo de processamento de dados em tempo real que pode lidar com fluxos de dados de alta taxa de transferência.
• OneLake: Os dados do Eventhouse são expostos no OneLake, que é uma camada de armazenamento persistente compartilhada que fornece uma exibição unificada dos dados.
• Pacote de detecção de anomalias multivariadas: a solução usa o pacote python do detector de anomalias de série temporal , implementando um algoritmo avançado baseado em uma rede de atenção de grafo (GAT) que captura as correlações entre séries temporais diferentes e detecta anomalias em tempo real. O modelo GAT é treinado em dados históricos para aprender as relações entre séries temporais diferentes. O modelo treinado pode ser aplicado para prever anomalias a novos dados de streaming. Observe que esse algoritmo é o que é usado no serviço detector de anomalias de IA que está sendo desativado. Para obter mais informações sobre o algoritmo, consulte o blog e o papel.
• Fabric notebooks: usado para treinamento offline do modelo de detecção de anomalias em dados históricos e para armazenar o modelo treinado no registro de modelos MLflow do Fabric. Os notebooks dão suporte a KQL, T-SQL, Python e Spark no mesmo workspace, permitindo exploração unificada, transformações, treinamento (para modelos personalizados) e validação de anomalias nos mesmos dados com suporte do Eventhouse.
• Conjunto de consultas KQL: usado para previsão em tempo real de anomalias em dados de entrada.
• Endpoint de análise SQL: expõe uma interface T-SQL gerenciada alinhada ao modelo de dados do Eventhouse. Você pode consultar anomalias detectadas e métricas relacionadas por meio de T-SQL para análises posteriores e integração com BI ou ferramentas de geração de relatórios sob a governança do Fabric.
• Integração de agentes de dados: anomalias detectadas no Eventhouse podem ser consumidas por agentes de dados do Fabric para analisar sinais em tempo real e históricos. A combinação da detecção de anomalias com agentes de dados possibilita análises conversacionais e fluxos de trabalho automatizados sobre os mesmos dados do Eventhouse.

Próxima etapa